Extração, Transformação e Carregamento. O processo de Extração, Transformação e Carregamento (Extract, Transform, Load – ETL) é um processo que envolve: Extração de dados de fontes externas.

Nessa palestra vou explicar como construímos um ETL que gerar dados estratégicos para tomada de decisões.

Bem hoje em dia já não é mas um problema desenvolver ferramentas para alimentar a Internet com conteúdo, nossos desafios são outros.

1. Capturar o conteúdo

2. Armazenar

3. Organizar

4. Aplicar Inferência no conteúdo

5. Apresentar para usuário um conteúdo contextualizado de forma rápida.

Nessa palestra gostaria de focar em captura de conteúdo em grande escala. [Scrapy, Scrapyd, Crawlers Inteligentes, Data Mining]

Essa é uma palestra melhorada da  Surfando com Python nas ondas da Internet que apresentei no Python Nordeste.

Neste call quero falar e demostrar um pouco das funcionalidades do SOLR.

http://lucene.apache.org/solr/

Bem hoje em dia já não é mas um problema desenvolver ferramentas para alimentar a Internet com conteúdo, nossos desafios são outros.

1. Capturar o conteúdo

2. Armazenar

3. Organizar

4. Aplicar Inferência no conteúdo

5. Apresentar para usuário um conteúdo contextualizado de forma rápida.

Nessa palestra gostaria de focar em captura de conteúdo em grande escala. (Scrapy, Scrapyd, Crawlers Inteligentes)