O Apache Spark é uma das principais engines de processamento de dados distribuídos. Ela permite que sejam desenvolvidas aplicações capazes de processar grandes quantidades de dados dentro de poderosos servidores. Estas aplicações podem ser desenvolvidas em  várias linguagens tais como Scala, Python, R, e SQL. Para realizar a comunicação Python-Spark foi desenvolvida a API PySpark que possibilita, por exemplo, o uso das tradicionais bibliotecas de computação científicas do Python dentro do Spark.

Nessa palestra mostrarei como escrever aplicações Python para o Spark, bem como as vantagens e desvantagens de se utilizar o PySpark.

O Jupyter Notebook é um ambiente web que permite a criação e compartilhamento de diversos tipos de documentos, chamados Notebooks. Um Jupyter Notebook pode conter imagens, textos, gráficos e até mesmo equações. Estes documentos representam o resultado de um cálculo computacional completo e que pode ser exportado para vários formatos.

O Pandas, por sua vez, é uma biblioteca Python para manipulação e análise de dados, focada em tabelas numéricas e séries temporais.

Nessa palestra demostrarei como analisar, manipular e plotar séries de dados utilizando a biblioteca Pandas, e então compartilhar os resultados em um Jupyter Notebook.

A configuração manual de infraestrutura, além de ser repetitiva, muitas vezes pode levar a erros. Nestes casos a solução é a automatização através da criação de scripts que façam essa configuração, e que possam ser executados quantas vezes forem necessários. Dessa maneira a infraestrutura pode ser definida como código (Infrastructure as code), aumentando a segurança e eficiência ao realizar mudanças na stack.

No Python temos a biblioteca Boto 3 que permite a manipulação de serviços da AWS, como o S3 e o EC2. A biblioteca disponibiliza uma API extensa e fácil de usar, sendo amplamente utilizada por desenvolvedores Python.

Nessa palestra mostrarei como criar scripts Python para configurar infraestrutura na AWS e também algumas ferramentas para efetuar testes locais, simulando a AWS.

Uma Search Engine é um software responsável por realizar buscas em grandes quantidades de dados.
Os algoritmos envolvidos são complexos e a arquitetura não é trivial.
Neste cenário, o ElasticSearch aparece como a solução ideal para realizar as tarefas de indexação e busca.

Nesta palestra mostrarei como simplificar o desenvolvimento de uma Search Engine utilizando Python e ElasticSearch.

Demonstrarei como o Python pode ser usado para construir Web Crawlers e Scrappers e também como enviar os dados coletados na web para indexação no ElasticSearch.

Uma Search Engine é um software responsável por realizar buscas em grandes quantidades de dados.
Os algoritmos envolvidos são complexos e a arquitetura não é trivial.
Neste cenário, o ElasticSearch aparece como a solução ideal para realizar as tarefas de indexação e busca.

Nesta palestra mostrarei como simplificar o desenvolvimento de uma Search Engine utilizando Python e ElasticSearch.

Demonstrarei como o Python pode ser usado para construir Web Crawlers e Scrappers e também como enviar os dados coletados na web para indexação no ElasticSearch.