Perfil

Leandro Mendes Ferreira @leandroimail


Sobre mim

Especialista de Big Data na everis, Mestrando em Eng. da Computação pela Politécnica da USP, entusiasta de tecnologia e um apaixonado por Python e Go.

Propostas

Airflow - Pipeline/Workflow para Gigantes

Apache Airflow uma plataforma open source para criar, programar e monitorar fluxos de trabalho de forma programática, totalmente em Python.


Desenvolvido pelo Airbnb é utilizado por empresas gigantes como HBO, Grupon, Banco ING, Paypal, Spotfy, Yahoo, 99 e XP Investimentos, além de muitas outras.


Nesta palestra serão apresentados os principios do Airflow bem como desenvolver o seu pipeline de dados ou workflow de tarefas utilizando programação Python nesta ferramenta fantástica.


 


 

Criação de Data Warehouse em Banco de Dados NoSQL com Cassandra, Spark e Python.

As aplicações de Business Intelligence são amplamente difundidas em diversas organizações, e tem como principal ponto de convergência de sua arquitetura, a persistência de dados do Data Warehouse em SGBDs relacionais.


 Esta palestra demonstrara um modelo alternativo para o processo de criação de uma aplicação de Business Intelligence baseada em Data Warehouse sob SGBD de modelo NoSQL de família de colunas (Cassandra), com processamento in-momory clusterizado (Spark) e utilização de Python como linguagem de programação para ETL e tratamento de dados e visualização de dados.


Será abordado todo o ciclo de vida de um processo de BI desde a aquisição das fontes de dados até a camada de demonstração de dados, todas essas etapas permeadas pela linguagem Python!