Antes de aplicarmos algum algoritimo massa ou de fazermos alguma modelagem em nossos dados, precisamos conhecê-los bem e para conhecer os dados é necessário realizarmos a análise descritiva deles.

Esta análise consiste em compreender o que os dados querem nos contar. Será que eles variam muito ? Quais são as variáveis que temos?  O que elas trazem? Temos valores núlos?

Nessa conversa, pretendo apresentar um pouco sobre a área e como usamos Python para fazer integração e processamento de dados (bibliotecas e pipelines).

O ecosistema de dados construido em torno do python é bem desenvolvido. Numpy, pandas, sklearn, etc, facilitam bastante a análise de dados e construção de modelos de machine learning.

Mas quando o dataset é maior que 10GB, o pandas começa a chorar... e se um dataset tiver 100GB? ou 1TB?!?!

De início vamos começar explicando o que é o GIL (global interpreter locker) do python.

Depois, falar um pouco do histórico do desenvolvimento das ferramentas de big data e da motivação para o python ter uma específica.

E, finalmente: código! Vamos utilizar multiplos cores com o python com a lib multiprocessing e com dask (https://dask.org/).

O que mais se lê nos grupos de Telegram hoje em dia é a celebre frase "Por onde começo a estudar Ciência de Dados"?

Nesta apresentação nós compartilhamos um pouco da nossa experiência de como estudamos ciência de dados em grupo  ao longo de um ano . Compartilharmos um pouco das nossas dores e alegrias para incentivar cada vez mais pessoas a irem atrás de seus objetivos e sonhos.