Resumo

Nessa apresentação irei mostrar uma arquitetura de mensageria, explicando seus conceitos, suas vantagens e utilizando Python com Kafka (kafka-python) para exemplificar a utilização de mensageria em um serviço de machine learning para predizer classes de um certo tipo de problema na área de segurança da informação.

Quem é o público-alvo da palestra?

Essa palestra é de nível médio, pois envolve certo conhecimento na área de arquitetura de mensageria, Kafka, Python e modelos de Machine Learning já treinados com libs famosas como TensorFlow e scikit. Porém irei explicar brevemente todos esses conceitos, principalmente os de mensageria, e as tecnologias como Kafka, kafka-python entre outras.

O que os participantes devem esperar?

Os participantes devem esperar da palestra um aprendizado sobre a importância e de quando utilizar uma arquitetura de mensageria. Aprender como utilizar Kafka com Python (na palestra utilizarei kafka-python, mas também temos PyKafka) e como utilizar serviços de Machine Learning nesse processo.

Resumo

A ideia da palestra é explicar o conceito por trás de Data Lakes, o porquê de ser tão importantes para uma empresa que pretende utilizar o Big Data a favor do seu negócio e quais são as boas práticas e estratégias que um engenheiro e arquiteto de dados deve ter para construir uma plataforma de dados organizada. Uma boa plataforma de dados, exclusivamente um Data Lake bem estruturado, facilita o trabalho de Analistas e Cientistas de Dados e proporciona melhores produtos de Business Intelligence e Data Science.

Também irei abordar as principais ferramentas e tecnologias Python que são utilizadas para construí-lo, como PySpark, APIs da cloud, Airflow e Prefect (ferramentas escritas em Python para orquestrar pipelines de dados), etc.

Quem é o público-alvo da sua palestra?

Nessa palestra o público alvo de interesse é de nível iniciante e médio, que já conhecem Python e sua importância para Cloud (como GCP e AWS), para área de dados das empresas e carreiras em tecnologia. Também para pessoas que estão curiosas e buscando aumentar seu conhecimento técnico acerca da área de big data, data science, BI e principalmente engenharia dados, e quais ferramentas predominam esse mercado, que é onde Python mais se destaca.

O que os/as participantes devem esperar da sua palestra?

Os participantes irão adquirir um conhecimento teórico e técnico a nível de cloud, ferramentas e frameworks Python que são amplamente utilizados para construir um repositório/plataforma de dados de acordo com as boas práticas de engenharia e que está tomando cada vez mais espaço nas companhias data driven ao redor do mundo.