Perfil
Propostas
Aplicando web crawler e machine learning para delinear o perfil político do candidato
Para este projeto foi desenvolvido um web crawler para raspagem de dados no twitter, usando o framework scrapy. A linguagem de programação é o python com versão 3.7.3. Os dados são salvos em um banco de dados nosql, a escolha foi o Mongodb. Após a coleta dos dados foi realizado um pré-processamento nos dados da base (comentários, posts, etc.) e, finalmente, usamos um algoritmo não supervicionado para gerar informações / insights dos dados, o algoritmo foi o k-means. O ambiente de desenvolvimento escolhido foi o jupyter notebook.
