Perfil
Propostas
Monitoramento de projetos scrapy com spidermon
O monitoramento de uma solução é essencial para saber se a aplicação está executando como deveria.
Na raspagem de dados da web (web scraping) não é diferente.
Nesse caso, sendo necessário monitorar se o bot não está gerando erros ou se os dados são coletados como esperado.
Para isso será apresentada a biblioteca spidermon para monitorar crawlers/spiders em um projeto com scrapy.
Nessa apresentação será demonstrado o uso do spidermon para validar a saúde de um spider e os dados extraídos, e como configurar notificações para receber avisos quando algo der errado.
