SciELO é um projeto com 20 anos de atividade continua que disponibliza artigos científicos com licencia open access. Tendo instâncias em todos os paises de America Latina, Espanha, Portugal e Africa do Sul, recebe uma quantidade importante de acessos. Em pouco mais de 2 anos trabalhamos na reconstrução da principal interface contando desde novembro do ano passado com a primeira instalação (scielosp.org)

Neste projeto de recontrução do zero utilizamos Flask, Django, MongoDB, Postgres, Elasticsearch, Redis, APIs Rest e GRPC, tudo embrulhado com Docker, além de um conjunto de bibliotecas do ecossistema Python. Nosso código é open source, e agora queremos mostrar para vocês o que contruimos, como, as dificuldades, as vantagens e as lições aprendidas neste projeto.

Vou mostrar alguns exemplos simples e não tão simples de controle de pipelines usando a lib Pypette.

Algumas das principais features da lib são:
- interface simples;
- Capacidade de visualizar os pipelines desde o terminal.

Ref: https://github.com/csurfer/pypette

Vou mostrar a lib python-rq para enfilerar trabalhos para serem executados de forma assíncrona.

Alem do básico da lib vou mostrar outos componentes que dá para integrar numa app flask para ver o status das tasks, asim como o scheduler.