Pipelines incrementais em escala.

Conheça um pipeline incremental que recebe duplicatas, atrasos e eventos fora de ordem. Veja como checkpoints, arquivos e reprocessamento se combinam para permitir retomadas verificáveis.

Prepare o ambiente Python e rode o demo completo. Inspecione os bancos e arquivos gerados para reconhecer fonte, estado do pipeline e datasets de saída.

Entenda DuckDB no processamento SQL, PyArrow no transporte dos dados e Parquet no armazenamento. Veja por que o laboratório mantém os arquivos como fonte dos datasets.

Separe responsabilidades da fonte, do banco de estado e do lake em arquivos. Acompanhe uma execução para entender quem escreve cada informação e quando ela se torna confirmada.

Compare formas de identificar dados novos e diferencie tempo do evento e da chegada. Entenda janelas, marca d'água, tolerância a atraso e idempotência.

Gere eventos de pedidos com cursor sequencial, duplicatas e atrasos intencionais. Use uma fonte determinística para testar situações que uma carga incremental precisa tratar.

Persista checkpoints, execuções e registros do pipeline em um banco separado da fonte. Entenda o momento do commit e como o cursor determina de onde retomar a leitura.

Agrupe eventos por hora e classifique atrasos usando a marca d'água. Reescreva as janelas afetadas e encaminhe eventos fora da tolerância para quarentena com o motivo.

Organize datasets em partições Parquet e examine a escrita atômica e os fingerprints. Gere métricas por janela e consulte os arquivos aproveitando filtros de partição.

Mantenha uma linha atual por pedido com merge em SQL. Distribua o snapshot em buckets para reescrever apenas os grupos afetados e lidar com eventos fora de ordem.

Observe eventos novos alterando janelas já gravadas e compare suas versões. Experimente quarentena, reprocessamento de uma janela e reconstrução completa do lake.

Injete uma falha entre a gravação dos arquivos e o checkpoint. Compare registros, arquivos e reconstrução para comprovar que a retomada mantém os resultados esperados.

Empacote o pipeline em Docker e preserve os dados fora do container. Execute o demo e acompanhe o servidor de status com o pipeline em movimento.

Investigue ausência de dados novos, datasets ainda inexistentes e divergências nos arquivos. Use verificação, reprocessamento e reconstrução conforme o alcance do problema.

Meça o custo de uma hora nova contra a reconstrução completa. Entenda as limitações do armazenamento local e quais partes da arquitetura precisariam mudar para produção.

Explore uma fonte baseada em data de atualização, com sobreposição e deduplicação. Use medições e testes para avaliar novas estratégias de leitura sem perder eventos atrasados.

Confira cursor, checkpoints, janelas, partições e merge de pedidos. Verifique o tratamento de atrasos e a retomada após falhas com comparação dos resultados.