Analytics em tempo real.

Conheça um pipeline de pagamentos em micro-lotes que lida com duplicatas, atrasos e falhas. Veja por que a consistência dos dados importa tanto quanto a velocidade da consulta.

Prepare o ambiente Python e rode o demo local. Observe produção, consumo e métricas usando o broker em arquivo antes de adicionar o Redpanda.

Entenda aiokafka na comunicação com o broker e DuckDB com PyArrow na persistência analítica. Conheça a configuração que permite alternar entre execução local e Redpanda.

Mapeie tópico, offsets, consumidor e sink analítico. Siga um micro-lote para entender como eventos, métricas e posição de leitura precisam permanecer consistentes.

Compare batch, micro-lotes e streaming por evento. Entenda offsets, idempotência, tempo do evento, marca d'água e backpressure antes de escolher a complexidade necessária.

Implemente uma interface comum para broker em arquivo e Redpanda. Prepare o armazenamento e veja como produção, leitura e posição do consumidor usam o mesmo contrato.

Defina e valide eventos de pagamento com motivos claros de rejeição. Gere dados com duplicatas, atrasos e payloads quebrados para exercitar o consumidor.

Leia registros em lotes e classifique eventos válidos, repetidos, atrasados e inválidos. Prepare os dados e a nova marca d'água antes de iniciar a gravação.

Grave eventos, métricas, rejeições e offset na mesma transação do DuckDB. Entenda como deduplicação e commit sustentam a retomada após uma interrupção.

Consulte métricas e registros rejeitados pela linha de comando ou por HTTP. Configure o consumo periódico e observe como o intervalo afeta a atualização dos resultados.

Injete uma falha antes do commit e confira o rollback do lote. Examine eventos fora da tolerância e ajuste o processamento quando a produção supera o consumo.

Teste contratos, producer, offsets, deduplicação e tolerância a atrasos com o broker local. Conheça também a integração opcional que verifica o caminho com Redpanda.

Suba Redpanda e aplicação pelo Compose, respeitando o healthcheck do broker. Preserve o sink em volume e configure o laço de consumo conforme o cenário.

Diagnostique lag zero, broker indisponível e conflitos de acesso ao DuckDB. Diferencie ausência de novos eventos de problemas de conexão ou concorrência entre processos.

Avalie vazão e latência medidas no laboratório e os recursos usados localmente. Reconheça limitações do broker e do sink antes de ampliar a operação.

Planeje reprocessamento de registros rejeitados após corrigir o contrato. Explore múltiplas partições e consumidores mantendo offsets e regras de deduplicação coerentes.

Confira produção, consumo em micro-lotes, transações e métricas. Verifique que duplicatas, atrasos e payloads inválidos recebem tratamento explícito e que a retomada preserva os resultados.