Um pipeline ELT com dbt.

Conheça um pipeline que carrega dados brutos no Postgres e os transforma com dbt. Veja como regras SQL, testes e documentação tornam o processo revisável e reproduzível.

Crie um ambiente virtual para isolar as dependências do dbt e do loader. Valide Python e Docker e execute o demo com o Postgres local.

Entenda pandas na leitura dos CSVs, psycopg na carga e dbt nas transformações. Veja por que os dados chegam ao raw como texto antes da definição dos tipos.

Siga CSVs e dados da API até raw, staging, intermediate e marts. Identifique schemas, materializações e arquivos responsáveis por cada camada do pipeline.

Compare ETL e ELT e entenda a preservação dos dados brutos. Explore dependências do dbt, camadas e as escolhas que permitem reprocessar regras de negócio.

Configure Postgres no Compose, conexão em profiles.yml e modelos em dbt_project.yml. Use variáveis de ambiente para executar o projeto sem gravar credenciais no Git.

Gere dados de loja com duplicatas e inconsistências conhecidas e simule a API de pagamentos. Carregue as fontes no raw preservando o conteúdo recebido e os metadados da carga.

Declare as fontes do dbt e transforme texto em tipos adequados. Normalize campos, deduplique registros e centralize derivações usadas pelas camadas seguintes.

Combine fontes na camada intermediária, separando itens válidos e rejeitados. Resolva múltiplas tentativas de pagamento antes de montar as métricas do negócio.

Construa fatos e dimensões com regras explícitas para pedidos, pagamentos e receita. Inspecione o SQL compilado e os relatórios para entender as agregações resultantes.

Adicione testes de unicidade, nulos, relacionamentos e regras próprias junto aos modelos. Provoque uma falha e gere a documentação com a linhagem do projeto.

Encadeie carga e dbt build pelo Makefile e execute o pipeline completo. Verifique como os comandos e o demo sustentam a reprodução dos mesmos resultados.

Execute loader e dbt em um container conectado ao Postgres. Compartilhe dados e artefatos do projeto e experimente uma escala maior do conjunto gerado.

Teste gerador, API simulada, loader e organização do projeto dbt. Complemente os testes de dados com diagnóstico de conexão, configuração e execução.

Avalie custos de banco, armazenamento e manutenção dos modelos. Reconheça os limites da recarga completa e as diferenças entre laboratório, MVP e produção.

Amplie testes e verificações de atualização das fontes. Planeje carga incremental, snapshots, ambientes separados e orquestração sem perder a organização por camadas.

Confira fontes, carga raw, modelos e regras de negócio até os marts. Verifique testes, documentação e reprodução do pipeline antes de adaptar as fontes ao seu contexto.