Seu primeiro sistema RAG.

Conheça o rag-lab e o percurso que transforma documentos locais em respostas com fontes. Veja os pré-requisitos e o que será possível executar ao final.

Prepare o ambiente virtual, instale o projeto e valide as dependências. Rode o demo para conferir o funcionamento do RAG antes de explorar os módulos.

Entenda o papel de FastAPI, Pydantic, numpy e pypdf no projeto. Veja quais dependências são opcionais e por que o caminho padrão dispensa um modelo de IA.

Acompanhe os fluxos de ingestão e consulta, identificando a responsabilidade de cada arquivo. Entenda como CLI, API e avaliação reutilizam o mesmo pipeline.

Entenda as etapas de um RAG e por que buscar documentos não elimina respostas incorretas. Examine falhas de chunking, recuperação e geração antes de implementar as soluções.

Carregue Markdown, texto e PDF em um formato comum de documento. Explore a base de exemplo e execute a ingestão que prepara o material para busca.

Divida documentos respeitando seções, tamanho e sobreposição entre trechos. Preserve posição e página para que cada resposta possa ser rastreada até o texto original.

Transforme trechos em vetores e persista o índice em SQLite. Compare a abordagem lexical sem modelo com embeddings densos e entenda a normalização do texto.

Combine o ranking por palavras do BM25 com a similaridade vetorial. Inspecione pontuações e compare os resultados para entender quando cada busca contribui.

Monte o contexto e as regras de resposta, com referências numeradas aos trechos recuperados. Compare a resposta extrativa com provedores de linguagem e trate perguntas sem evidência.

Exponha o pipeline por FastAPI, com validação de entrada e inicialização do índice. Experimente as rotas e veja como testar a API sem abrir uma porta.

Use perguntas com respostas conhecidas para medir recuperação, cobertura e recusas. Compare configurações e embeddings antes de concluir que uma mudança melhorou o RAG.

Acompanhe ingestão e recusas pelos logs e execute a suíte de testes. Entenda quais comportamentos precisam continuar funcionando quando o pipeline mudar.

Empacote a API com Docker e configure portas, variáveis e volumes no Compose. Veja como usar seus próprios documentos no ambiente em container.

Diagnostique problemas de ambiente, importação e incompatibilidade entre índice e embedder. Relacione cada sintoma à configuração ou ao comando necessário para corrigi-lo.

Compare o custo do caminho sem modelo com as opções de embeddings e geração. Identifique limites de escala e requisitos que separam o laboratório de produção.

Planeje evoluções com seus documentos, embeddings densos, geração por LLM e reranking. Veja onde implementar reindexação incremental e motores de busca maiores.

Confira se ingestão, chunking, índice, busca, respostas com fontes e avaliação estão funcionando. Use a lista para revisar o que você construiu e sabe explicar.