RAG local com Ollama.

Conheça um RAG que mantém documentos, embeddings e geração na sua máquina. Veja o resultado esperado, os pré-requisitos e a proposta de execução com modelos locais.

Prepare o Python e o Ollama, baixe os modelos do laboratório e valide a instalação. Execute o demo para conferir a comunicação entre a aplicação e os modelos.

Entenda como FastAPI, numpy, pypdf e o cliente Ollama se encaixam no projeto. Diferencie as bibliotecas instaladas pelo pip dos modelos baixados separadamente.

Siga o caminho dos documentos até o índice e da pergunta até a resposta em streaming. Localize os módulos de configuração, recuperação e geração.

Compare inferência local e serviços na nuvem em privacidade, custo e uso de hardware. Entenda as etapas do RAG local e os limites dos modelos menores.

Use os comandos e a API HTTP do Ollama para inspecionar modelos, memória e execução. Conheça o cliente Python e o backend simulado usado no desenvolvimento.

Carregue e divida documentos, gere embeddings locais em lote e grave o índice em SQLite. Entenda por que o índice precisa registrar qual modelo o produziu.

Recupere trechos por similaridade de cosseno e inspecione a pontuação dos candidatos. Ajuste o limiar que decide entre responder e recusar uma pergunta.

Configure o prompt, envie o contexto ao modelo de chat e interprete as métricas retornadas. Produza respostas com citações e acompanhe a geração em streaming.

Conecte a API de chat à interface web e experimente JSON e streaming. Veja como o serviço informa indisponibilidade do Ollama sem esconder o motivo da falha.

Execute perguntas com gabarito e compare qualidade, recusas e latência. Use os resultados para escolher modelos de embeddings e chat e calibrar o limiar de resposta.

Separe testes rápidos com backend simulado dos testes opcionais com modelos reais. Entenda o que cada grupo valida e como executar a integração com Ollama.

Execute aplicação e Ollama pelo Compose ou mantenha o Ollama nativo no computador. Configure a comunicação entre eles e disponibilize seus documentos ao container.

Investigue servidor Ollama indisponível, modelos ausentes e erros de instalação. Use a tabela de sintomas para localizar a configuração ou dependência que precisa de ajuste.

Avalie disco, memória, latência e os limites do índice local. Identifique o que precisaria mudar para atender mais usuários e operar além do laboratório.

Experimente seus documentos, compare novos modelos e planeje histórico de conversa. Explore busca híbrida, reindexação incremental e formas de ampliar a capacidade de inferência.

Revise instalação, modelos, índice, recuperação e respostas citadas. Confirme também o funcionamento da interface, dos testes e das medições de qualidade e latência.