Todo modelo alucina. O que o seu sistema faz quando não sabe?
Estudo de caso na saúde: descreveu 0 de 30 conceitos inventados e se absteve em 97% das perguntas fora do acervo.
Por que a alucinação é inata, os três elementos de uma arquitetura auditável e dez perguntas para fazer antes de assinar.
Baixe o PDF grátis — sem cadastro
Documentação aberta: o ebook completo (17 páginas), direto para você.
Baixar o ebook (PDF) ↓
Para conselhos, comitês de risco, compliance
e lideranças de TI.
A pergunta que um comitê de risco deveria fazer
Nenhuma versão futura, nenhum modelo maior e nenhuma rodada de ajuste fino elimina a alucinação — há um resultado formal sobre isso. Então a discussão de compra e de governança precisa mudar de lugar.
Este modelo alucina?
Quando ele não sabe, o que o sistema faz?
O que muda quando a resposta é obrigada a se ancorar num acervo curado
O ebook usa o benchmark cego do Cérebro do Mentor — o estudo de caso de uma profissional de saúde — contra quatro modelos generalistas de grandes fornecedores. A parte que mais interessa a quem audita é a das perguntas fora do acervo: é ali que a invenção aparece.
- Não dizemos que o sistema deixa de alucinar: a taxa medida é 2,96 por pergunta — menor, e diferente de zero. O “0 de 30” vale para aquele conjunto de conceitos inventados, não como garantia geral.
- A medição foi feita em saúde, sobre um corpus clínico curado (200 perguntas dentro dele e 75 fora). O ebook discute mercados regulados em geral; em outros setores, o número não foi medido.
- A comparação é contra modelos generalistas, não contra outras implementações de RAG. Dois juízes cegos (modelos de linguagem), teste de Tukey HSD, 25/06/2026.
Método, tabela completa e limites: o benchmark cego.
Se o erro não sai do modelo, ele precisa ser contido na arquitetura
Hoje quase todo fornecedor diz que usa RAG. A sigla descreve uma família de arquiteturas, não um padrão de qualidade — o ebook separa os três elementos que vale a pena perguntar um a um.
Acervo curado por especialista
Define o universo do que o sistema pode afirmar. A autoridade vem de quem selecionou o conteúdo.
Sem ele A resposta herda a qualidade média da internet, e a responsabilidade fica difusa.
Recuperação federada
Busca a evidência nas fontes do acervo e condiciona a resposta ao que foi de fato recuperado.
Sem ela O texto sai dos pesos do modelo, e a citação vira ornamento posterior.
Abstenção estruturada
Recusa responder quando a evidência não está no acervo, e devolve ao processo a informação de que ali não há lastro.
Sem ela O sistema preenche a lacuna com plausibilidade — o modo de falha mais caro e mais difícil de detectar.
Em mercado regulado, o critério de escolha não é qual sistema dá a melhor resposta.
É qual sistema você consegue defender.
Dez perguntas antes de assinar
Um checklist que serve tanto para fornecedor quanto para projeto interno, redigido para que resposta evasiva fique evidente. Quatro delas, para dar o tom:
- PERGUNTA 01
Quem curou o acervo, e com que critério documentado?
“Fontes públicas confiáveis” não é uma resposta auditável.
- PERGUNTA 03
O que o sistema faz quando não encontra lastro no acervo?
Peça a demonstração ao vivo, com uma pergunta que você sabe estar fora do domínio.
- PERGUNTA 06
Cada afirmação aponta para um trecho específico de fonte?
Não o documento inteiro: o trecho. Rastreabilidade sem granularidade não sustenta contestação.
- PERGUNTA 08
O acervo é ativo da instituição ou do fornecedor?
Se você trocar de fornecedor, o que permanece? É a diferença entre construir e alugar.
As outras seis — de abstenção medida a versionamento do acervo — estão no PDF.
O teste das cinco entidades fabricadas
Antes de qualquer piloto: escreva cinco termos plausíveis e inexistentes do seu próprio domínio e submeta ao sistema. Conte quantas vezes ele descreve, com desenvoltura, algo que não existe. O ebook explica como montar o teste e por que ele diz mais sobre risco operacional do que muita prova de conceito de três meses.
Para quem responde pela decisão, não só para quem a opera
Conselhos, comitês de risco e auditoria
Por que a alucinação é uma limitação estrutural, e por que a contenção é decisão de governança, não de roadmap.
Compliance e jurídico
Decisão humana final, auditabilidade e gestão do modo de falha — o que reconstruir e defender meses depois.
CIOs, CTOs e lideranças de área
O que separar numa avaliação de fornecedor ou num projeto interno, com perguntas que dá para levar à próxima reunião.
O que se assina não é a resposta. É a arquitetura que a produziu.
Baixe o ebook agora, sem cadastro — com as dez perguntas e o teste das cinco entidades prontos para a próxima avaliação.