O Google diz que a AI Overview não alucina. Um estudo com 98 mil alegações discorda — só que não do jeito que vai virar manchete

Antes de repetir qualquer número de estudo sobre IA, a pergunta é sempre a mesma: medido como, e qual é o denominador? Um estudo da Washington University in St. Louis, cuja divulgação pela universidade saiu em 29 de setembro, vai circular como "as respostas de IA do Google só são confiáveis em 41,9% dos casos". Li o paper inteiro, não o release sobre ele. O número existe, é real e vem de uma apuração rigorosa — mas não mede o que a manchete vai fazer parecer que mede.

O que os pesquisadores de fato mediram

Haofei Xu, Umar Iqbal e Jacob M. Montgomery rastrearam 55.393 buscas em alta no Google, distribuídas em 19 categorias temáticas, ao longo de 40 dias entre 13 de março e 21 de abril de 2026, capturando cada AI Overview junto com as páginas citadas nela. Das 7.583 AI Overviews coletadas, 7.491 renderam ao menos uma alegação verificável — as demais foram descartadas por não terem texto extraível ou citarem só rede social. O resultado: 98.020 alegações checadas uma a uma contra o conteúdo das páginas que a própria AI Overview cita como fonte. O processo de verificação foi validado contra anotação humana antes de rodar em escala: concordância entre anotadores de 0,94 (Cohen's kappa) e o verificador automatizado bateu com o humano em 98 de 100 casos testados, acurácia geral de 95,6%. Isso é apuração de verdade, não estimativa de consultoria.

O 41,9% não é a nota do exame — é quem tirou dez

Aqui está o problema de denominador. Os pesquisadores contam quantas AI Overviews têm 100% das suas alegações fundamentadas: 3.141 de 7.491, ou 41,9%. Essa métrica é tudo-ou-nada — uma AI Overview com 15 alegações, das quais 14 corretas e 1 sem fonte, entra na mesma cesta de uma AI Overview inteiramente inventada. Quando o mesmo estudo mede alegação por alegação, o quadro muda: 88,97% das 98.020 alegações são consistentes com a fonte citada, e a AI Overview mediana individual tem 93,33% das próprias alegações fundamentadas. Os 41,9% respondem "quantas provas o aluno tirou nota mil"; os 88,97% respondem "quantas questões o aluno acertou". São perguntas diferentes, e só a segunda é a que a maioria de quem repetir esse número vai achar que está lendo.

O que de fato vai mal: falta citação, não é mentira inventada

Dos 11,03% de alegações que falham, o estudo separa por que falharam — e a distinção importa mais que o total. 6,98 pontos percentuais são "omitidas": nenhuma das fontes citadas junto à alegação aborda aquele fato específico. Só 2,66 pontos são "incorretas": uma fonte citada contradiz diretamente a alegação. Os próprios autores registram que omissão é cerca de 2,6 vezes mais comum que contradição direta — e essa é a distinção que decide se o Google está mentindo com fonte ou citando fonte de menos. O Google afirma publicamente que a AI Overview "geralmente não alucina como outras experiências de IA", atribuindo isso à arquitetura de resposta ancorada em busca. Contra invenção direta — a alegação que a própria fonte desmente —, o dado sustenta um caso razoável para o Google, parecido com o que já apurei aqui sobre como o ChatGPT escolhe fonte: 97,34% das alegações não são contraditadas pela fonte que a AI Overview escolheu citar. Contra a promessa mais ampla de que toda alegação é rastreável até uma fonte real, o dado não sustenta: mais de 1 em cada 15 alegações não tem, nas próprias fontes citadas, nenhum texto que a apoie.

A cauda que a média some

Uma média de 93,33% por AI Overview esconde uma cauda que não é irrelevante: 2,74% das AI Overviews (205 de 7.491) têm menos da metade das alegações fundamentadas, e 0,85% (64 delas) não têm nenhuma alegação sustentada pela fonte citada. Menos de 1% parece pouco até multiplicar pelo volume: o Google relata mais de 2 bilhões de usuários expostos a AI Overviews, e a própria amostra do estudo mostra ativação em 13,7% das buscas no geral, subindo para 64,7% quando a busca é feita em forma de pergunta — 6,8 vezes mais alta que os 9,5% das buscas que não são pergunta. É a mesma ordem de grandeza que o Rui já mediu aqui sobre concentração de fonte em citação por IA: números pequenos em proporção viram números grandes assim que alguém multiplica pelo volume de busca real. Essa cauda de baixa confiabilidade não aparece na média de 93,33%, mas é ela que decide o pior caso que um usuário de fato encontra.

O que fica

Os pesquisadores leram cada alegação contra o texto da fonte, validaram o processo contra anotação humana e publicam a metodologia inteira — isso é dado, e o número não fecha só quando alguém troca a pergunta que ele responde por outra. Mas o número que vai circular — 41,9% — mede a proporção de respostas com nota perfeita, não a proporção de conteúdo confiável, e tratar os dois como sinônimos é o mesmo erro que este espaço aponta em todo case de produtividade sem denominador. A leitura mais precisa e menos viral: a maioria das alegações individuais de uma AI Overview se sustenta, o problema dominante é fonte insuficiente e não invenção descarada, e existe uma cauda pequena mas real de respostas quase sem lastro nenhum. As três coisas são verdadeiras ao mesmo tempo, e nenhuma cabe numa manchete de um número só.