A alucinação herdada

Capítulo 4 — A alucinação herdada

Esta é talvez a história mais instrutiva de toda a investigação, porque toca num tema que os tutoriais ignoram e que, em vez disso, causa mais danos do que todos os outros juntos: a qualidade dos dados que entram.

Uma empresa americana de bicicletas — chamemo-la assim por respeito — tinha um arquivo fotográfico enorme, milhares de imagens de produtos, eventos, clientes em bicicletas, viagens promocionais. Era o património visual da empresa, acumulado em quinze anos de campanhas. Num momento de visão, alguém usou um serviço de etiquetagem automática para adicionar, a cada foto, uma lista de "objetos presentes": "bicicleta, capacete, estrada, montanha, pessoa". Metadados úteis, em teoria, para a futura pesquisa visual. Arquivados junto às fotos, esquecidos durante anos, depois recuperados e ingeridos no novo RAG empresarial com a natural convicção de que "mais metadados, melhor é".

Após a ingestão, a pesquisa por imagens apresentava resultados surreais. Você procurava "bicicleta na cidade" e aparecia uma foto de um lago. Procurava "modelo feminina com capacete" e surgia um carro antigo. Procurava "montanha" e aparecia, indistintamente, qualquer coisa — uma amostra aleatória de todo o arquivo, como se o sistema tivesse sorteado. A equipe, inicialmente, apontou o dedo contra o modelo de embedding visual. Depois contra o reranker (veja o capítulo anterior, para entender por que essa pista era particularmente sedutora). Depois contra a qualidade das descrições geradas pela IA.

A investigação real, feita desta vez com uma query SQL direta ao banco de dados, mostrou uma coisa grotesca. De 3997 fotos do catálogo, todas, mas absolutamente todas, tinham a mesma lista de objetos. Uma lista de dezenove elementos — "carro, moto, lago, mar, montanha, bicicleta, capacete, estrada, cidade, pessoa..." — que não tinha nenhuma relação com o conteúdo da foto individual. Ela havia sido importada, anos antes, de outro site, como um conjunto de tags genéricas para preencher um campo obrigatório do CMS. Ninguém, na empresa, se lembrava mais disso. As fotos passaram de sistema em sistema carregando consigo aquelas etiquetas fantasma, plausíveis o suficiente para não despertar suspeitas, venenosas o bastante para corromper qualquer pesquisa baseada nelas. O motor de busca, diligente, as utilizava como sintoma de conteúdo. E retornava qualquer foto para qualquer consulta, com um certo grau de alucinação garantido por lei da natureza.

O ponto crucial, aquele que dói quando se compreende, é que em um RAG os dados "ruidosos" não fazem ruído que se ouça. Não desaceleram o sistema, não geram erros, não acendem alertas. Limitam-se a erodir silenciosamente a qualidade dos resultados. E quando o modelo de linguagem a jusante recebe cinco documentos dos quais quatro estão fora de tema, ele não te diz "estes não têm relação, pergunte-me outra coisa": ele constrói diligentemente uma resposta que os mistura, e a resposta soa sempre plausível. Sempre. A alucinação final — aquela resposta inventada da qual nos queixamos — não nasce do modelo, como é contada na narrativa dominante. Nasce a montante, dos dados. O modelo é apenas quem a embala em uma frase gramaticalmente impecável. Mas a culpa é em outro lugar, mais atrás, no que você alimentou o sistema meses antes de lhe pedir algo.

Esta observação tem consequências práticas que custam dinheiro. O primeiro trabalho de quem constrói um RAG empresarial sério, antes de escrever uma linha de código, é fazer a autópsia dos seus dados. De onde vêm. Quem os tocou. Quais campos são observados e quais são heranças fósseis de sistemas anteriores. Quais metadados têm significado hoje e quais o tinham em 2017 e ninguém se preocupou em limpá-los. É um trabalho pouco glamoroso, muito arquivístico, completamente ausente dos tutoriais, frequentemente percebido como "não técnico" e, portanto, ignorado pelas equipas de desenvolvimento. Mas sem essa higiene inicial, qualquer arquitetura genial que coloque a montante torna-se simplesmente um amplificador muito potente de lixo muito antigo.

No caso da empresa americana, a solução foi brutal e justa: esvaziar o campo "objetos", reconstruir os metadados a partir do zero com um modelo de visão moderno aplicado a cada foto individual, e acompanhar, desta vez, quando e como cada metadado foi produzido. Trabalho moroso. Resultado: a pesquisa finalmente começou a funcionar. Não porque tivessem mudado o modelo. Porque tinham feito limpeza na arrecadação.