Den ärvda hallucinationen

Kapitel 4 — Den ärvda hallucinationen

Detta är kanske den mest lärorika historien i hela undersökningen, eftersom den berör ett tema som handledningar ignorerar och som istället orsakar mer skada än allt annat tillsammans: kvaliteten på de data som kommer in.

Ett amerikanskt cykelföretag – låt oss kalla det så av respekt – hade ett enormt fotoarkiv, tusentals bilder av produkter, evenemang, kunder på cyklar, reklamresor. Det var företagets visuella arv, ackumulerat under femton års kampanjer. I ett ögonblick av framsynthet hade någon använt en automatisk taggningstjänst för att lägga till en lista med "föremål som finns" till varje foto: "cykel, hjälm, väg, berg, person". Metadata som är användbara i teorin för framtida visuell sökning. Lagrade bredvid fotona, bortglömda i år, sedan återfunna och matade in i det nya företagets RAG med den naturliga övertygelsen att "ju mer metadata, desto bättre".

Efter intaget gav bildsökningarna surrealistiska resultat. Du sökte efter "cyklar i staden" och fick upp en bild av en sjö. Du sökte efter "modell kvinna med hjälm" och fick upp en gammal bil. Du sökte efter "berg" och fick upp, likgiltigt, vad som helst – ett slumpmässigt urval från hela arkivet, som om systemet hade dragit lott. Teamet pekade först ut den visuella inbäddningsmodellen. Sedan rerankern (se föregående kapitel för att förstå varför detta spår var särskilt lockande). Sedan kvaliteten på de beskrivningar som genererades av AI.

Den verkliga undersökningen, som denna gång gjordes med en direkt SQL-query till databasen, visade något groteskt. Av 3997 katalogbilder hade alla, verkligen alla, exakt samma lista med objekt. En lista med nitton element — "bil, motorcykel, sjö, hav, berg, cykel, hjälm, väg, stad, person..." — som inte hade någon relation till innehållet i den enskilda bilden. Den hade importerats, år tidigare, från en annan webbplats, som en uppsättning generella taggar för att fylla ett obligatoriskt fält i CMS:et. Ingen i företaget mindes det längre. Bilderna hade passerat från system till system och burit med sig dessa spöketiketter, tillräckligt plausibla för att inte väcka misstankar, tillräckligt giftiga för att korrumpera alla sökningar baserade på dem. Sökmotorn, flitig, använde dem som ett symptom på innehåll. Och returnerade vilken bild som helst för vilken fråga som helst, med en viss grad av hallucination garanterad enligt naturens lag.

Det hårda, det som gör ont när man förstår det, är att i en RAG-lösning "brusiga" data inte skapar något hörbart brus. De saktar inte ner systemet, genererar inga fel, tänder inga varningslampor. De urholkar bara tyst kvaliteten på resultaten. Och när språkmodellen nedströms tar emot fem dokument varav fyra är irrelevanta, säger den inte "dessa hör inte hemma, fråga mig något annat": den konstruerar noggrant ett svar som blandar dem, och svaret låter alltid trovärdigt. Alltid. Den slutgiltiga hallucinationen – det påhittade svaret som vi klagar över – uppstår inte i modellen, som det berättas i den dominerande berättelsen. Den uppstår uppströms, från datan. Modellen är bara den som paketerar den i en grammatiskt korrekt mening. Men skulden ligger någon annanstans, längre tillbaka, i det du matade systemet med månader innan du bad det om något.

Denna observation har praktiska konsekvenser som kostar pengar. Det första jobbet för den som bygger en seriös företags-RAG, innan man skriver en enda rad kod, är att göra en obduktion av sina egna data. Var kommer de ifrån. Vem har rört dem. Vilka fält observeras och vilka är fossila rester från tidigare system. Vilka metadata har betydelse idag och vilka hade de 2017 och ingen har sedan dess tagit sig tid att städa upp dem. Det är ett lite tråkigt jobb, väldigt arkivlikt, helt frånvarande i handledningar, ofta uppfattat som "inte tekniskt" och därför ignorerat av utvecklingsteamen. Men utan den initiala hygienen blir vilken genialisk arkitektur du än sätter uppströms helt enkelt en mycket kraftfull förstärkare av väldigt gammalt skräp.

I fallet med det amerikanska företaget var lösningen brutal och rättvis: tömma fältet "objekt", rekonstruera metadatan från grunden med en modern synmodell tillämpad på varje enskilt foto, och spåra, den här gången, när och hur varje metadata producerades. Tråkigt arbete. Resultat: sökningen började äntligen fungera. Inte för att de hade bytt modell. För att de hade städat i källaren.