Den arvede hallusinasjonen

Kapittel 4 — Den arvede hallusinasjonen

Dette er kanskje den mest lærerike historien i hele undersøkelsen, fordi den berører et tema som opplæringsprogrammer ignorerer, og som faktisk forårsaker mer skade enn alle andre til sammen: kvaliteten på dataene som kommer inn.

En amerikansk sykkelbedrift – la oss kalle den det for å vise respekt – hadde et enormt fotoarkiv, tusenvis av bilder av produkter, arrangementer, kunder på sykkel, reklamekampanjer. Det var selskapets visuelle arv, akkumulert over femten år med kampanjer. I et øyeblikk av fremsynthet brukte noen en automatisk taggetjeneste for å legge til en liste over «objekter til stede» til hvert bilde: «sykkel, hjelm, vei, fjell, person». Metadata som i teorien er nyttige for fremtidig visuell søking. Lagret ved siden av bildene, glemt i årevis, deretter hentet og importert til selskapets nye RAG med den naturlige overbevisningen om at «jo mer metadata, jo bedre».

Etter inntaket ga bildeøkene surrealistiske resultater. Du søkte etter "sykler i byen" og fikk opp et bilde av en innsjø. Du søkte etter "modell med hjelm" og fikk opp en veteranbil. Du søkte etter "fjell" og fikk opp hva som helst – et tilfeldig utvalg fra hele arkivet, som om systemet hadde trukket lodd. Teamet pekte først på den visuelle embeddingsmodellen. Deretter på rerankeren (se forrige kapittel for å forstå hvorfor dette sporet var spesielt fristende). Og til slutt på kvaliteten på beskrivelsene generert av AI.

Den ekte undersøkelsen, utført denne gangen med en direkte query mot databasen, viste noe groteskt. Av 3997 katalogbilder hadde alle, virkelig alle, nøyaktig samme liste over objekter. En liste med nitten elementer — "bil, motorsykkel, innsjø, hav, fjell, sykkel, hjelm, vei, by, person..." — som ikke hadde noen sammenheng med innholdet i det enkelte bildet. Den hadde blitt importert, for mange år siden, fra en annen nettside, som et sett med generelle tagger for å fylle et obligatorisk felt i CMS-et. Ingen i selskapet husket det lenger. Bildene hadde gått fra system til system og tatt med seg disse spøkelsesetikettene, plausible nok til ikke å vekke mistanke, giftige nok til å korrumpere enhver søk basert på dem. Søkemotoren, flittig, brukte dem som et symptom på innhold. Og returnerte hvilket som helst bilde for hvilken som helst spørring, med en viss grad av hallusinasjon garantert ved naturens lov.

Det vanskelige, det som gjør vondt når man forstår det, er at i en RAG vil "støyende" data ikke lage støy som kan høres. De sakker ikke ned systemet, de genererer ikke feil, de tenner ingen varsellamper. De begrenser seg til å stille og rolig erodere kvaliteten på resultatene. Og når språkmodellen nedstrøms mottar fem dokumenter, hvorav fire er utenfor tema, vil den ikke si "disse er irrelevante, spør meg om noe annet": den konstruerer flittig et svar som blander dem, og svaret høres alltid plausibelt ut. Alltid. Den endelige hallusinasjonen – det oppdiktede svaret vi klager over – oppstår ikke fra modellen, slik det fortelles i den dominerende fortellingen. Den oppstår oppstrøms, fra dataene. Modellen er bare den som pakker den inn i en grammatisk feilfri setning. Men skylden ligger et annet sted, lenger tilbake, i det du matet systemet med måneder før du ba det om noe.

Denne observasjonen har praktiske konsekvenser som koster penger. Det første arbeidet til de som bygger en seriøs bedrifts-RAG, før de skriver en eneste linje kode, er å obdusere sine egne data. Hvor de kommer fra. Hvem har berørt dem. Hvilke felt observeres og hvilke er fossile rester fra tidligere systemer. Hvilke metadata har betydning i dag og hvilke hadde de i 2017, uten at noen har tatt bryet med å rydde dem opp. Det er et lite glamorøst arbeid, veldig arkivbasert, fullstendig fraværende fra opplæringsprogrammer, ofte oppfattet som "ikke-teknisk" og derfor ignorert av utviklingsteam. Men uten den innledende hygienen, blir enhver genial arkitektur du setter opp bare en veldig kraftig forsterker av veldig gammel søppel.

I tilfellet med det amerikanske selskapet var løsningen brutal og riktig: tømme feltet "objekter", gjenoppbygge metadataene fra bunnen av med en moderne synsmodell brukt på hvert enkelt bilde, og spore, denne gangen, når og hvordan hvert metadata ble produsert. Kjedelig arbeid. Resultat: søket begynte endelig å fungere. Ikke fordi de hadde byttet modell. Fordi de hadde ryddet i kjelleren.