Den arvede hallucination

Kapitel 4 — Den arvede hallucination

Dette er måske den mest lærerige historie i hele undersøgelsen, fordi den berører et tema, som tutorials ignorerer, og som til gengæld forårsager mere skade end alle andre tilsammen: kvaliteten af de data, der kommer ind.

En amerikansk cykelvirksomhed — lad os kalde den det af respekt — havde et enormt fotoarkiv, tusindvis af billeder af produkter, begivenheder, kunder på cykler, reklameture. Det var virksomhedens visuelle arv, akkumuleret over femten års kampagner. I et øjeblik af fremsyn havde nogen brugt en automatisk tagging-tjeneste til at tilføje en liste over "tilstedeværende objekter" til hvert foto: "cykel, hjelm, vej, bjerg, person". Metadata, der i teorien er nyttige til fremtidig visuel søgning. Arkiveret ved siden af billederne, glemt i årevis, derefter hentet og indtaget i den nye virksomheds RAG med den naturlige overbevisning om, at "jo flere metadata, jo bedre".

Efter indtagelsen gav billedsøgningen surrealistiske resultater. Du søgte efter "cykler i byen" og fik et billede af en sø. Du søgte efter "kvindelig model med hjelm" og fik en veteranbil. Du søgte efter "bjerg" og fik, uden forskel, hvad som helst – et tilfældigt udsnit af hele arkivet, som om systemet havde trukket lod. Holdet pegede først på den visuelle embeddingsmodel. Derefter på rerankeren (se tidligere kapitel for at forstå, hvorfor dette spor var særligt tillokkende). Og til sidst på kvaliteten af de beskrivelser, som AI'en genererede.

Den ægte undersøgelse, udført denne gang med en direkte SQL-query mod databasen, viste noget grotesk. Af 3997 katalogfotos havde alle, simpelthen alle, præcis den samme liste af objekter. En liste med 19 elementer — "bil, motorcykel, sø, hav, bjerg, cykel, hjelm, vej, by, person..." — som ikke havde nogen relation til indholdet i det enkelte foto. Den var blevet importeret for år siden fra en anden hjemmeside som et sæt generiske tags til at udfylde en obligatorisk felt i CMS'et. Ingen i virksomheden huskede det længere. Fotoerne var blevet flyttet fra system til system og havde taget disse spøgelses-labels med sig, plausible nok til ikke at vække mistanke, giftige nok til at korrumpere enhver søgning baseret på dem. Søgemaskinen brugte dem flittigt som et symptom på indhold. Og returnerede ethvert foto for enhver forespørgsel, med en vis grad af hallucination garanteret ved naturens lov.

Det hårde punkt, det der gør ondt, når man forstår det, er, at i en RAG-løsning larmer "støjende" data ikke på en måde, der kan høres. De bremser ikke systemet, genererer ikke fejl, og tænder ikke advarselslamper. De eroderer blot stille og roligt kvaliteten af resultaterne. Og når sprogmodellen modtager fem dokumenter, hvoraf fire er ude af emnet, siger den ikke "disse er irrelevante, spørg mig om noget andet": den konstruerer omhyggeligt et svar, der blander dem, og svaret lyder altid plausibelt. Altid. Den endelige hallucination – det opfundne svar, som vi beklager – opstår ikke i modellen, som det fortælles i den dominerende fortælling. Det opstår opstrøms, fra dataene. Modellen er blot den, der pakker det ind i en grammatisk korrekt sætning. Men skylden ligger et andet sted, længere tilbage, i det, du fodrede systemet med måneder før, du bad det om noget.

Denne observation har praktiske konsekvenser, der koster penge. Det første arbejde for enhver, der bygger en seriøs virksomheds-RAG, er før de skriver en linje kode, at udføre en obduktion af deres egne data. Hvor kommer de fra. Hvem har rørt ved dem. Hvilke felter observeres, og hvilke er fossile rester fra tidligere systemer. Hvilke metadata har betydning i dag, og hvilke havde de i 2017, og som ingen har taget sig tid til at rydde op i. Det er et mindre glamourøst, meget arkivarbejde, fuldstændig fraværende i tutorials, ofte opfattet som "ikke-teknisk" og derfor ignoreret af udviklingsteams. Men uden den indledende hygiejne bliver enhver genial arkitektur simpelthen en meget kraftfuld forstærker af meget gammelt skrald.

I tilfældet med den amerikanske virksomhed var løsningen brutal og korrekt: tømme feltet "objekter", genopbygge metadata fra bunden med en moderne visionsmodel anvendt på hvert enkelt foto og spore, denne gang, hvornår og hvordan hvert metadata blev produceret. Kedeligt arbejde. Resultat: søgningen begyndte endelig at fungere. Ikke fordi de havde skiftet model. Fordi de havde ryddet op på loftet.