De geërfde hallucinatie

Hoofdstuk 4 — De geërfde hallucinatie

Dit is misschien wel het meest leerzame verhaal uit het hele onderzoek, omdat het een thema aansnijdt dat tutorials negeren en dat toch meer schade aanricht dan alles bij elkaar: de kwaliteit van de binnenkomende data.

Een Amerikaans fietsbedrijf — laten we het zo noemen uit respect — had een enorme fotobibliotheek, duizenden productfoto's, evenementen, klanten op de fiets, promotietochten. Het was het visuele erfgoed van het bedrijf, verzameld in vijftien jaar campagnes. Op een moment van vooruitziendheid had iemand een automatische taggingdienst gebruikt om aan elke foto een lijst met "aanwezige objecten" toe te voegen: "fiets, helm, weg, berg, persoon". Metadata die in theorie nuttig zijn voor toekomstig visueel zoeken. Opgeslagen naast de foto's, jarenlang vergeten, en vervolgens opgedoken en opgenomen in de nieuwe RAG van het bedrijf met de natuurlijke overtuiging dat "meer metadata, beter is".

Na de ingestie gaf de zoekopdracht op afbeeldingen surrealistische resultaten. Je zocht naar "fietsen in de stad" en er kwam een foto van een meer tevoorschijn. Je zocht naar "vrouwelijk model met helm" en er kwam een oldtimer tevoorschijn. Je zocht naar "berg" en er kwam, zonder onderscheid, alles tevoorschijn - een willekeurige steekproef uit het hele archief, alsof het systeem een loting had uitgevoerd. Het team wees aanvankelijk met de vinger naar het visuele embeddingmodel. Toen naar de reranker (zie vorig hoofdstuk, om te begrijpen waarom dit spoor bijzonder aantrekkelijk was). Toen naar de kwaliteit van de beschrijvingen die door de AI werden gegenereerd.

Het serieuze onderzoek, dit keer uitgevoerd met een directe query naar de database, toonde iets grotesks aan. Van de 3997 catalogusfoto's hadden alle, echt alle, exact dezelfde lijst met objecten. Een lijst van negentien elementen — "auto, motor, meer, zee, berg, fiets, helm, weg, stad, persoon..." — die geen enkele relatie had met de inhoud van de individuele foto. Deze was jaren geleden geïmporteerd van een andere website, als een set generieke tags om een verplicht veld in het CMS in te vullen. Niemand binnen het bedrijf kon het zich meer herinneren. De foto's waren van systeem naar systeem gegaan, waarbij ze die spooklabels meenamen, plausibel genoeg om geen argwaan te wekken, giftig genoeg om elk zoekresultaat op basis daarvan te corrumperen. De zoekmachine gebruikte deze, ijverig, als een symptoom van inhoud. En gaf elke foto terug voor elke zoekopdracht, met een zekere mate van hallucinatie gegarandeerd door de wet van de natuur.

De harde kern, wat pijn doet als je het begrijpt, is dat 'ruisende' data in een RAG geen hoorbare ruis veroorzaakt. Het vertraagt het systeem niet, genereert geen fouten en activeert geen waarschuwingslampjes. Het erodeert simpelweg stil de kwaliteit van de resultaten. En wanneer het downstream taalmodel vijf documenten ontvangt waarvan er vier off-topic zijn, zegt het niet "Deze zijn niet relevant, vraag me iets anders": het construeert zorgvuldig een antwoord dat ze mengt, en dat antwoord klinkt altijd plausibel. Altijd. De uiteindelijke hallucinatie – dat verzonnen antwoord waar we over klagen – komt niet van het model, zoals wordt verteld in het dominante verhaal. Het ontstaat upstream, uit de data. Het model is slechts degene die het verpakt in een grammaticaal correcte zin. Maar de schuld ligt elders, verder terug, in wat je het systeem maanden eerder hebt gevoederd voordat je er iets vroeg.

Deze observatie heeft praktische consequenties die geld kosten. Het eerste werk van wie een serieuze enterprise RAG bouwt, voordat er een regel code wordt geschreven, is het uitvoeren van een autopsie op de eigen data. Waar komen ze vandaan. Wie heeft ze aangeraakt. Welke velden worden bijgehouden en welke zijn fossiele overblijfselen van eerdere systemen. Welke metadata hebben vandaag de dag betekenis en welke hadden dat in 2017 en is er sindsdien niemand meer de moeite genomen om ze op te schonen. Het is een weinig glamoureus, zeer archivistisch werk, volledig afwezig in tutorials, vaak gezien als "niet-technisch" en dus genegeerd door de ontwikkelteams. Maar zonder die initiële hygiëne, wordt elke geniale architectuur stroomopwaarts simpelweg een zeer krachtige versterker van zeer oude rotzooi.

In het geval van het Amerikaanse bedrijf was de oplossing brutaal en juist: het leegmaken van het veld "objecten", het reconstrueren van de metadata vanaf nul met een modern vision model toegepast op elke foto, en het bijhouden, deze keer, van wanneer en hoe elke metadata is geproduceerd. Vervelend werk. Resultaat: de zoekopdracht begon eindelijk te werken. Niet omdat ze het model hadden veranderd. Omdat ze de zolder hadden opgeruimd.