Az örökölt hallucináció

4. fejezet — Az örökölt hallucináció

Ez talán a legtanulságosabb történet az egész vizsgálat során, mert egy olyan témát érint, amelyet az oktatóanyagok figyelmen kívül hagynak, és amely még több kárt okoz, mint az összes többi együttvéve: a bemenő adatok minősége.

Egy amerikai kerékpárgyár — nevezzük így a tisztelet jegyében — hatalmas fotóarchívummal rendelkezett, több ezer termékfotóval, eseménnyel, kerékpározó ügyfelekkel, promóciós utakkal. Ez volt a vállalat vizuális öröksége, melyet tizenöt évnyi kampány során halmozott fel. Egy távlatos pillanatban valaki automatikus címkéző szolgáltatást használt, hogy minden fotóhoz egy listát adjon a „jelen lévő tárgyakról”: „kerékpár, sisak, út, hegy, személy”. A metadatok hasznosak voltak a jövőbeli vizuális kereséshez. A fotók mellé mentették, évekig elfelejtették, majd lekapták és beépítették a vállalat új RAG-jébe azzal a természetes meggyőződéssel, hogy „minél több metaadat, annál jobb”.

A betöltés után a képek keresése szürreális eredményeket adott. Kerestél "biciklit a városban" és egy tó képe jelent meg. Kerestél "sisakos női modellt" és egy régi autó jelent meg. Kerestél "hegyet" és bármit megkaphattál – egy véletlenszerű mintát a teljes archívumból, mintha a rendszer sorsolással választotta volna ki. A csapat először a vizuális beágyazási modellt hibáztatta. Aztán a rerankert (lásd a korábbi fejezetet, hogy miért volt ez a nyomvonal különösen vonzó). Aztán a mesterséges intelligencia által generált leírások minőségét.

A valódi vizsgálat, ezúttal egy közvetlen SQL query segítségével a adatbázis felé, egy groteszk dolgot mutatott. A 3997 katalógusképből mindegyik, de tényleg mindegyik, pontosan ugyanazt a tárgyak listáját tartalmazta. Egy tizenkilenc elemből álló lista — "autó, motorkerékpár, tó, tenger, hegy, kerékpár, sisak, út, város, személy..." — amelynek semmi köze nem volt az egyes képek tartalmához. Ezt évekkel ezelőtt importálták egy másik weboldalról, mint általános címkéket egy kötelező CMS mező kitöltéséhez. Senki a cégen belül nem emlékezett már rá. A képek átvándoroltak rendszerről rendszerre, magukkal hurcolva ezeket a fantom címkéket, amelyek elég valószínűnek tűntek ahhoz, hogy ne keltsenek gyanút, de elég mérgezőek ahhoz, hogy elrontsák azokra alapuló minden keresést. A keresőmotor, szorgalmasan, tartalomként használta azokat. És bármilyen képet visszaadott bármilyen lekérdezésre, bizonyos mértékű hallucinációval, melyet a természet törvénye garantált.

A lényeg, ami fájdalmas rájönni, az az, hogy egy RAG rendszerben a „zajos” adatok nem okoznak hallható zajt. Nem lassítják le a rendszert, nem generálnak hibákat, nem gyújtanak ki figyelmeztető lámpákat. Egyszerűen csendben erodálják az eredmények minőségét. És ha a downstream nyelvi modell öt dokumentumot kap, amelyek közül négy nem releváns, nem mondja „ezek nem tartoznak ide, kérdezz meg valamit mást”: szorgalmasan összeállít egy választ, amely keveri őket, és a válasz mindig hihetőnek tűnik. Mindig. A végső hallucináció – ez az elképzelt válasz, amiről panaszkodunk – nem a modellben születik, ahogy a domináns narratíva mondja. Feláramlásban születik, az adatokból. A modell csak becsomagolja egy grammatikailag hibátlan mondatba. De a hiba máshol van, messzebb hátul, abban, amit hónapokkal korábban adtál a rendszernek, mielőtt bármit kérdeztél volna tőle.

Ennek a megfigyelésnek gyakorlati következményei vannak, amelyek pénzbe kerülnek. Az első munka egy komoly vállalati RAG építésénél, mielőtt egyetlen sor kódot is írnánk, a saját adataink boncolása. Honnan származnak. Kik nyúlták hozzá. Mely mezőket figyelnek és melyek a korábbi rendszerek fosszilis örökségei. Mely metaadatoknak van ma jelentése, és melyeknek volt 2017-ben, de senki sem vette a fáradságot, hogy kitakarítsa őket. Ez egy kevésbé csillogó, inkább levéltári munka, teljesen hiányzik a bemutatókból, gyakran "nem technikai" munkának tekintik, és ezért a fejlesztő csapatok lenézik. De ezen kezdeti higiénia nélkül bármilyen zseniális architektúra, amit felépítesz, egyszerűen egy nagyon erős erősítője lesz a nagyon régi szemétnek.

Az amerikai vállalat esetében a megoldás brutális és helyes volt: kiürítették a "objektumok" mezőt, a metaadatokat teljesen újraépítették egy modern látómodellel, amelyet minden egyes fotóra alkalmaztak, és ezúttal nyomon követték, hogy minden metaadatot mikor és hogyan hoztak létre. Unalmas munka. Az eredmény: a keresés végre elkezdett működni. Nem azért, mert megváltoztatták a modellt. Mert kitakarították a pincét.