Zděděná halucinace

Kapitola 4 — Zděděná halucinace

Toto je možná nejpoučnější příběh celého vyšetřování, protože se dotýká tématu, které tutoriály ignorují a které ve skutečnosti způsobuje více škody než všechno ostatní dohromady: kvalita vstupních dat.

Americká společnost vyrábějící kola – nazvěme ji tak z úcty – měla obrovský fotografický archiv, tisíce snímků produktů, událostí, zákazníků na kolech, propagačních cest. Byl to vizuální majetek společnosti, akumulovaný během patnácti let kampaní. V okamžiku předvídavosti někdo použil službu automatického označování, aby ke každé fotografii přidal seznam „přítomných objektů“: „kolo, přilba, silnice, hora, osoba“. Teoreticky užitečné metadatum pro budoucí vizuální vyhledávání. Uloženo vedle fotografií, zapomenuto na léta, poté načteno a vloženo do nového firemního RAG s přirozeným přesvědčením, že „více metadat je lepší“.

Po ingestaci začalo vyhledávání obrázků vracet surrealistické výsledky. Hledali jste "kola ve městě" a objevila se fotka jezera. Hledali jste "modelka s helmou" a objevilo se staré auto. Hledali jste "hora" a objevilo se bez rozdílu cokoliv – náhodný vzorek celého archivu, jako by systém losoval. Tým zpočátku svaloval vinu na model vizuálního vkládání. Pak na reranker (viz předchozí kapitola, abyste pochopili, proč byla tato stopa zvláště lákavá). Poté na kvalitu popisů generovaných umělou inteligencí.

Skutečný průzkum, tentokrát provedený pomocí přímého SQL dotazu do databáze, odhalil groteskní věc. Ze 3997 fotografií v katalogu měly všechny, doslova všechny, stejný seznam objektů. Seznam devatenácti položek — "auto, motorka, jezero, moře, hora, kolo, helma, silnice, město, osoba..." — které neměly žádnou souvislost s obsahem jednotlivé fotografie. Byl importován před lety z jiného webu jako sada obecných tagů pro vyplnění povinného pole CMS. Nikdo v podniku si na to již nepamatoval. Fotografie přecházely z jednoho systému do druhého a nesly s sebou tyto fantomové štítky, dostatečně věrohodné, aby nevzbudily podezření, ale dostatečně jedovaté, aby zkorumpovaly každé vyhledávání založené na nich. Vyhledávací engine je pilně využíval jako symptom obsahu. A vracel jakoukoli fotografii pro jakýkoli dotaz s jistou mírou halucinace zaručenou zákonem přírody.

To je to, co bolí, když to pochopíte: v RAG "šumivá" data nedělají slyšitelný šum. Nezpomalují systém, nezpůsobují chyby, nerozsvěcují kontrolky. Pouze tiše erodují kvalitu výsledků. A když jazykový model přijme pět dokumentů, z nichž čtyři jsou mimo téma, neřekne "tyto nesouvisí, zeptej se na něco jiného": pečlivě sestaví odpověď, která je smíchá, a odpověď zní vždy věrohodně. Vždy. Finální halucinace – ta vymyšlená odpověď, na kterou si stěžujeme – nevzniká v modelu, jak se říká v převládajícím vyprávění. Vzniká upstream, z dat. Model ji pouze zabalí do gramaticky bezchybné věty. Ale vina je jinde, dál vzadu, v tom, co jsi systému nakrmil měsíce předtím, než jsi se ho na něco zeptal.

Tato pozorování má praktické důsledky, které stojí peníze. První práce při budování seriózního firemního RAG, předtím než napíšete jediný řádek kódu, spočívá v pitvě vašich dat. Odkud pocházejí. Kdo je upravoval. Která pole jsou sledována a která jsou fosilními pozůstatky starších systémů. Které metadatumy mají dnes význam a které ho měly v roce 2017 a nikdo se už nedal do jejich čištění. Je to málo glamourózní práce, velmi archivní, zcela chybějící v návodech, často vnímána jako "netechnická" a proto opomíjená vývojovými týmy. Ale bez této počáteční hygieny se jakákoli geniální architektura, kterou postavíte, stane jednoduše velmi silným zesilovačem starého odpadu.

V případě americké společnosti bylo řešení brutální a správné: vyprázdnit pole "objekty", znovu vytvořit metadatumy od nuly s moderním modelem vidění aplikovaným na každou jednotlivou fotografii a sledovat, tentokrát, kdy a jak bylo každé metadatum vytvořeno. Nudná práce. Výsledek: vyhledávání konečně začalo fungovat. Ne proto, že by změnili model. Protože uklidili ve sklepě.