Dziedziczona halucynacja

Rozdział 4 — Dziedziczona halucynacja

To być może najbardziej pouczająca historia w całym śledztwie, ponieważ dotyka tematu, który pomija się w samouczkach, a który w rzeczywistości wyrządza więcej szkody niż wszystkie pozostałe razem wzięte: jakość danych wejściowych.

Amerykańska firma produkująca rowery — nazwijmy ją tak z szacunku — posiadała ogromne archiwum fotografii, tysiące zdjęć produktów, wydarzeń, klientów na rowerach, wyjazdów promocyjnych. Było to wizualne dziedzictwo firmy, gromadzone przez piętnaście lat kampanii. W momencie dalekowzroczności ktoś wykorzystał usługę automatycznego oznaczania, aby do każdego zdjęcia dodać listę „obecnych obiektów”: „rower, kask, droga, góra, osoba”. Metadane przydatne, w teorii, do przyszłych wizualnych wyszukiwań. Zarchiwizowane obok zdjęć, zapomniane przez lata, a następnie odzyskane i wprowadzone do nowego firmowego RAG z naturalnym przekonaniem, że „im więcej metadanych, tym lepiej”.

Po przetworzeniu, wyszukiwanie obrazów zwracało surrealistyczne wyniki. Szukałeś "roweru w mieście" i wyświetlało się zdjęcie jeziora. Szukałeś "modelki w kasku" i pojawiał się samochód zabytkowy. Szukałeś "góry" i wyświetlało się wszystko, bez rozróżnienia — losowy przegląd całego archiwum, jakby system losował. Zespół początkowo wskazywał na model osadzania wizualnego. Potem na reranker (patrz poprzedni rozdział, aby zrozumieć, dlaczego ten trop był szczególnie kuszący). Potem na jakość opisów generowanych przez AI.

Prawdziwe śledztwo, przeprowadzone tym razem za pomocą bezpośredniego zapytania SQL do bazy danych, ujawniło coś groteskowego. Spośród 3997 zdjęć katalogowych wszystkie, dosłownie wszystkie, miały tę samą listę obiektów. Listę dziewiętnastu elementów — "samochód, motocykl, jezioro, morze, góra, rower, kask, droga, miasto, osoba..." — która nie miała żadnego związku z zawartością poszczególnego zdjęcia. Została zaimportowana lata temu z innej strony internetowej jako zestaw ogólnych tagów, aby wypełnić obowiązkowe pole CMS. Nikt w firmie już tego nie pamiętał. Zdjęcia przechodziły z systemu do systemu, niosąc ze sobą te etykiety-widma, wystarczająco wiarygodne, aby nie budzić podejrzeń, wystarczająco trujące, aby skazić każde oparte na nich wyszukiwanie. Silnik wyszukiwania, sumienny, wykorzystywał je jako symptom zawartości. I zwracał jakiekolwiek zdjęcie dla jakiegokolwiek zapytania, z pewnym stopniem halucynacji gwarantowanym przez prawa natury.

Sedno sprawy, to, co boli, gdy się to zrozumie, jest takie, że w systemie RAG "szumne" dane nie powodują słyszalnego szumu. Nie spowalniają systemu, nie generują błędów, nie zapalają żadnych lampek ostrzegawczych. Ograniczają się do cichego erodowania jakości wyników. A kiedy model językowy odbiera pięć dokumentów, z których cztery są nietrafione, nie mówi "te nie mają związku, zapytaj o coś innego": skrupulatnie konstruuje odpowiedź, która je miesza, a odpowiedź brzmi zawsze wiarygodnie. Zawsze. Ostateczna halucynacja — ta wymyślona odpowiedź, na którą się skarżymy — nie rodzi się w modelu, jak podaje dominująca narracja. Rodzi się przed danymi. Model jest tylko tym, który pakuje ją w gramatycznie poprawną frazę. Ale wina leży gdzie indziej, głębiej, w tym, czym nakarmiłeś system miesiącami wcześniej, zanim o coś go zapytałeś.

Ta obserwacja ma praktyczne konsekwencje, które kosztują pieniądze. Pierwszą pracą osoby budującej solidny, firmowy system RAG, zanim napisze się choć jedną linijkę kodu, jest przeprowadzenie autopsji własnych danych. Skąd się biorą. Kto ich dotykał. Jakie pola są obserwowane, a które są skamieniałymi pozostałościami poprzednich systemów. Jakie metadane mają znaczenie dziś, a jakie miały w 2017 roku i nikt już nie podjął się ich uporządkowania. To praca mało efektowna, bardzo archiwalna, całkowicie pomijana w samouczkach, często postrzegana jako "nietechniczna" i dlatego ignorowana przez zespoły programistyczne. Ale bez tej początkowej higieny, każda genialna architektura, którą postawisz na początku, staje się po prostu bardzo potężnym wzmacniaczem bardzo starego śmiecia.

W przypadku amerykańskiej firmy rozwiązanie było brutalne i słuszne: opróżnić pole "obiekty", odbudować metadane od zera przy użyciu nowoczesnego modelu wizyjnego zastosowanego do każdego pojedynczego zdjęcia i śledzić, tym razem, kiedy i jak każde metadane zostały wyprodukowane. Nudna praca. Rezultat: wyszukiwanie w końcu zaczęło działać. Nie dlatego, że zmienili model. Bo posprzątali w piwnicy.