Kłamliwy reranker

Rozdział 3 — Kłamliwy reranker

W żargonie technicznym RAG istnieje kluczowa, niezbyt efektowna i rzadko opowiadana figura: reranker. Wyobraź sobie wyszukiwanie w firmie jako wejście do klubu nocnego. Baza wektorowa to portier: szybko przegląda tłum i wpuszcza trzydziestu kandydatów, którzy na pierwszy rzut oka przypominają to, czego szukasz. Reranker to ochroniarz wewnątrz: bierze tych trzydziestu, ogląda ich spokojnie, wybiera pięciu — tych, które LLM naprawdę przeczyta, aby zbudować odpowiedź — i odsyła pozostałych dwadzieścia pięć. To mała, ale ogromna funkcja: jeśli on się pomyli, wszyscy się pomylą. Jeśli ochroniarz nie potrafi czytać z twarzy, klub zapełni się niewłaściwymi ludźmi i nikt nigdy nie zrozumie, dlaczego wieczór się nie udał.

W 2025 roku na rynku pojawiło się kilka usług chmurowych, które oferowały rerankery jako API. Wysyłasz pytanie i listę dokumentów, a one zwracają wyniki. Wygodne, skalowalne, brak konieczności kupowania GPU, brak modeli do pobrania. Znany europejski dostawca modeli — nie podając nazw, ale wiecie, których nazw unikamy — udostępnił obiecujący model z rodziny Qwen, składający się z czterech miliardów parametrów, oznaczony jako "Reranker". Cena była rozsądna, a opóźnienie akceptowalne. Każdy w tamtym momencie historycznym by go wybrał. Wielu go wybrało.

Z wyjątkiem, że wyniki były błędne. Nie "nieznacznie" błędne, jak to może się zdarzyć w przypadku każdego modelu: błędne strukturalnie. Dokumenty wyraźnie istotne otrzymywały wynik 0.2, dokumenty niezwiązane z tematem otrzymywały wynik 0.8. Pierwsze podejrzenia, jak zawsze w takich przypadkach, padły na zwyczajowych podejrzanych: model embeddingu, chunking, formułowanie zapytania, preprocessing dokumentów. Tygodnie badań na fałszywych tropach. Dopiero systematyczne porównanie odpowiedzi rerankera chmurowego z odpowiedzią lokalnego rerankera referencyjnego — to samo wejście, te same dokumenty, wyniki zestawione obok siebie w arkuszu Excel — ujawniło niewygodną prawdę: model udostępniany przez API był uszkodzony. Być może błąd wdrożenia, być może załadowana przez pomyłkę zła wersja, być może błąd w serializacji wyników. Dostawca nigdy nie przyznał się do tego formalnie. Problem jednak po prostu zniknął pewnego dnia, po cichej aktualizacji i braku zmian w notach.

Sedno tej historii nie jest "usługi chmurowe się mylą" — wszyscy się mylą, nawet lokalne modele się mylą. Chodzi o coś bardziej subtelnego: w poważnym systemie RAG, reranker to element, w który musisz móc zajrzeć w środku. Jeśli jest to płatna czarna skrzynka, a jej wyniki to liczby, które wydają się wiarygodne, nawet gdy są losowe — a wyniki rerankera zawsze wydają się wiarygodne, ponieważ są liczbami z zakresu od zera do jedynki z pewną liczbą miejsc po przecinku — nie masz sposobu, aby zrozumieć, co jest nie tak w twoim systemie. A ponieważ reranker znajduje się "pod koniec" potoku, jego błąd zanieczyszcza każdą ocenę wyższego rzędu: wyszukiwanie wydaje się powolne, zapytanie błędne, embeddingi słabe. W rzeczywistości to ochroniarz, który nie potrafi czytać twarzy, a ty kwestionujesz szyby drzwi.

Ostatnimi miesiącami zauważyliśmy, że niektóre zespoły podjęły decyzję sprzeczną z trendem – zamiast zwiększać wykorzystanie chmury, powróciły do rozwiązań lokalnych, przenosząc reranker do domu. Wykorzystują otwarty model z rodziny BGE, niezbyt duży, uruchomiony na lokalnej karcie graficznej (nawet na Apple Silicon, choć z pewną ostrożnością w kwestii sterowników). To prawda, wymaga to większego nakładu pracy w zakresie zarządzania. Ale daje możliwość przeprowadzania kontrolowanych eksperymentów, zrozumienia, kiedy model się myli, porównywania wersji i prowadzenia historii zmian. I – co nie mniej ważne – pozwala uniknąć płacenia za każde pojedyncze zapytanie użytkownika, nawet minimalnej kwoty. Kwota ta, pomnożona przez dziesiątki tysięcy zapytań miesięcznie, szybko przestaje być minimalna i staje się znaczącym kosztem w bilansie.

Gdy komponent jest tak krytyczny, że jego awaria niszczy wszelkie możliwości pomiaru reszty, powierzenie go czarnej skrzynce nie jest efektywnością. To akt wiary. A akty wiary w środowisku produkcyjnym są kosztowne.