Lživý reranker

Kapitola 3 — Lživý reranker

V technickém žargonu RAG existuje klíčová, málo okázalá a málo vyprávěná postava: reranker. Představte si firemní vyhledávání jako vstup do nočního klubu. Vektorová databáze je vrátný: rychle se podívá na dav a pustí třicet kandidátů, kteří se na první pohled zdají být tím, co hledáte. Reranker je vnitřní vyhazovač: vezme těchto třicet, podívá se na ně pozorně, vybere pět – ty, které LLM skutečně přečte, aby vytvořil odpověď – a pošle zpět zbývajících pětadvacet. Je to malá, ale obrovská funkce: pokud se splete on, spletou se všichni. Pokud vyhazovač neumí číst tváře, klub se naplní špatnými lidmi a nikdo nikdy nepochopí, proč se večer nepovedl.

V roce 2025 se na trhu objevilo několik cloudových služeb, které nabízely rerankery jako API. Pošlete dotaz a seznam dokumentů a oni vám vrátí skóre. Pohodlné, škálovatelné, žádné GPU k nákupu, žádné modely ke stažení. Jeden slavný evropský poskytovatel modelů – bez jmenování, ale víte, kterým jménům se vyhýbáme – vystavoval slibný model z rodiny Qwen, se čtyřmi miliardami parametrů, označený jako „Reranker“. Cena byla rozumná, latence přijatelná. Kdokoli by si ho v té historické chvíli vybral. Mnozí si ho vybrali.

Kromě toho, že skóre byla špatná. Ne „mírně“ špatná, jak se to může stát u jakéhokoli modelu: špatná strukturálně. Zjevně relevantní dokumenty dostávaly 0,2, irelevantní dokumenty 0,8. První podezření, jako vždy v těchto případech, padlo na obvyklé podezřelé: embedding model, chunking, formulace dotazu, předzpracování dokumentů. Týdny vyšetřování po špatných stopách. Až systematickým porovnáváním odpovědí cloud rerankeru s odpověďmi referenčního lokálního rerankeru – stejný vstup, stejné dokumenty, skóre vedle sebe v Excelu – vyšla najevo nepříjemná pravda: model vystavený přes API byl rozbitý. Možná chyba nasazení, možná nesprávná verze nahrána omylem, možná chyba v serializaci skóre. Poskytovatel to nikdy formálně nepřiznal. Problém však jednoduše zmizel jednoho dne, po tiché aktualizaci a bez změny poznámek.

Pointa tohoto příběhu není "chybují cloudové služby" — chybují všichni, i lokální modely chybují. Pointa je subtilnější: v seriózním RAG je reranker komponenta, do které musíte být schopni nahlédnout. Pokud je to placená černá skříňka a její výstupy jsou čísla, která vypadají věrohodně i když jsou náhodná — a skóre rerankeru vypadají vždy věrohodně, protože jsou čísla mezi nulou a jedničkou s nějakou desetinnou čárkou —, nemáte žádný způsob, jak zjistit, co je špatně ve vašem systému. A protože reranker je "na konci" pipeline, jeho chyba kontaminuje každé vyhodnocení upstream: vyhledávání se zdá pomalé, dotaz chybný, embeddingy chudé. Ve skutečnosti je to vyhazovač, který neumí číst tváře, a vy zpochybňujete sklo dveří.

Rozhodnutí některých týmů jít v posledních měsících proti proudu – místo dalšího přechodu na cloud se vrátit zpět – spočívalo v tom, že reranker přenesly domů. Jedná se o open-source model z rodiny BGE, ne obrovský, spuštěný na lokální GPU (včetně Apple Silicon, s určitou opatrností ohledně ovladačů). Je to sice více práce s údržbou, ale umožňuje provádět kontrolované experimenty, pochopit, kdy se model mýlí, porovnávat verze a uchovávat historii. A – ne v poslední řadě – nemusíte platit API zlomek centu za každý jednotlivý uživatelský dotaz. Zlomek, který se po vynásobení desítkami tisíc dotazů měsíčně rychle přestane rovnat zlomku a stane se položkou v rozpočtu.

Když je komponenta tak kritická, že její porucha naruší veškerou vaši schopnost měřit vše ostatní, delegovat ji na černou skříňku není efektivita. Je to akt víry. A akty víry se v produkci platí složeným úrokem.