Reranker-ul mincinos

Capitolul 3 — Reranker-ul mincinos

În jargonul tehnic al RAG există o figură cheie, puțin glamour și puțin povestită: reranker-ul. Imaginează-ți căutarea corporativă ca pe intrarea într-un club. Baza de date vectorială este portarul: aruncă o privire rapidă asupra mulțimii și lasă să intre treizeci de candidați care, cu ochiul liber, seamănă cu ceea ce cauți. Reranker-ul este omul din interior: ia acei treizeci, îi examinează cu atenție, selectează cinci — pe cei pe care LLM-ul îi va citi cu adevărat pentru a construi răspunsul — și trimite înapoi ceilalți douăzeci și cinci. Este o funcție mică, dar enormă: dacă el greșește, greșesc toți. Dacă omul din interior nu știe să citească fețele, clubul se umple de persoanele greșite și nimeni nu va înțelege niciodată de ce seara a mers prost.

În 2025, au apărut pe piață diverse servicii cloud care ofereau rerankere ca API. Trimiți o întrebare și o listă de documente, primești scoruri. Convenabil, scalabil, fără GPU-uri de cumpărat, fără modele de descărcat. Un faimos furnizor european de modele — fără a da nume, dar știi care nume evităm — expunea un model promițător din familia Qwen, de patru miliarde de parametri, etichetat "Reranker". Prețul era rezonabil, latența acceptabilă. Oricine, în acel moment istoric, l-ar fi ales. Mulți l-au ales.

Cu excepția faptului că scorurile erau greșite. Nu „ușor” greșite, așa cum se poate întâmpla cu orice model: greșite structural. Documente în mod evident relevante primeau 0.2, documente în afara subiectului primeau 0.8. Primele suspiciuni, ca întotdeauna în aceste cazuri, au fost îndreptate către cei obișnuiți suspecți: modelul de embedding, chunking-ul, formularea interogării, preprocesarea documentelor. Săptămâni de investigații pe piste greșite. Doar comparând sistematic răspunsurile reranker-ului cloud cu cele ale unui reranker local de referință — aceeași intrare, aceleași documente, scoruri puse unul lângă altul într-o foaie de calcul Excel — a ieșit la iveală adevărul incomod: modelul expus prin API era defect. Poate o eroare de deploy, poate o versiune greșită încărcată din greșeală, poate un bug în serializarea scorurilor. Furnizorul nu a recunoscut niciodată formal acest lucru. Problema, totuși, a dispărut pur și simplu într-o zi, după o actualizare silențioasă și fără modificări în notele de lansare.

Ideea principală a acestei povești nu este "serviciile cloud greșesc" — toată lumea greșește, chiar și modelele locale greșesc. Ideea este mai subtilă: într-un RAG serios, reranker-ul este o componentă în care trebuie să poți privi în interior. Dacă este o cutie neagră plătită, și dacă rezultatele sale sunt numere care par plauzibile chiar și atunci când sunt aleatorii — iar scorurile unui reranker par întotdeauna plauzibile, deoarece sunt numere între zero și unu cu câteva zecimale —, nu ai nicio modalitate de a înțelege ce nu funcționează în sistemul tău. Și deoarece reranker-ul este "spre sfârșitul" pipeline-ului, eroarea sa contaminează fiecare evaluare în amonte: pare că căutarea este lentă, interogarea greșită, embedding-urile slabe. În realitate, este portarul care nu știe să citească fețele, și tu pui la îndoială geamurile ușii.

Alegerea contracurentă a unor echipe, în aceste luni — în loc să meargă spre mai mult cloud, să revină înapoi — a fost să aducă reranker-ul în casă. Un model open source din familia BGE, nu gigantic, rulat pe GPU local (chiar și pe Apple Silicon, cu unele precauții privind driverele). Mai multă muncă de gestionare, este adevărat. Dar posibilitatea de a face experimente controlate, de a înțelege când greșește, de a compara versiuni, de a ține o istorică. Și — nu în ultimul rând — de a nu vărsa către API o fracțiune de centim pentru fiecare căutare unică a utilizatorului. Fracțiune care, înmulțită cu zeci de mii de interogări pe lună, încetează rapid să mai fie o fracțiune și devine o voce în bilanț.

Când un component este atât de critic încât funcționarea sa defectuoasă corupe orice capacitate de a măsura tot restul, atunci delegarea lui către o cutie neagră nu este eficiență. Este un act de credință. Și actele de credință, în producție, se plătesc cu dobândă compusă.