La mensoganta rerankigilo

Ĉapitro 3 — La mensoganta rerankigilo

En la teknika ĵargono de RAG ekzistas ŝlosilfiguro, malglamoura kaj malmulte rakontata: la rerankigilo. Imagu la entreprenan serĉadon kiel enirejon de diskoteko. La vektora datumbazo estas la pordisto: rapidtempe rigardas la homamason kaj enlasas tridek kandidatojn, kiuj, je unua rigardo, ŝajnas esti tio, kion vi serĉas. La rerankigilo estas la interna foriganto: prenas tiujn tridek, rigardas ilin pace, elektas kvin — tiujn, kiujn la LLM vere legos por konstrui la respondon — kaj forsendas la aliajn dudek kvin. Ĝi estas eta sed enorma funkcio: se li eraras, ĉiuj eraras. Se la foriganto ne scias legi vizaĝojn, la loko pleniĝos de la malĝustaj homoj kaj neniu iam komprenos, kial la vespero iris malbone.

En 2025 aperis sur la merkato diversaj nubaj servoj, kiuj proponis rerankigilojn kiel API. Vi sendas demandon kaj liston de dokumentoj, kaj ili resendos al vi poentojn. Komforta, skalebla, neniu GPU aĉetenda, neniu modelo elŝutenda. Fama eŭropa provizanto de modeloj — sen nomi, sed vi scias, kiujn nomojn ni evitas — ekspozis promesan modelon de la familio Qwen, de kvar miliardoj da parametroj, etiketitan "Reranker". La prezo estis racia, la latenco akceptebla. Ĉiu, en tiu historia momento, elektus ĝin. Multaj elektis ĝin.

Escepte la taksoj estis eraraj. Ne "malgrave" eraraj, kiel povas okazi al ajna modelo: eraraj strukture. Dokumentoj klare relevantaj ricevis 0.2, dokumentoj ne temaj ricevis 0.8. La unuaj suspektoj, kiel ĉiam en tiuj kazoj, estis direktitaj al la kutimaj kulpuloj: la modelo de enmetado, la fragmentigo, la formulado de la demando, la antaŭtraktado de la dokumentoj. Semajnoj da esploradoj laŭ eraraj spuroj. Nur komparante sisteme la respondojn de la rerankigilo en la reto kun tiuj de loka referenca rerankigilo — la sama enigo, la samaj dokumentoj, taksoj metitaj flank-al-flanke sur Excel-folio — aperis la malagrablega vero: la modelo eksponita per API estis rompita. Eble eraro de deplojo, eble malĝusta versio ŝarĝita hazarde, eble eraro en la serialigo de la taksoj. La provizanto neniam formale konfesis tion. La problemo, tamen, simple malaperis unu tagon, post silenta ĝisdatigo kaj neniu ŝanĝo en la notoj.

La celo de ĉi tiu rakonto ne estas "nulabaj servoj en la reto eraras" — ĉiuj eraras, eĉ lokaj modeloj eraras. La celo estas pli subtila: en serioza RAG, la rerankigilo estas parto kiun vi devas povi rigardi enen. Se ĝi estas pagita nigra skatolo, kaj se ĝiaj eliroj estas nombroj kiuj ŝajnas kredindaj eĉ kiam ili estas hazardaj — kaj la poentoj de rerankigilo ŝajnas ĉiam kredindaj, ĉar ili estas nombroj inter nulo kaj unu kun kelkaj decimaloj —, vi ne havas manieron kompreni kio ne funkcias en via sistemo. Kaj ĉar la rerankigilo estas "al la fino" de la procezo, ĝia eraro poluas ĉiun taksadon antaŭe: la serĉo ŝajnas malrapida, la demando erara, la enkodigoj malbonaj. Fakte ĝi estas la pordisto kiu ne scias legi vizaĝojn, kaj vi metis en demandon la vitrojn de la pordo.

La kontraŭfluanta elekto de iuj teamoj, en ĉi tiuj monatoj — anstataŭ iri al pli da nuboj, reveni reen — estis raporti la rerankigilon hejmen. Malgranda, malfermfonta modelo de la familio BGE, funkciigita sur loka GPU (eĉ sur Apple Silicon, kun iom da zorgo pri la stiriloj). Pli da laboro por administrado, jes. Sed la ebleco fari kontrolitajn eksperimentojn, kompreni kiam ĝi eraras, kompreni versiojn, teni historion. Kaj — ne lasta — ne pagi al la API frakcion de cendimo por ĉiu ununura uzantserĉo. Frakcio kiu, multiplikita per dekduoj da miloj da serĉoj monate, rapide ĉesas esti frakcio kaj fariĝas buĝeta posteno.

Kiam komponento estas tiel kritika ke ĝia misfunkciado koruptas ĉiun vian kapablon mezuri ĉion alian, tiam delegi ĝin al nigra skatolo ne estas efikeco. Ĝi estas ago de fido. Kaj agoj de fido, en produktado, pagatas kun kunigita intereso.