De leugenachtige reranker

Hoofdstuk 3 — De leugenachtige reranker

In de technische jargon van RAG is er een belangrijke, weinig glamoureuze en weinig vertelde figuur: de reranker. Stel je het bedrijfszoekwerk voor als de ingang van een discotheek. De vectordatabase is de portier: hij kijkt snel naar de menigte en laat dertig kandidaten binnen die, op het eerste gezicht, lijken op wat je zoekt. De reranker is de uitsmijter binnen: hij neemt die dertig, bekijkt ze rustig, selecteert er vijf — die de LLM daadwerkelijk zal lezen om het antwoord te construeren — en stuurt de andere vijfentwintig terug. Het is een kleine maar enorme functie: als hij het fout heeft, gaat iedereen de fout in. Als de uitsmijter gezichten niet kan lezen, zal de club gevuld raken met de verkeerde mensen en zal niemand ooit begrijpen waarom de avond mislukt is.

In 2025 verschenen er verschillende cloudservices op de markt die rerankers aanboden als API. Je stuurt een vraag en een lijst met documenten, en je ontvangt scores. Handig, schaalbaar, geen GPU's om te kopen, geen modellen om te downloaden. Een bekende Europese provider van modellen — zonder namen te noemen, maar je weet welke namen we vermijden — presenteerde een veelbelovend model uit de Qwen-familie, met vier miljard parameters, gelabeld als "Reranker". De prijs was redelijk, de latentie acceptabel. Iedereen, op dat historische moment, zou het kiezen. Velen hebben het gekozen.

Tenzij de scores verkeerd waren. Niet "licht" verkeerd, zoals bij elk model kan gebeuren: structureel verkeerd. Documenten die overduidelijk relevant waren, kregen een score van 0.2, terwijl documenten die er niets mee te maken hadden 0.8 kregen. De eerste vermoedens, zoals altijd in dit soort gevallen, gingen naar de gebruikelijke verdachten: het embedding-model, het chunking, de formulering van de query, de voorbewerking van de documenten. Weken van onderzoek naar foute sporen. Pas door systematisch de antwoorden van de cloud-reranker te vergelijken met die van een lokale referentie-reranker – dezelfde input, dezelfde documenten, scores naast elkaar in een Excel-sheet – kwam de ongemakkelijke waarheid aan het licht: het model dat via de API werd aangeboden, was defect. Misschien een fout bij de implementatie, misschien een verkeerde versie per ongeluk geüpload, misschien een bug in de serialisatie van de scores. De provider heeft dit nooit formeel toegegeven. Het probleem is echter op een dag gewoon verdwenen, na een stille update en zonder wijzigingen in de release notes.

De clou van dit verhaal is niet "cloudservices maken fouten" — iedereen maakt fouten, ook lokale modellen maken fouten. De clou is subtieler: in een serieuze RAG is de reranker een onderdeel dat je in moet kunnen kijken. Als het een betaalde black box is, en als de output ervan getallen zijn die plausibel lijken, zelfs als ze willekeurig zijn — en de scores van een reranker lijken altijd plausibel, omdat het getallen zijn tussen nul en één met een paar decimalen — heb je geen manier om te begrijpen wat er mis is met je systeem. En omdat de reranker "aan het einde" van de pipeline zit, vervuilt zijn fout elke evaluatie stroomopwaarts: de zoekopdracht lijkt traag, de query verkeerd, de embeddings armoedig. In werkelijkheid is het de uitsmijter die geen gezichten kan lezen, en jij betwijfelt het glas van de deur.

De ongebruikelijke keuze van sommige teams, de afgelopen maanden — in plaats van meer naar de cloud te gaan, terug te keren — is geweest om de reranker in huis te halen. Een open-source model uit de BGE-familie, niet gigantisch, draaiend op een lokale GPU (ook op Apple Silicon, met enige voorzichtigheid met betrekking tot de drivers). Meer beheerwerk, dat klopt. Maar de mogelijkheid om gecontroleerde experimenten uit te voeren, te begrijpen wanneer het fout gaat, versies te vergelijken, een geschiedenis bij te houden. En — niet onbelangrijk — om niet voor elke individuele gebruikerszoekopdracht een fractie van een cent aan de API te betalen. Een fractie die, vermenigvuldigd met tienduizenden zoekopdrachten per maand, snel geen fractie meer is en een post op de balans wordt.

Wanneer een component zo kritiek is dat een defect elke mogelijkheid om alles anders te meten aantast, dan is het delegeren ervan aan een black box geen efficiëntie. Het is een daad van geloof. En daden van geloof, in productie, worden met samengestelde rente betaald.