Der lügende Reranker

Kapitel 3 — Der lügende Reranker

In der technischen Fachsprache von RAG gibt es eine Schlüsselrolle, die wenig glamourös und wenig erzählt ist: der Reranker. Stellen Sie sich die Unternehmenssuche wie den Eingang eines Nachtclubs vor. Die Vektordatenbank ist der Türsteher: Sie blickt schnell auf die Menge und lässt dreißig Kandidaten herein, die auf den ersten Blick dem ähneln, wonach Sie suchen. Der Reranker ist der Türsteher im Inneren: Er nimmt diese dreißig, betrachtet sie sorgfältig, wählt fünf aus — diejenigen, die das LLM tatsächlich lesen wird, um die Antwort zu erstellen — und schickt die anderen fünfundzwanzig zurück. Es ist eine kleine, aber enorme Funktion: Wenn er sich irrt, irren alle. Wenn der Türsteher keine Gesichter lesen kann, füllt sich der Club mit den falschen Leuten und niemand wird jemals verstehen, warum der Abend schiefgelaufen ist.

Im Jahr 2025 kamen verschiedene Cloud-Dienste auf den Markt, die Reranker als APIs anboten. Sie senden eine Anfrage und eine Liste von Dokumenten und erhalten Bewertungen zurück. Praktisch, skalierbar, keine GPUs zum Kaufen, keine Modelle zum Herunterladen. Ein bekannter europäischer Modellanbieter — ohne Namen zu nennen, aber Sie wissen, welche Namen wir vermeiden — präsentierte ein vielversprechendes Modell der Qwen-Familie mit vier Milliarden Parametern, gekennzeichnet als "Reranker". Der Preis war angemessen, die Latenz akzeptabel. Jeder hätte es in diesem historischen Moment gewählt. Viele haben es gewählt.

Es sei denn, die Bewertungen waren falsch. Nicht "leicht" falsch, wie es bei jedem Modell passieren kann: strukturell falsch. Offensichtlich relevante Dokumente erhielten 0,2, irrelevante Dokumente 0,8. Die ersten Verdächtigen waren wie immer die üblichen Verdächtigen: das Embedding-Modell, das Chunking, die Formulierung der Abfrage, die Vorverarbeitung der Dokumente. Wochenlange Ermittlungen in falschen Fährten. Erst durch den systematischen Vergleich der Antworten des Cloud-Rerankers mit denen eines lokalen Referenz-Rerankers – derselbe Input, dieselben Dokumente, Bewertungen nebeneinander in einer Excel-Tabelle – kam die unangenehme Wahrheit ans Licht: das über die API bereitgestellte Modell war defekt. Vielleicht ein Fehler beim Deployment, vielleicht eine versehentlich hochgeladene falsche Version, vielleicht ein Bug bei der Serialisierung der Bewertungen. Der Anbieter hat dies nie formell zugegeben. Das Problem verschwand jedoch einfach eines Tages nach einem stillen Update und ohne Änderung der Versionshinweise.

Der springende Punkt dieser Geschichte ist nicht "Cloud-Dienste irren" – jeder irrt, auch lokale Modelle irren. Der Punkt ist subtiler: In einem seriösen RAG ist der Reranker ein Teil, in den Sie blicken können. Wenn es sich um eine kostenpflichtige Blackbox handelt und seine Ausgaben Zahlen sind, die plausibel erscheinen, auch wenn sie zufällig sind – und die Scores eines Rerankers scheinen immer plausibel zu sein, da es sich um Zahlen zwischen Null und Eins mit einigen Dezimalstellen handelt –, haben Sie keine Möglichkeit zu verstehen, was in Ihrem System falsch läuft. Und da der Reranker "gegen Ende" der Pipeline steht, verunreinigt sein Fehler jede nachgelagerte Bewertung: Die Suche scheint langsam, die Abfrage falsch, die Embeddings schlecht. Tatsächlich ist es der Türsteher, der keine Gesichter lesen kann, und Sie stellen die Glastür in Frage.

Die Entscheidung einiger Teams in den letzten Monaten, entgegen dem Trend – statt mehr Cloud, wieder zurückzugehen – war, den Reranker ins Haus zu holen. Ein Open-Source-Modell der BGE-Familie, nicht riesig, das auf lokaler GPU ausgeführt wird (auch auf Apple Silicon, mit einigen Vorsichtsmaßnahmen bei den Treibern). Mehr Verwaltungsaufwand, das stimmt. Aber die Möglichkeit, kontrollierte Experimente durchzuführen, zu verstehen, wann es schiefgeht, Versionen zu vergleichen und einen Verlauf zu führen. Und – nicht zuletzt – nicht für jede einzelne Benutzersuche einen Bruchteil eines Cent an die API zu zahlen. Ein Bruchteil, der sich, multipliziert mit Zehntausenden von Abfragen pro Monat, schnell von einem Bruchteil zu einem Budgetposten entwickelt.

Wenn eine Komponente so kritisch ist, dass ihre Fehlfunktion jede Ihrer Möglichkeiten zur Messung des Restes korrumpiert, dann ist die Auslagerung an eine Blackbox keine Effizienz. Es ist ein Glaubensakt. Und Glaubensakte zahlen sich in der Produktion mit Zinseszins aus.