Yalan Reranker

Bölüm 3 — Yalan Reranker

RAG'nin teknik jargonunda, göz kamaştırıcı olmayan ve pek anlatılmayan önemli bir figür var: reranker. Şirket içi aramayı bir gece kulübünün girişi gibi düşünün. Vektör veritabanı, kapı görevlisidir: kalabalığa hızlıca bakar ve aradığınız şeye benzediğini düşündüğü otuz adayı içeri alır. Reranker ise içerideki güvenlik görevlisidir: bu otuz kişiyi alır, dikkatlice inceler, beşini seçer — LLM'nin cevabı oluşturmak için gerçekten okuyacağı kişiler — ve diğer yirmi beşini geri gönderir. Küçük ama devasa bir fonksiyondur: o hata yaparsa, herkes hata yapar. Güvenlik görevlisi yüzleri okuyamazsa, kulüp yanlış insanlarla dolar ve herkes gecenin neden kötü gittiğini merak eder.

2025'te, reranker'ları API olarak sunan çeşitli bulut hizmetleri piyasaya sürüldü. Bir soru ve bir belge listesi gönderirsiniz, size puanlar döndürürler. Kullanışlı, ölçeklenebilir, satın alınacak GPU yok, indirilecek model yok. Ünlü bir Avrupa model sağlayıcısı — isim vermeden, hangi isimlerden kaçındığımızı biliyorsunuz — dört milyar parametreli, "Reranker" etiketli, umut vadeden bir Qwen ailesi modeli sergiliyordu. Fiyat makuldü, gecikme kabul edilebilirdi. O tarihi anda herkes onu seçerdi. Birçoğu seçti.

Puanlar hatalıydı. Herhangi bir modelde olabileceği gibi "hafifçe" hatalı değil, yapısal olarak hatalı. Açıkça alakalı belgeler 0.2 alırken, konu dışı belgeler 0.8 alıyordu. Bu tür durumlarda her zaman olduğu gibi ilk şüpheler, her zamanki suçlulara yöneldi: embedding modeli, parçalama, sorgu formülasyonu, belge ön işleme. Yanlış izlerde haftalarca süren araştırmalar. Yalnızca reranker bulutunun yanıtlarını, referans yerel bir reranker ile sistematik olarak karşılaştırarak — aynı girdi, aynı belgeler, puanlar yan yana bir Excel sayfasına yerleştirildiğinde — rahatsız edici gerçek ortaya çıktı: API aracılığıyla açığa çıkarılan model bozuktu. Belki bir dağıtım hatası, belki yanlışlıkla yüklenen yanlış bir sürüm, belki puanların serileştirilmesindeki bir hata. Sağlayıcı bunu hiçbir zaman resmen kabul etmedi. Ancak sorun, sessiz bir güncellemeden sonra bir gün ortadan kayboldu ve notlarda herhangi bir değişiklik yapılmadı.

Bu hikayenin özü "bulut hizmetleri hata yapar" değil — herkes hata yapar, yerel modeller de hata yapar. Asıl nokta daha incelikli: ciddi bir RAG'de, yeniden sıralayıcı (reranker) içine bakabileceğiniz bir parçadır. Ücretli bir kara kutuysa ve çıktıları rastgele olsa bile makul görünen sayılar ise — ve bir yeniden sıralayıcının puanları her zaman makul görünür, çünkü onlar sıfır ile bir arasında ondalık sayılarla ifade edilir — sisteminizde neyin yanlış gittiğini anlamanın bir yolu yoktur. Ve yeniden sıralayıcı hattın "sonuna doğru" olduğu için, hatası yukarı akışta her değerlendirmeyi kirletir: arama yavaş, sorgu yanlış, gömme işlemleri zayıf görünüyor. Aslında, yüzleri okuyamayan bir güvenlik görevlisi ve siz kapının camlarını sorguluyorsunuz.

Son aylarda bazı ekiplerin ters gidişatı — daha fazla bulut yerine geriye dönmek — rerankeri eve getirmek oldu. BGE ailesinden, devasa olmayan, yerel GPU'larda (biraz sürücü uyarısıyla Apple Silicon'da bile) çalıştırılan bir açık kaynak modeli. Daha fazla yönetim çalışması, doğru. Ancak kontrollü deneyler yapma, ne zaman hata yaptığını anlama, sürümleri karşılaştırma, geçmişi tutma imkanı. Ve — son olarak — her bir kullanıcı araması için API'ye kuruşun bir kısmını ödememek. On binlerce sorguyla çarpıldığında, bu kesir hızla bir kesir olmaktan çıkar ve bir maliyet kalemi haline gelir.

Bir bileşen, tüm ölçüm yeteneğinizi bozan bir arızaya neden olacak kadar kritik olduğunda, onu bir kara kutuya devretmek verimlilik değildir. Bir inanç eylemidir. Ve üretimdeki inanç eylemleri bileşik faizle ödenir.