झूठा रीरैंकर

अध्याय 3 — झूठा रीरैंकर

RAG की तकनीकी शब्दावली में एक महत्वपूर्ण, कम ग्लैमरस और कम चर्चित आकृति है: रीरैंकर। कंपनी की खोज को एक नाइट क्लब के प्रवेश द्वार के रूप में कल्पना करें। वेक्टर डेटाबेस द्वारपाल है: वह जल्दी से भीड़ को देखता है और तीस उम्मीदवारों को अंदर आने देता है जो, देखने में, आपकी खोज के समान दिखते हैं। रीरैंकर अंदर का बाउंसर है: वह उन तीस लोगों को लेता है, उन्हें ध्यान से देखता है, उनमें से पांच का चयन करता है - जिन्हें LLM वास्तव में उत्तर बनाने के लिए पढ़ेगा - और अन्य पच्चीस को वापस भेज देता है। यह एक छोटा लेकिन विशाल कार्य है: अगर वह गलत होता है, तो सभी गलत होते हैं। यदि बाउंसर चेहरे नहीं पढ़ सकता है, तो क्लब गलत लोगों से भर जाएगा और किसी को भी यह नहीं पता चलेगा कि शाम क्यों खराब हुई।

2025 में, कई क्लाउड सेवाएं बाजार में उभरीं जो रीरैंकर को API के रूप में पेश करती थीं। आप एक प्रश्न और दस्तावेजों की सूची भेजते हैं, और वे आपको स्कोर वापस करते हैं। सुविधाजनक, स्केलेबल, खरीदने के लिए कोई GPU नहीं, डाउनलोड करने के लिए कोई मॉडल नहीं। एक प्रसिद्ध यूरोपीय मॉडल प्रदाता - नाम न लेते हुए, लेकिन आप जानते हैं कि हम किन नामों से बच रहे हैं - Qwen परिवार का एक आशाजनक मॉडल, चार बिलियन मापदंडों के साथ, लेबल "रीरैंकर" के साथ प्रदर्शित कर रहा था। कीमत उचित थी, विलंबता स्वीकार्य थी। उस ऐतिहासिक क्षण में, कोई भी इसे चुनता। बहुत से लोगों ने इसे चुना।

जब तक कि स्कोर गलत नहीं थे। "थोड़े" गलत नहीं, जैसा कि किसी भी मॉडल के साथ हो सकता है: संरचनात्मक रूप से गलत। स्पष्ट रूप से प्रासंगिक दस्तावेज़ों को 0.2 मिला, अप्रासंगिक दस्तावेज़ों को 0.8 मिला। हमेशा की तरह, शुरुआती संदेह सामान्य संदिग्धों पर गए: एम्बेडिंग मॉडल, चंकिंग, क्वेरी का निर्माण, दस्तावेज़ का प्रीप्रोसेसिंग। गलत रास्तों पर हफ्तों की जांच। केवल क्लाउड रीरैंकर की प्रतिक्रियाओं की व्यवस्थित रूप से एक स्थानीय संदर्भ रीरैंकर के साथ तुलना करके - समान इनपुट, समान दस्तावेज़, स्कोर को एक एक्सेल शीट पर साइड-बाय-साइड रखा गया - एक असहज सच्चाई सामने आई: एपीआई के माध्यम से उजागर मॉडल टूटा हुआ था। शायद एक परिनियोजन त्रुटि, शायद गलती से अपलोड किया गया गलत संस्करण, शायद स्कोर के क्रमबद्धता में एक बग। प्रदाता ने इसे कभी औपचारिक रूप से स्वीकार नहीं किया। हालांकि, समस्या एक दिन, एक शांत अपडेट और कोई रिलीज़ नोट्स नहीं के बाद बस गायब हो गई।

इस कहानी का सार यह नहीं है कि "क्लाउड सेवाएं गलतियाँ करती हैं" — हर कोई गलतियाँ करता है, यहाँ तक कि स्थानीय मॉडल भी गलतियाँ करते हैं। मुद्दा अधिक सूक्ष्म है: एक गंभीर RAG में, रीरैंकर एक ऐसा टुकड़ा है जिसे आपको देखने में सक्षम होना चाहिए। यदि यह एक भुगतान किया गया ब्लैक बॉक्स है, और यदि इसके आउटपुट ऐसे नंबर हैं जो यादृच्छिक होने पर भी प्रशंसनीय लगते हैं — और रीरैंकर के स्कोर हमेशा प्रशंसनीय लगते हैं, क्योंकि वे शून्य और एक के बीच कुछ दशमलव के साथ संख्याएं हैं — तो आपके पास यह समझने का कोई तरीका नहीं है कि आपके सिस्टम में क्या गलत है। और चूंकि रीरैंकर पाइपलाइन के "अंत की ओर" है, इसलिए इसकी त्रुटि हर अपस्ट्रीम मूल्यांकन को दूषित करती है: खोज धीमी लगती है, क्वेरी गलत है, एम्बेडिंग खराब हैं। वास्तव में, यह बाउन्सर है जो चेहरे पढ़ना नहीं जानता है, और आप दरवाजे के शीशे पर सवाल उठा रहे हैं।

कुछ टीमों का हाल के महीनों में प्रतिकूल विकल्प — अधिक क्लाउड की ओर जाने के बजाय, वापस लौटना — रीरैंकर को घर वापस लाना रहा है। BGE परिवार का एक ओपन-सोर्स मॉडल, बहुत बड़ा नहीं, स्थानीय GPU पर चलाया जाता है (Apple Silicon पर भी, ड्राइवर पर कुछ सावधानी बरतते हुए)। यह सच है कि प्रबंधन का अधिक काम है। लेकिन नियंत्रित प्रयोग करने, यह समझने की क्षमता कि यह कब गलत है, संस्करणों की तुलना करने, एक इतिहास रखने की। और — अंतिम लेकिन महत्वपूर्ण नहीं — प्रत्येक व्यक्तिगत उपयोगकर्ता खोज के लिए API को एक सेंट का अंश भुगतान न करना। यह अंश, महीने में दसियों हज़ार प्रश्नों से गुणा करने पर, जल्दी से अंश बनना बंद कर देता है और एक बजट आइटम बन जाता है।

जब कोई घटक इतना महत्वपूर्ण होता है कि उसकी खराबी आपकी हर चीज को मापने की क्षमता को दूषित कर देती है, तो उसे ब्लैक बॉक्स को सौंपना दक्षता नहीं है। यह विश्वास का कार्य है। और उत्पादन में विश्वास के कार्य चक्रवृद्धि ब्याज पर चुकाए जाते हैं।