वे तालिकाएँ जो मौजूद नहीं थीं

अध्याय 2 — वे तालिकाएँ जो मौजूद नहीं थीं

उत्तरी-पूर्वी क्षेत्र की एक यांत्रिक कंपनी के एक तकनीशियन ने हमें यह एक एस्प्रेसो के सामने बताया, वेनेटियन लोगों की उस शांति के साथ जो एक आपदा का पूर्वाभास कराती है: "हमारा चैटबॉट इंजन के बारे में सब कुछ जानता था। सिवाय इंजन के डेटा के।" फिर उन्होंने समझाया। उनका आंतरिक एआई सहायक उत्पाद श्रृंखला, उपयोग के संदर्भ, ब्रांड इतिहास, प्रतिस्पर्धी लाभों का वर्णन कर सकता था। कथात्मक स्तर पर एक आश्चर्य। लेकिन जब कोई ग्राहक मॉडल CMP50L के नाममात्र टॉर्क के बारे में पूछता था - यानी वह तकनीकी डेटा जिसके लिए लोग कैटलॉग खोलते हैं, वह संख्या जिसके लिए एक इंजन खरीदा जाता है - चैटबॉट अस्पष्ट रूप से जवाब देता था, कभी-कभी प्रशंसनीय, कभी-कभी नहीं। पाँच महीने का विकास, परिचालन निदेशक लगातार भ्रमित होते जा रहे थे, और कोई भी यह नहीं जानता था कि क्यों।

निदान संयोग से मिला, लगभग बोरियत के कारण, एक और निष्कर्षहीन बैठक के बाद मैन्युअल रूप से डेटाबेस का निरीक्षण करते समय। PDF कैटलॉग में 342 तकनीकी टेबल थे। डेटाबेस में शून्य आ गए। मुट्ठी भर नहीं: शून्य। कोई नहीं। कोड जो PDF से टेबल निकालता था, डेटा को columns और data नामक फ़ील्ड में सहेजता था, जबकि कोड जो बाद में उन्हें अनुक्रमित करता था, headers और rows नामक फ़ील्ड की अपेक्षा करता था। एक अनदेखा "समानार्थी"। एक आंतरिक सम्मेलन जो एक भूले हुए रीफैक्टरिंग में टूट गया। परिणाम, पाँच शांत महीनों के लिए: कैटलॉग की पूरी संख्यात्मक बुद्धिमत्ता - जोड़े, शक्तियाँ, व्यास, वजन, ऑर्डरिंग कोड, आपूर्ति वोल्टेज - नल से बाहर निकल गई बिना कभी गिलास में डाली गई। तीन सौ बयालीस टेबल, एक-एक करके मौन अनुष्ठान में खो गई।

यह उस तरह का बग है जो चीखता नहीं है। यह कोई अपवाद नहीं उठाता, कुछ भी क्रैश नहीं करता, और किसी भी लॉग में दिखाई नहीं देता। बस, आपकी प्रणाली के लिए दुनिया का एक हिस्सा अस्तित्व में आना बंद हो जाता है, और कोई भी तब तक ध्यान नहीं देता जब तक कि कोई उपयोगकर्ता - आमतौर पर एक क्रोधित उपयोगकर्ता - पर्याप्त जिद्दी प्रश्न नहीं पूछता है जो खाई को उजागर कर दे। और यह एक बहुत बड़ी समस्या का प्रतीक है जो फ़ील्ड नामों से परे है: सामान्य RAG फ्रेमवर्क वर्तमान पाठ - लेख, वेब पेज, कथा पैराग्राफ - के लिए अनुकूलित हैं, और तालिकाओं को दूसरे दर्जे के नागरिकों के रूप में मानते हैं, जब वे उन्हें मानते हैं। लेकिन इतालवी व्यावसायिक दस्तावेज़ अक्सर तालिकाएँ होती हैं। तकनीकी कैटलॉग, मूल्य सूची, उत्पाद विनिर्देश, सुरक्षा डेटा शीट, ऑर्डर बुलेटिन: जो कोई भी इन दस्तावेजों से परामर्श करता है उसके लिए मूल्यवान हिस्सा सारणीबद्ध होता है। वह जो पहले टूटता है और किसी को ध्यान नहीं देता।

सबक यह नहीं है "फ़ील्ड नामों पर ध्यान दें"। यह अधिक जटिल है: एक गंभीर RAG में, हर प्रकार की सामग्री - टेबल, चित्र, अल्फ़ान्यूमेरिक कोड, पैराग्राफ़ शीर्षक, पाद लेख - को एक समर्पित, डिज़ाइन किए गए, परीक्षण किए गए उपचार की आवश्यकता होती है। और कार्यक्षमता परीक्षण "चैटबॉट तुच्छ प्रश्नों का उत्तर देता है" नहीं है - टूटे हुए सिस्टम भी उनका उत्तर देते हैं, क्योंकि कुछ हद तक तैरता हुआ डेटा होता है जिससे कुछ विश्वसनीय बनाया जा सकता है। वास्तविक परीक्षण "चैटबॉट उन प्रश्नों का उत्तर देता है जो उसे पाइपलाइन के हर एक टुकड़े को छूने के लिए मजबूर करते हैं" है। विशिष्ट, संख्यात्मक, सत्यापित करने योग्य प्रश्न। ऐसे प्रश्न जिनके लिए एक सही उत्तर है और केवल एक, और यदि सिस्टम गलत हो जाता है तो आप तुरंत जान जाते हैं।

यदि आप यह परीक्षण नहीं करते हैं, तो आप नहीं जानते कि आपका RAG काम कर रहा है या नहीं। आप केवल इतना जानते हैं कि यह शिकायत नहीं कर रहा है। और "शिकायत नहीं कर रहा है" उन प्रणालियों के लिए गुणवत्ता का एक बहुत कम मानदंड है जिसका उपयोग लोग निर्णय लेने के लिए करेंगे।