الجداول التي لم تكن موجودة

الفصل الثاني — الجداول التي لم تكن موجودة

أخبرنا فني من شركة ميكانيكية في الشمال الشرقي عن ذلك أمام فنجان من الإسبريسو، بتلك الهدوء الذي يميز أهل فينيتو والذي يسبق الكارثة: "كان برنامج الدردشة الآلي الخاص بنا يعرف كل شيء عن المحرك. باستثناء بيانات المحرك." ثم شرح. كان مساعد الذكاء الاصطناعي الداخلي لديهم قادرًا على وصف نطاقات المنتجات وسياقات الاستخدام وتاريخ العلامة التجارية والمزايا التنافسية. شيء رائع على المستوى السردي. ولكن عندما يسأل عميل عن عزم الدوران الاسمي لطراز CMP50L - أي البيانات الفنية التي يفتح الناس بها الكتالوج، والرقم الذي يشترون به المحرك - كان برنامج الدردشة الآلي يجيب بطريقة غامضة، وأحيانًا معقولة، وأحيانًا لا. خمسة أشهر من التطوير، والمدير التشغيلي أكثر حيرة، ولا أحد يعرف السبب.

جاء التشخيص عن طريق الصدفة، يكاد يكون بسبب الملل، من خلال فحص قاعدة البيانات يدويًا بعد الاجتماع الذي لم يسفر عن نتيجة. احتوى الكتالوج بتنسيق PDF على 342 جدولًا فنيًا. في قاعدة البيانات، لم يتم استيراد صفر جدول. ليس عدد قليل: صفر. لا شيء. كان الكود الذي يستخرج الجداول من ملفات PDF يحفظ البيانات في حقول تسمى columns و data، بينما كان الكود الذي يقوم بفهرستها لاحقًا يتوقع حقولًا تسمى headers و rows. "مرادف" لم يتم احترامه. اتفاقية داخلية تم تخطيها في إعادة هيكلة منسية. والنتيجة، لخمسة أشهر صامتة: خرجت كل المعلومات الرقمية للكتالوج - الأزواج والقوى والأقطار والأوزان وأكواد الطلب وجهود الإمداد - من الصنبور دون أن يتم صبها أبدًا في الكوب. ثلاثمائة واثنين وأربعين جدولًا، ضاعت واحدًا تلو الآخر في صمت طقسي.

هذا هو نوع الخطأ الذي لا يصدر صوتاً. لا يثير استثناءات، ولا يتسبب في تعطل أي شيء، ولا يظهر في أي سجلات. ببساطة، جزء من العالم يتوقف عن الوجود بالنسبة لنظامك، ولا يلاحظ أحد ذلك حتى يطرح مستخدم — عادةً مستخدم غاضب — أسئلة مُلحّة بما يكفي للكشف عن الهاوية. وهذا يمثل مشكلة أكبر بكثير من أسماء الحقول: تم تحسين الأُطر الرَاجِعة (RAG) العامة للنص الحالي — المقالات، وصفحات الويب، فقرات السرد — وتعامل الجداول كأفراد من الدرجة الثانية، عندما تتعامل معها. ولكن المستندات التجارية الإيطالية هي غالباً جداول. كتالوجات فنية، وقوائم أسعار، ومواصفات المنتج، وأوراق بيانات السلامة، وأوامر الشراء: الجزء الثمين، بالنسبة لمن يراجعون هذه المستندات، هو الجزء الجدولي. هذا الجزء الذي ينكسر أولاً ولا يلاحظه أحد.

الدرس ليس "انتبه لأسماء الحقول". إنه أكثر إزعاجًا: في نظام RAG جاد، يحتاج كل نوع من المحتوى - الجداول والصور والرموز الأبجدية الرقمية وعناوين الفقرات والهوامش - إلى معالجة مخصصة ومصممة ومختبرة. واختبار التشغيل ليس "هل يجيب الروبوت الدردشة على أسئلة تافهة؟" - فالأنظمة المعطلة تجيب على هذه الأسئلة أيضًا، لأن هناك بيانات كافية عائمة لبناء شيء معقول. الاختبار الحقيقي هو "هل يجيب الروبوت الدردشة على أسئلة تجبره على لمس كل جزء من خط المعالجة؟". أسئلة محددة ورقمية وقابلة للتحقق. أسئلة يوجد لها إجابة صحيحة واحدة فقط، وإذا أخطأ النظام، فستعرف ذلك على الفور.

إذا لم تجرِ هذا الاختبار، فلن تعرف ما إذا كان نظام RAG الخاص بك يعمل. أنت تعلم فقط أنه لا يشتكي. و "لا يشتكي" معيار جودة منخفض جدًا لنظام سيستخدمه الأشخاص لاتخاذ القرارات.