الهلوسة الموروثة

الفصل الرابع — الهلوسة الموروثة

ربما تكون هذه هي القصة الأكثر إفادة في التحقيق بأكمله، لأنها تتناول موضوعًا تتجاهله البرامج التعليمية، ولكنه يسبب ضررًا أكبر من جميع الأضرار الأخرى مجتمعة: جودة البيانات التي تدخل.

كان لدى شركة أمريكية لإنتاج الدراجات — لنسميها كذلك احترامًا — أرشيف صور ضخم، وآلاف الصور للمنتجات والأحداث والعملاء على الدراجات والرحلات الترويجية. كان هذا هو التراث البصري للشركة، الذي تراكم على مدى خمسة عشر عامًا من الحملات. في لحظة من البصيرة، استخدم شخص ما خدمة وضع علامات تلقائية لإضافة قائمة بـ "الكائنات الموجودة" إلى كل صورة: "دراجة، خوذة، طريق، جبل، شخص". بيانات تعريف مفيدة، من الناحية النظرية، للبحث المرئي المستقبلي. تم تخزينها بجانب الصور، ونسيانها لسنوات، ثم استعادتها ودمجها في RAG الشركة الجديد مع الاعتقاد الطبيعي بأن "المزيد من البيانات الوصفية أفضل".

بعد الاستيعاب، أظهر البحث عن الصور نتائج سريالية. كنت تبحث عن "دراجات في المدينة" وظهرت لك صورة لبحيرة. كنت تبحث عن "عارضة أزياء بخوذة" وظهرت سيارة عتيقة. كنت تبحث عن "جبل" وظهر أي شيء بشكل عشوائي - عينة عشوائية من الأرشيف بأكمله، كما لو أن النظام قد أجرى قرعة. في البداية، ألقى الفريق باللوم على نموذج التضمين المرئي. ثم على مُعيد الترتيب (انظر الفصل السابق، لفهم سبب كون هذا المسار جذابًا بشكل خاص). ثم على جودة الأوصاف التي تم إنشاؤها بواسطة الذكاء الاصطناعي.

أظهر التحقيق الحقيقي، الذي أُجري هذه المرة باستخدام query SQL مباشر إلى قاعدة البيانات، شيئًا مشوهًا. من بين 3997 صورة في الكتالوج، كانت جميعها، وبكل تأكيد جميعها، تحمل نفس قائمة العناصر تمامًا. قائمة مكونة من تسعة عشر عنصرًا — "سيارة، دراجة نارية، بحيرة، بحر، جبل، دراجة، خوذة، طريق، مدينة، شخص..." — والتي لم يكن لها أي علاقة بمحتوى الصورة الفردية. تم استيرادها، قبل سنوات عديدة، من موقع ويب آخر، كمجموعة من العلامات العامة لملء حقل إلزامي في نظام إدارة المحتوى. لم يعد أحد في الشركة يتذكر ذلك. انتقلت الصور من نظام إلى آخر حاملةً معها تلك الملصقات الوهمية، المعقولة بما يكفي لعدم إثارة الشكوك، السامة بما يكفي لتشويه أي بحث يعتمد عليها. استخدم محرك البحث، بكل اجتهاد، هذه الملصقات كدليل على المحتوى. وأرجع أي صورة لأي استعلام، مع قدر معين من الهلوسة مضمونة بقانون الطبيعة.

النقطة الحاسمة، والتي تؤلمك عندما تفهمها، هي أنه في نظام RAG، لا يُحدث "الضوضاء" في البيانات ضوضاء مسموعة. فهي لا تبطئ النظام، ولا تولد أخطاء، ولا تشعل المؤشرات. بل تقوض جودة النتائج بصمت. وعندما يتلقى النموذج اللغوي اللاحق خمسة مستندات، أربعة منها خارج الموضوع، فإنه لا يقول "هذه لا علاقة لها، اسألني شيئًا آخر": بل يبني بجد إجابة تمزجها، والإجابة تبدو دائمًا معقولة. دائمًا. الوهم النهائي — تلك الإجابة المخترعة التي نشكو منها — لا تنشأ من النموذج، كما هو الحال في السرد السائد. بل تنشأ في المنبع، من البيانات. النموذج هو مجرد من يصوغها في جملة نحوية صحيحة. لكن اللوم يقع في مكان آخر، أبعد من ذلك، في ما أطعمته للنظام قبل أشهر من أن تطلب منه شيئًا.

هذا الرصد له تبعات عملية تكلف المال. المهمة الأولى لمن يقوم ببناء RAG مؤسسي جاد، قبل كتابة سطر واحد من التعليمات البرمجية، هي إجراء تشريح لبياناته. من أين أتت. من لمسها. أي الحقول تتم مراقبتها وأيها إرث أحفوري للأنظمة السابقة. أي البيانات الوصفية لها معنى اليوم وأيها كان لها في عام 2017 ولم يعد أحد يأبه بتنظيفها. إنه عمل غير لامع، وأرشيفي للغاية، وغائب تمامًا عن البرامج التعليمية، وغالبًا ما يُنظر إليه على أنه "غير تقني" وبالتالي يتم تجاهله من قبل فرق التطوير. ولكن بدون هذا النظافة الأولية، أي بنية عبقرية تضعها في المقدمة تصبح مجرد مكبر صوت قوي جدًا للقمامة القديمة جدًا.

في حالة الشركة الأمريكية، كان الحل وحشيًا وصحيحًا: إفراغ حقل "الكائنات"، وإعادة بناء البيانات الوصفية من الصفر باستخدام نموذج رؤية حديث مطبق على كل صورة على حدة، وتتبع، هذه المرة، متى وكيف تم إنتاج كل بيانات وصفية. عمل ممل. النتيجة: بدأ البحث في العمل أخيرًا. ليس لأنهم غيروا النموذج. لأنهم نظفوا القبو.