ภาพหลอนที่สืบทอดกันมา

บทที่ 4 — ภาพหลอนที่สืบทอดกันมา

นี่อาจเป็นเรื่องราวที่ให้ข้อคิดมากที่สุดในการสืบสวนทั้งหมด เพราะมันแตะประเด็นที่บทแนะนำต่างๆ ละเลย แต่กลับสร้างความเสียหายมากกว่าทั้งหมดรวมกัน นั่นคือคุณภาพของข้อมูลที่ป้อนเข้าไป

บริษัทจักรยานอเมริกันแห่งหนึ่ง — เราจะเรียกอย่างนั้นเพื่อความเคารพ — มีคลังภาพขนาดใหญ่ หลายพันภาพของผลิตภัณฑ์ กิจกรรม ลูกค้าที่ขี่จักรยาน การเดินทางส่งเสริมการขาย นี่คือทรัพย์สินทางสายตาของบริษัท สะสมมาเป็นเวลาสิบห้าปีจากการรณรงค์ต่างๆ ในช่วงเวลาที่มองการณ์ไกล มีคนใช้บริการติดแท็กอัตโนมัติเพื่อเพิ่มรายการของ "วัตถุที่ปรากฏ" ในแต่ละภาพ: "จักรยาน หมวกกันน็อค ถนน ภูเขา บุคคล" เมตาดาต้าที่เป็นประโยชน์ตามทฤษฎีสำหรับการค้นหาด้วยภาพในอนาคต จัดเก็บไว้ข้างๆ ภาพ ถูกลืมไปหลายปี จากนั้นจึงกู้คืนและนำเข้าสู่ RAG ของบริษัทใหม่ด้วยความเชื่อมั่นโดยธรรมชาติที่ว่า "ยิ่งมีเมตาดาต้ามากเท่าไหร่ก็ยิ่งดีเท่านั้น".

หลังจากการป้อนข้อมูล การค้นหารูปภาพให้ผลลัพธ์ที่เหนือจริง คุณค้นหา "จักรยานในเมือง" แล้วมันแสดงภาพทะเลสาบ คุณค้นหา "นางแบบสวมหมวกกันน็อค" แล้วมันแสดงรถยนต์โบราณ คุณค้นหา "ภูเขา" แล้วมันแสดงอะไรก็ได้แบบสุ่มจากทั้งไฟล์เก็บข้อมูล ราวกับว่าระบบกำลังสุ่มเลือก ทีมงานในช่วงแรกชี้ไปที่โมเดลการฝังตัวภาพ จากนั้นชี้ไปที่ตัวจัดอันดับใหม่ (ดูบทก่อนหน้าเพื่อทำความเข้าใจว่าทำไมเส้นทางนี้จึงน่าสนใจเป็นพิเศษ) จากนั้นชี้ไปที่คุณภาพของคำอธิบายที่สร้างโดย AI

การสืบสวนที่แท้จริง คราวนี้ทำโดยใช้ query SQL ที่ส่งไปยังฐานข้อมูลโดยตรง แสดงให้เห็นบางสิ่งที่น่าสยดสยอง จากรูปภาพ 3,997 รูปในแคตตาล็อก ทั้งหมด ใช่แล้ว ทั้งหมด มีรายการวัตถุเดียวกัน รายการที่มีสิบเก้าข้อ — "รถยนต์, รถจักรยานยนต์, ทะเลสาบ, ทะเล, ภูเขา, จักรยาน, หมวกกันน็อค, ถนน, เมือง, บุคคล..." — ซึ่งไม่มีความสัมพันธ์กับเนื้อหาของแต่ละรูปภาพ มันถูกนำเข้าเมื่อหลายปีก่อนจากเว็บไซต์อื่น ในฐานะชุดแท็กทั่วไปเพื่อเติมช่องบังคับใน CMS ไม่มีใครในบริษัทจำมันได้อีกต่อไป รูปภาพถูกส่งต่อจากระบบหนึ่งไปยังอีกระบบหนึ่ง โดยนำป้ายกำกับผีเหล่านี้ไปด้วย ซึ่งดูสมเหตุสมผลพอที่จะไม่ทำให้เกิดความสงสัย แต่เป็นพิษพอที่จะทำให้การค้นหาใดๆ ที่อิงตามมันเสียหายได้ เครื่องมือค้นหาที่ขยันขันแข็งใช้มันเป็นอาการของเนื้อหา และส่งคืนรูปภาพใดก็ได้สำหรับคำค้นหาใดก็ได้ โดยมีระดับของการหลอนที่รับประกันตามกฎธรรมชาติ

ประเด็นสำคัญที่เจ็บปวดเมื่อเข้าใจคือ ในระบบ RAG ข้อมูล “ที่มีสัญญาณรบกวน” ไม่ได้สร้างเสียงรบกวนที่ได้ยิน ไม่ได้ทำให้ระบบช้าลง ไม่ได้สร้างข้อผิดพลาด และไม่ได้เปิดสัญญาณเตือน แต่จะค่อยๆกัดเซาะคุณภาพของผลลัพธ์อย่างเงียบๆ และเมื่อแบบจำลองภาษาได้รับเอกสารห้าฉบับ ซึ่งสี่ฉบับไม่เกี่ยวข้องกับหัวข้อ มันจะไม่บอกคุณ “สิ่งเหล่านี้ไม่เกี่ยวข้อง ถามอะไรอย่างอื่น”: แต่มันจะสร้างคำตอบที่ผสมผสานเอกสารเหล่านั้นอย่างขยันขันแข็ง และคำตอบนั้นฟังดูสมเหตุสมผลเสมอ ตลอดเวลา ภาพหลอนสุดท้าย—คำตอบที่ถูกแต่งขึ้นที่เราบ่นถึง—ไม่ได้มาจากแบบจำลองอย่างที่เล่ากันในเรื่องเล่าหลักๆ แต่มันเกิดขึ้น ก่อนหน้านั้น จากข้อมูล แบบจำลองเป็นเพียงผู้ที่บรรจุคำตอบนั้นในประโยคที่สมบูรณ์แบบทางไวยากรณ์ แต่ความผิดอยู่ที่อื่น อยู่เบื้องหลังสิ่งที่คุณป้อนให้กับระบบหลายเดือนก่อนที่คุณจะถามอะไร

ข้อสังเกตนี้มีผลกระทบเชิงปฏิบัติที่ต้องเสียค่าใช้จ่าย สิ่งแรกที่ผู้สร้าง RAG ระดับองค์กรที่จริงจังต้องทำ ก่อน ที่จะเขียนโค้ดแม้แต่บรรทัดเดียว คือการชันสูตรศพข้อมูลของตนเอง ข้อมูลมาจากไหน ใครเคยแตะต้องมัน ฟิลด์ใดบ้างที่ถูกสังเกต และฟิลด์ใดบ้างที่เป็นซากดึกดำบรรพ์จากระบบก่อนหน้า เมตาดาต้าใดมีความหมายในวันนี้ และเมตาดาต้าใดมีความหมายในปี 2017 แต่ไม่มีใครสนใจที่จะทำความสะอาดมันอีกต่อไป นี่เป็นงานที่ไม่น่าตื่นเต้น งานด้านการจัดเก็บเอกสารที่ขาดหายไปจากบทช่วยสอน มักถูกมองว่าเป็น "ไม่ใช่เรื่องทางเทคนิค" และถูกมองข้ามโดยทีมพัฒนา แต่หากไม่มีสุขอนามัยเบื้องต้น สถาปัตยกรรมที่ชาญฉลาดใดๆ ที่คุณสร้างขึ้นก็จะกลายเป็นตัวขยายขยะเก่าๆ ที่ทรงพลังเท่านั้น

ในกรณีของบริษัทอเมริกัน วิธีการแก้ไขนั้นโหดร้ายและถูกต้อง: ล้างฟิลด์ "วัตถุ" สร้างเมตาดาต้าใหม่ทั้งหมดโดยใช้โมเดลวิสัยทัศน์สมัยใหม่กับแต่ละรูปภาพ และติดตามว่าเมตาดาต้าแต่ละรายการถูกสร้างขึ้นเมื่อใดและอย่างไร งานที่น่าเบื่อ ผลลัพธ์: การค้นหาเริ่มทำงานได้ในที่สุด ไม่ใช่เพราะพวกเขาเปลี่ยนโมเดล แต่เป็นเพราะพวกเขาทำความสะอาดห้องใต้ดิน