Sự ảo giác kế thừa

Chương 4 — Sự ảo giác kế thừa

Đây có lẽ là câu chuyện mang tính giáo dục nhất trong toàn bộ cuộc điều tra, bởi vì nó chạm đến một chủ đề mà các hướng dẫn bỏ qua, và thực tế gây ra nhiều thiệt hại hơn tất cả những thứ khác cộng lại: chất lượng của dữ liệu đầu vào.

Một công ty xe đạp của Mỹ — chúng ta hãy gọi như vậy để tôn trọng — có một kho ảnh khổng lồ, hàng nghìn hình ảnh về sản phẩm, sự kiện, khách hàng trên xe đạp, các chuyến đi quảng cáo. Đó là tài sản trực quan của công ty, tích lũy trong mười lăm năm chiến dịch. Trong một khoảnh khắc nhìn xa trông rộng, ai đó đã sử dụng một dịch vụ gắn thẻ tự động để thêm vào mỗi ảnh một danh sách các "đối tượng hiện diện": "xe đạp, mũ bảo hiểm, đường phố, núi, người". Siêu dữ liệu hữu ích, về mặt lý thuyết, cho việc tìm kiếm trực quan trong tương lai. Lưu trữ bên cạnh ảnh, bị lãng quên trong nhiều năm, sau đó được khôi phục và đưa vào RAG mới của công ty với niềm tin tự nhiên rằng "càng nhiều siêu dữ liệu càng tốt".

Sau khi đưa vào, tìm kiếm hình ảnh trả về kết quả siêu thực. Bạn tìm kiếm "xe đạp trong thành phố" và nó hiển thị ảnh của một hồ. Bạn tìm kiếm "mẫu nữ đội mũ bảo hiểm" và nó hiển thị một chiếc ô tô cổ. Bạn tìm kiếm "núi" và nó hiển thị một cách ngẫu nhiên bất cứ thứ gì — một mẫu ngẫu nhiên từ toàn bộ kho lưu trữ, như thể hệ thống đã rút thăm. Ban đầu, nhóm đã đổ lỗi cho mô hình nhúng hình ảnh. Sau đó là bộ xếp hạng lại (xem chương trước, để hiểu tại sao đường dẫn này lại đặc biệt hấp dẫn). Sau đó là chất lượng của các mô tả do AI tạo ra.

Cuộc điều tra thực tế, lần này được thực hiện bằng một query SQL trực tiếp đến cơ sở dữ liệu, đã cho thấy một điều kỳ quái. Trong số 3997 bức ảnh trong danh mục, tất cả, thực sự là tất cả, đều có cùng một danh sách đối tượng. Một danh sách gồm mười chín mục — "ô tô, xe máy, hồ, biển, núi, xe đạp, mũ bảo hiểm, đường, thành phố, người..." — không liên quan gì đến nội dung của từng bức ảnh. Nó đã được nhập, nhiều năm trước, từ một trang web khác, như một tập hợp các thẻ chung để điền vào một trường bắt buộc của CMS. Không ai trong công ty còn nhớ đến nó nữa. Các bức ảnh đã chuyển từ hệ thống này sang hệ thống khác, mang theo những nhãn ma này, đủ hợp lý để không gây nghi ngờ, đủ độc hại để làm hỏng mọi tìm kiếm dựa trên chúng. Công cụ tìm kiếm, cần mẫn, sử dụng chúng như một triệu chứng của nội dung. Và trả về bất kỳ ảnh nào cho bất kỳ truy vấn nào, với một mức độ ảo giác được đảm bảo theo quy luật tự nhiên.

Điểm khó khăn, điều làm đau khi bạn nhận ra, là trong một hệ thống RAG, dữ liệu "ồn" không tạo ra tiếng ồn mà bạn có thể nghe thấy. Chúng không làm chậm hệ thống, không tạo ra lỗi, không kích hoạt đèn báo. Chúng chỉ âm thầm xói mòn chất lượng kết quả. Và khi mô hình ngôn ngữ nhận được năm tài liệu, trong đó có bốn tài liệu không liên quan, nó sẽ không nói với bạn "chúng không liên quan, hãy hỏi tôi điều gì khác": nó sẽ cẩn thận xây dựng một câu trả lời kết hợp chúng lại, và câu trả lời luôn nghe có vẻ hợp lý. Luôn luôn. Sự ảo giác cuối cùng — câu trả lời bịa đặt mà chúng ta thường phàn nàn — không bắt nguồn từ mô hình, như thường được kể trong các câu chuyện phổ biến. Nó bắt nguồn từ phía trên, từ dữ liệu. Mô hình chỉ là người đóng gói nó thành một câu hoàn chỉnh về mặt ngữ pháp. Nhưng lỗi nằm ở chỗ khác, xa hơn, trong những gì bạn đã cung cấp cho hệ thống vài tháng trước khi bạn yêu cầu nó điều gì đó.

Quan sát này có những hệ quả thiết thực gây tốn kém. Công việc đầu tiên của bất kỳ ai xây dựng một RAG doanh nghiệp nghiêm túc, trước khi viết một dòng code nào, là phải mổ xẻ dữ liệu của họ. Dữ liệu đến từ đâu. Ai đã chạm vào chúng. Những trường nào đang được quan sát và những trường nào là di sản hóa thạch của các hệ thống trước đây. Những siêu dữ liệu nào có ý nghĩa ngày nay và những dữ liệu nào đã có ý nghĩa vào năm 2017 nhưng không ai buồn dọn dẹp. Đó là một công việc thiếu hấp dẫn, mang tính lưu trữ cao, hoàn toàn vắng mặt trong các hướng dẫn, thường bị coi là "không kỹ thuật" và do đó bị các đội phát triển bỏ qua. Nhưng nếu không có sự vệ sinh ban đầu đó, bất kỳ kiến trúc thiên tài nào bạn đặt lên phía trên cũng sẽ chỉ đơn giản là một bộ khuếch đại rất mạnh mẽ cho những rác rưởi rất cũ.

Trong trường hợp của công ty Mỹ, giải pháp đã tàn nhẫn và đúng đắn: xóa trống trường "đối tượng", xây dựng lại siêu dữ liệu từ đầu bằng một mô hình thị giác hiện đại áp dụng cho từng bức ảnh riêng lẻ và theo dõi, lần này, thời điểm và cách mỗi siêu dữ liệu được tạo ra. Công việc nhàm chán. Kết quả: tìm kiếm cuối cùng đã bắt đầu hoạt động. Không phải vì họ đã thay đổi mô hình. Vì họ đã dọn dẹp nhà kho.