Miras Kaldırılmış Halüsinasyon

Bölüm 4 — Miras Kaldırılmış Halüsinasyon

Bu, tüm soruşturmanın belki de en öğretici hikayesi, çünkü eğitimlerin göz ardı ettiği ancak diğer tüm sorunlardan daha fazla zarara neden olan bir konuya değiniyor: veri girişinin kalitesi.

Bir Amerikan bisiklet şirketi — saygı duyulması için böyle diyelim — devasa bir fotoğraf arşivine sahipti, binlerce ürün, etkinlik, bisiklete binen müşteriler, tanıtım gezileri fotoğrafı. Şirketin on beş yıllık kampanyalar boyunca biriktirdiği görsel mirasıydı. Bir öngörü anında, birisi her fotoğrafa bir "içerdiği nesneler" listesi eklemek için otomatik etiketleme hizmeti kullandı: "bisiklet, kask, yol, dağ, kişi". Teoride, gelecekteki görsel aramalar için faydalı meta veriler. Yıllarca unutulmuş, daha sonra kurtarılmış ve "ne kadar çok meta veri, o kadar iyi" inancıyla yeni şirket RAG'ına dahil edilmiş fotoğrafların yanında saklanmış.

Yüklemeden sonra, görsel araması gerçeküstü sonuçlar veriyordu. "Şehirde bisiklet" arattığınızda bir göl fotoğrafı çıkıyordu. "Kasklı kadın model" arattığınızda eski bir araba çıkıyordu. "Dağ" arattığınızda ise her şey çıkıyordu — sanki sistem rastgele çekiliş yapmış gibi tüm arşivden rastgele bir örnek. Ekip, başlangıçta görsel gömme modelini suçladı. Sonra yeniden sıralayıcıyı (neden bu izin özellikle cazip olduğuna dair önceki bölüme bakın). Sonra da yapay zekanın ürettiği açıklamaların kalitesini.

Gerçek araştırma, bu kez doğrudan veritabanına yönelik bir SQL query ile yapıldığında grotesk bir şey ortaya çıktı. 3997 katalog fotoğrafının tamamı, tam olarak hepsi, aynı nesne listesine sahipti. On dokuz öğelik bir liste — "araba, motosiklet, göl, deniz, dağ, bisiklet, kask, yol, şehir, kişi..." — bu liste, tek bir fotoğrafın içeriğiyle hiçbir ilgisi yoktu. Yıllar önce başka bir web sitesinden, CMS'nin zorunlu bir alanını doldurmak için genel etiket kümesi olarak içe aktarılmıştı. Şirkette artık kimse hatırlamıyordu. Fotoğraflar, bu hayalet etiketleri yanlarında taşıyarak sistemden sisteme geçmişti; şüphe uyandırmayacak kadar makul, üzerine dayalı her aramayı bozacak kadar zehirliydi. Arama motoru, özenli bir şekilde bunları içerik belirtisi olarak kullanıyordu. Ve doğanın yasasıyla garanti edilen belirli bir düzeyde halüsinasyonla herhangi bir sorgu için herhangi bir fotoğraf döndürüyordu.

Asıl can yakıcı nokta, anladığınızda acı veren şey, bir RAG'de "gürültülü" verilerin duyulur bir gürültü çıkarmamasıdır. Sistemi yavaşlatmazlar, hata üretmezler, uyarı ışıklarını yakmazlar. Sadece sonuçların kalitesini sessizce aşındırırlar. Ve dil modeli, alakasız dört belge içeren beş belge aldığında, size "bunlar alakalı değil, başka bir şey sor" demez: bunları dikkatlice karıştırarak bir yanıt oluşturur ve yanıt her zaman makul görünür. Her zaman. Son halüsinasyon — şikayet ettiğimiz uydurma yanıt — anlatılan baskın anlatıya göre modelden doğmaz. Yukarıdan doğar, verilerden. Model sadece onu dilbilgisel olarak kusursuz bir cümleye dönüştüren kişidir. Ama suç başkadır, daha geridedir, sisteme bir şeyler sormadan aylarca önce verdiğiniz şeydedir.

Bu gözlem, paraya mal olan pratik sonuçları beraberinde getirir. Kurumsal bir RAG (Retrieval-Augmented Generation) oluşturan ilk iş, önce tek bir kod satırı yazmadan önce, kendi verilerinize otopsi yapmaktır. Nereden geliyorlar. Kim dokundu. Hangi alanlar izleniyor ve hangileri önceki sistemlerin fosil kalıntıları. Hangi meta veriler bugün anlam ifade ediyor ve hangileri 2017'de anlam ifade ediyordu ve kimse onları temizlemek için zahmet etmedi. Bu, gösterişsiz, arşiv odaklı, eğitimlerde tamamen bulunmayan, genellikle "teknik olmayan" olarak algılanan ve bu nedenle geliştirme ekipleri tarafından göz ardı edilen bir iştir. Ancak bu ilk hijyen olmadan, ne kadar parlak bir mimari inşa ederseniz edin, o sadece çok eski çöpleri çok güçlü bir şekilde yükseltir.

Amerikalı şirketin durumunda çözüm acımasız ve doğruydu: "nesneler" alanını boşaltmak, her bir fotoğrafa uygulanan modern bir görsel modelle sıfırdan meta verileri yeniden oluşturmak ve bu kez her meta verinin ne zaman ve nasıl üretildiğini takip etmek. Sıkıcı iş. Sonuç: arama sonunda çalışmaya başladı. Çünkü modeli değiştirmediler. Çünkü depodaki dağınıklığı temizlediler.