Olmayan Tablolar

2. Bölüm — Olmayan Tablolar

Bir kuzeydoğu mekanik firmasının bir teknik elemanı bunu bir espresso karşısında, Venediklilerin felakete davet eden o sakinliğiyle anlattı: "Chatbot'umuz motor hakkında her şeyi biliyordu. Sadece motorun verilerini değil." Sonra açıkladı. Şirket içi yapay asistanları ürün gamlarını, kullanım bağlamlarını, marka tarihini, rekabet avantajlarını anlatabiliyordu. Anlatım açısından harika. Ancak bir müşteri CMP50L modelinin nominal torkunu sorduğunda - yani insanların kataloğu açtığı, bir motor satın almak için gereken sayı - chatbot belirsiz, bazen makul, bazen de değil cevaplar veriyordu. Beş aylık geliştirme, operasyon müdürünün giderek artan şaşkınlığı ve kimsenin nedenini bilememesi.

Teşhis, neredeyse can sıkıntısıyla, sayısız sonuçsuz toplantıdan sonra veritabanını manuel olarak incelerken tesadüfen ortaya çıktı. PDF kataloğu 342 teknik tablo içeriyordu. Veritabanına ise sıfır tablo gelmişti. Bir avuç değil: sıfır. Hiçbiri. PDF'lerden tabloları çıkaran kod, verileri columns ve data adlı alanlara kaydederken, daha sonra bunları indeksleyen kod headers ve rows adlı alanları bekliyordu. Uyumsuz bir "eşanlamlı". Unutulmuş bir yeniden düzenlemede bozulmuş bir iç kural. Beş aylık sessizliğin sonucu: kataloğun tüm sayısal zekası — çiftler, güçler, çaplar, ağırlıklar, sipariş kodları, besleme gerilimleri — musluktan çıkmış ancak hiç bardağa dökülmemişti. Üç yüz kırk iki tablo, sessiz bir ayinle tek tek kayboldu.

Bu, bağırmayan türden bir hatadır. İstisna yükseltmez, hiçbir şeyi çökertmez, hiçbir logda görünmez. Basitçe, sisteminiz için dünyanın bir parçası var olmaktan çıkar ve bir kullanıcı - genellikle kızgın bir kullanıcı - yeterince ısrarcı sorular sormaya başlayana kadar kimse fark etmez. Ve bu, alan adlarından çok daha büyük bir sorunun sembolüdür: genel RAG çerçeveleri, mevcut metin - makaleler, web sayfaları, kurgusal paragraflar - için optimize edilmiştir ve tablolarla ilgileniyorsa onları ikinci sınıf vatandaşlar olarak ele alır. Ancak İtalyan kurumsal belgeleri genellikle tablolardır. Teknik kataloglar, fiyat listeleri, ürün özellikleri, güvenlik veri sayfaları, sipariş bültenleri: bu belgeleri okuyanlar için değerli olan kısım tablosaldır. Önce bozulup kimsenin fark etmediği kısım.

Ders, "alan adlarına dikkat et" değil. Daha zahmetli: ciddi bir RAG'de her türden içerik — tablolar, resimler, alfanümerik kodlar, paragraf başlıkları, dipnotlar — özel, tasarlanmış, test edilmiş bir işlemeye ihtiyaç duyar. Ve işlevselliğin testi "chatbot basit soruları yanıtlıyor" değildir — bozuk sistemler bile bunlara yanıt verir, çünkü makul bir şey inşa etmek için yeterli yüzen veri vardır. Gerçek test "chatbot'un boru hattının her bir parçasına dokunmasını gerektiren soruları yanıtlamasıdır". Belirli, sayısal, doğrulanabilir sorular. Tek bir doğru cevabın olduğu ve sistem yanlış cevap verirse hemen anladığınız sorular.

Bu testi yapmazsanız, RAG'inizin çalışıp çalışmadığını bilmezsiniz. Sadece şikayet etmediğini bilirsiniz. Ve "şikayet etmiyor" insanların kararlar almak için kullanacağı bir sistem için çok düşük bir kalite kriteridir.