Altı kutuplu motor — On satırlık kod efsanesi

Size satılan doküman tabanlı chatbot'un neden uydurmaya devam ettiği ve 2026'nın başında birilerinin izlemeye başladığı farklı yol üzerine altı bölümlük bir inceleme.

Size satılan doküman tabanlı chatbot'un neden uydurmaya devam ettiği ve 2026'nın başında birilerinin izlemeye başladığı farklı yol üzerine altı bölümlük bir inceleme.

Giriş — Sekiz kutuplu (ama aslında altı kutuplu olan) motor

Milano, Mart 2026. Bir yönetici, BT departmanı tarafından büyük bir heves ve az bir şüpheyle "iki haftada" kurulan şirket içi chatbot'u açar. Çok basit bir soru: "CMP40M motoru kaç kutupludur?". Chatbot, büyük dil modellerinin sergilediği tüm o özgüvenle yanıt verir: "CMP40M motoru sekiz kutupludur."

Yanlış. Altı tane var. Doğru cevap, birinin aylarca önce en büyük güvenle bir vektör veritabanına döktüğü 422 sayfalık katalogda değildi; sistemin "her şeyi bileceğine" ikna olmuştu. O veri, katalogda hiç yoktu. SEW teknisyenlerinden gelen bir e-postaya ekli bir PDF'deydi ve kimsenin indekslemeyi zahmet etmediği bir klasörde saklanıyordu.

Bu sahne, sektör ve lehçe farklılıklarıyla birlikte yüzlerce İtalyan ofisinde tekrarlanıyor. Vaat basit ve çekiciydi: Yapay zeka asistanınıza tüm şirket belgelerini verin, o da bunlarla ilgili her türlü soruyu yanıtlayabilecektir. Gerçeklik çok daha sıradan: sohbet robotu okur ama anlamaz, arar ama bulamaz ve bulamadığında - söylemek yerine - uydurur. Akıcı, kusursuz gramerle, makul sayılarla uydurur. Bu, cevap vermemekten çok daha kötüdür.

2024'ün sonu ile 2026'nın başı arasında bu başarısızlıkların otopsisini yapmakla aylar geçirdik. Tartışma yaratmak için değil, bir şeyi anlamak için: bu kadar doğrusal bir fikrin - "ona belgeleri verin ve sonra sorular sorun" - demo sahnesinden çıkıp gerçek sunucu odasına girdiğinde neden bu kadar zor hale geldiğini.

Bu altı bölümlük araştırma, bulduğumuz şeyleri anlatıyor: tüm katalogları silen sessiz hatalar, yanlış puanlara sahip bulut yeniden sıralayıcılar, modelden değil, yıllar önce kirlenmiş verilerden kaynaklanan halüsinasyonlar, her sorguyu değerinden daha pahalı hale getiren giden faturalar ve çok fazla talep edilmediği sürece her şeyi on satır kodla vaat eden "popüler" çerçeveler. Ve son bölümde, birilerinin sessizce 2026'nın başlarında izlemeye başladığı farklı bir yön — arama stratejisinin kod olmaktan çıkıp herkesin şirket içinde okuyup değiştirebileceği bir belge haline geldiği bir mimari.

Her bölüm kendi başına durabilir. 342 kayıp tablonun hikayesiyle veya yalan söyleyen yeniden sıralayıcıyla başlamak isterseniz, özgürsünüz. Ancak hikayenin tamamı yalnızca sonunda ortaya çıkan bir ahlaki ders içeriyor: kurumsal RAG — yani Retrieval-Augmented Generation, yani "önce getirdiğiniz belgelere dayanarak yanıtlar oluştur" — henüz bitmiş bir ürün değil. Bir sınır. Ve tüm sınırlar gibi, şimdiye kadar çoğunlukla satıcılar tarafından anlatıldı. İçinde yaşamış olanları dinlemenin zamanı geldi.

Bölüm 1 — On Satır Kod Efsanesi

2023'ten beri her yapay zeka konferansında slayt aynı: "Şirketinizin belge asistanı 10 satır kodla." Başlığın altında, bir PDF'yi yükleyen, parçalayan, vektörel bir veritabanına yapıştıran ve bir dil modeliyle sorgulayan açık kaynaklı bir kütüphaneyi (tipik olarak ünlü Amerikan kütüphanelerinden biri, adı ağaç zincirlerini veya Tibet lamalarını çağrıştıran) gösteren pastel renklerde bir Python bloğu var. Beş dakikada bir chatbot'unuz var. Beş dakikada alkışlar. Beş dakikada, orta ölçekli bir İtalyan şirketi sorunun çözüldüğüne ve BT departmanının iki haftada bunu başarabileceğine ikna oluyor.

Sorun — slaytta söylenmeyen — demoyu oluşturan şeyin üç iyi biçimlendirilmiş PDF, içeriğe uyan özel bir soru, gerçek gecikmeler olmadan bir sahne ve sunum yapanın sunuma çıkmadan önce her şeyi yirmi yedi kez denemiş olmasıdır. Gerçekte, şirket belgeleri jeolojik bir felakettir: taramaların taranması, tabloların metnin üzerine binmesi, dipnotların paragraflara girmesi, "RH1M" gibi alfanümerik kodların kelime olarak kabul edilip parçalayıcı tarafından yarıya bölünmesi, yararlı bilginin %70'ini içeren ancak kimsenin gerçekten çıkarmadığı görüntüler ve bir ayrıştırıcıdan ziyade bir arkeolog gerektiren yaratıcı düzenler.

RAG — kaputın altındaki fikir budur — harika bir fikir. Kullanıcının sorusunu alın, arşivinizde en alakalı belgeleri arayın, bunları dil modeline iletin ve bu belgelere dayalı bir yanıt alın. Teoride, halüsinasyon sorununu zarif bir şekilde çözer: modelin artık cevabı "bilmesi" gerekmiyor, yalnızca ona sağladığınız parçalarda "okuması" gerekiyor. Pratikte, zincirin her halkası — parçalama, gömme, alma, yeniden sıralama, nihai oluşturma — kendi bozulma yollarına sahip ve arıza nadiren görünür bir hata olarak kendini gösterir. Biraz yanlış bir yanıt olarak kendini gösterir. Sonra tamamen yanlış bir yanıt olarak. Sonra, yöneticinin neden daha stajyerden daha az bilen bir sistem için ödeme yaptığını merak etmesiyle.

RAG'ı popülerleştiren açık kaynak çerçeveleri göstermek için tasarlanmıştır, üretmek için değil. Her katmanın dile getirilmemiş bir varsayıma dayandığı, zarif soyutlamalardan oluşan zincirlerdir: PDF'lerinizin düzgün bir OCR'ye sahip olması, fotoğraflarınızın zaten tanımlanmış olması, tablolarınızın bir kurala uyması, gömme modelinizin gerçekten sizin dilinizi konuşması (spoiler: çoğu yalnızca İngilizce konuşur), arşivinizin zaten yinelenenlerden temizlenmiş olması. Bu varsayımlardan biri başarısız olduğunda - ve en az biri her zaman başarısız olur, neredeyse her zaman üçü - sistem çalışmayı bırakmaz. Daha kötüsü: iyi çalışmayı bırakır, ancak yanıt vermeye devam eder. Akıcı, güvenli ve genellikle gerçeği yansıtmayan yanıtlar.

Bu sistemleri meslek olarak inşa edenler arasında dolaşan ve eğitimlerde asla okuyamayacağınız bir cümle var: "RAG yapmak kolaydır, iyi yapmak zordur." İlk demodan üretim hizmetine geçiş arasında, GPU ekleyerek veya modeli değiştirerek kapatılamayacak bir uçurum vardır. Bu uçurumu kapatmanın rahatsız edici bir yolu vardır: kurumsal bir RAG oluşturduğunuzda kod yazmıyorsunuz. Belgeleriniz için özel, küçük ve inatçı bir arama motoru tasarlıyorsunuz; bu da tüm editoryal seçimleri beraberinde getiriyor — gürültü nedir, sinyal nedir, neyin iki kez indekslenmesi gerekir, neyin atılması gerekir. Ancak on satırlık eğitimlerde bu seçimler sizin yerinize bir kez, belgelerinizi hiç görmemiş biri tarafından yapılıyor. Ve bunlar neredeyse her zaman sizin durumunuz için yanlış seçimlerdir.