Bulutun Gizli Maliyeti

Bölüm 5 — Bulutun Gizli Maliyeti

Son beş yıldaki hakim anlatı, bulutun ekonomik, ölçeklenebilir ve basit olduğunu söylüyor. Birçok iş yükü için bu kesinlikle doğru. Ancak kurumsal RAG'ler için giderek daha fazla durum böyle değil. Ve bunun farkına vardığınız an genellikle ilk çeyreğin sonunda, fatura geldiğinde olur.

Hesabın en az değerlendirilen kalemini ele alalım: görüntü modellerinin API'leri. Bir şirket, fotoğraf arşivini modern bir RAG'ye aktardığında, her fotoğrafın bir çoklu model tarafından "tanımlanması" gerekir; bu da içeriği, nesneleri, bağlamı, üzerindeki metinleri, ruh halini, kompozisyonu çıkarır. 2025'te, henüz adı açıklanmayan büyük bir Avrupa modeli sağlayıcısı, 32 milyar parametreli Qwen ailesinden mükemmel bir model sunuyordu ve fiyatı görüntü başına cazipti. Ancak sorun, yalnızca sahada ve aylarca üretimden sonra keşfedildi: yoğun yük altında, sağlayıcı yanıtları kesiyordu. Her zaman değil, tahmin edilebilir bir şekilde değil, test ekibi varken değil: rastgele. Fotoğrafların onda biri, bazen beşte biri, yarısı kesilmiş, kötü ayrıştırılmış, kısmi veya boş meta verilerle geri dönüyordu. Süreler, görüntü başına on saniyeden iki yüz saniyeye fırlıyordu, herhangi bir kalıp olmadan. Yeniden deneme faturası — çünkü yeniden denemeler için ödeme yapılır, her çağrı için, sunucunun kestiği çağrı bile — beklenenden daha yüksekti. Veritabanı heterojendi: bazı fotoğraflar zengin meta verilere sahipken, diğerleri eksikti. Ve ekip, sorunu test ortamlarında yeniden üretemiyordu, çünkü testlerde yük düşüktü ve her şey işe yarıyordu.

Çözüm üç parçadan oluştu: daha kompakt bir istem (daha kısa yanıtlar daha az kesintiye uğrar), akıllı bir yeniden deneme mantığı (yanıt elli saniyeden uzun sürerse ve boş dönerse, hemen yeniden dener) ve — hacim haklı gösteriyorsa — bulutu tamamen atlama ve görüntü işleme modelini daha yavaş ancak deterministik bir yerel GPU'da çalıştırma imkanı. Bu deneyimden elde edilen doğru mimari, "her zaman bulut" veya "her zaman yerel" değil. "her çağrı için, o anda neye ihtiyaç duyulduğuna göre seçin".

Sonra sorguların bölümü var. Klasik bir bulut yerli RAG'de her kullanıcı araması, ücretli API çağrılarından oluşan bir şelaleyi tetikler. Birisi sorgunun gömülmesi için. Birisi niyet sınıflandırması için (sorgu ne tür?). Birisi belgelerin yeniden sıralanması için. Birisi nihai yanıtın oluşturulması için. Her biri kuruşun bir kesimini maliyetlendirir. İç hizmet için elli kullanıcı ve günde on bin sorgu — az değil ama orta ölçekli bir şirket için de devasa bir sayı değil — aylık fatura, hoşgörülü bir CFO'nun bile kaşlarını çattıracak rakamlara ulaşır. Ve büyüme doğrusaldır: kullanıcı sayısını ikiye katlarsanız, faturayı da ikiye katlarsınız. Tüketilen belirteçlerde sizin için ölçek ekonomisi yoktur.

2025'te gizli olan ancak 2026'da merkezi hale gelen bir sorun da var: Her bir sorgu, şirket belgelerinin parçalarını — bazen gizli, bazen gizlilik sözleşmesi (NDA) kapsamında, bazen de sektörel düzenlemelere tabi — bir dış sağlayıcının sunucularına, sizinle her zaman örtüşmeyen yargı bölgelerine gönderir; günlüklerin saklanmasıyla ilgili politikalar her zaman net değildir. Son onsekiz ayda, birden fazla Avrupa şirketi, genellikle endişeli bir müşteri veya bir ISO denetimi tarafından tetiklenen bir denetim sırasında, sözleşmelerinin, fiyat listelerinin ve teknik özelliklerinin AB dışındaki altyapılar tarafından işlendiğini (ve potansiyel olarak "hizmet iyileştirme" amacıyla kaydedildiğini) keşfetti. Sürpriz, genellikle yerel donanımdan tasarruf etme isteğiyle kaçınılan maliyetten daha fazla oldu.

Alternatif, tam tersi bir dogma değil. "Bulut hayır, yerel evet", "her zaman bulut evet" kadar yanlış. Alternatif, her bir işlem hattı parçası — gömme, sınıflandırma, yeniden sıralama, görüş, nihai oluşturma — için bulut veya yerel bir model kullanıp kullanmamayı seçmenize ve fikrinizi bir günde, bir çeyrekte değil, değiştirebilmenize olanak tanıyan bir mimaridir. Bu, tedarikçilerin değiştirilebilir olduğu, hiçbir parçanın belirli bir şirketin adına sabitlenmediği, Regolo'dan Ollama'ya (veya tam tersi) geçişin bir yapılandırma satırı olduğu, yeniden yazım olmadığı bir tasarım gerektirir. Ve bu, kısa bir süre öncesine kadar nadirdi. Popüler çerçeveler, "sağlayıcıdan bağımsız" görünümüne rağmen, aslında birisiyle çok evliydi.