クラウドの隠れたコスト

第5章 — クラウドの隠れたコスト

ここ5年間の主流のナラティブは、クラウドは安価で、スケーラブルで、シンプルであるというものです。多くのワークロードにとっては完全に正しいことです。しかし、企業向けRAG（Retrieval-Augmented Generation）の場合、そうではないことが増えています。そして、それに気づくのは通常、第1四半期の終わりに請求書が届いたときです。

勘定書の最も過小評価されている項目、つまりビジョンモデルのAPIについて考えてみましょう。企業が最新のRAGに写真アーカイブを取り込む場合、各写真は、そのコンテンツ、オブジェクト、コンテキスト、オーバーレイされたテキスト、ムード、構成を抽出するマルチモーダルモデルによって「記述」される必要があります。ある大手ヨーロッパのモデルプロバイダー（名前はまだ伏せておきます）は、2025年に320億パラメータのQwenファミリーの優れたモデルを、画像あたりの魅力的な価格で提供していました。問題は、実運用と数ヶ月間の運用後にのみ発見されたものでした。負荷がかかると、プロバイダーは応答を途中で切り捨てました。常にではありません。予測可能でもありません。テストチームの前で発生したわけでもありません。ランダムに発生しました。10枚の写真のうち1枚、時には5枚に1枚が、途中で切断された、解析に失敗した、または部分的またはnullのメタデータを含むJSONで返ってきました。処理時間は画像あたり10秒から200秒に急増し、パターンは見られませんでした。再試行のコスト（再試行は有料であり、サーバーが切り捨てた呼び出しも含まれます）は予想よりも高くなりました。データベースは不均一でした。メタデータが豊富な写真もあれば、途中で切断された写真もありました。そして、チームはテスト環境で問題を再現できませんでした。なぜなら、テスト環境では負荷が低く、すべてが正常に機能していたからです。

解決策は3つの要素で構成されました。より簡潔なプロンプト（短い回答は途中で途切れる可能性が低い）、インテリジェントな再試行ロジック（応答に50秒以上かかり、空の場合、すぐに再試行）、そして—ボリュームがそれを正当化する場合—クラウドを完全にスキップし、より遅いものの決定的なローカルGPUでビジョンモデルを実行する機能です。この経験から、適切なアーキテクチャは、"常にクラウド"でも"常にローカル"でもありません。それは"その時点で何が必要かに基づいて、各呼び出しごとに選択する"ことです。

そして、クエリの章があります。従来のクラウドネイティブRAGでは、すべてのユーザー検索が、有料のAPI呼び出しの連鎖を引き起こします。質問の埋め込みのための1つ。意図の分類（質問の種類は何か？）のための1つ。ドキュメントの再ランク付けのための1つ。最終的な回答の生成のための1つ。それぞれがわずかなセントの端数です。50人のユーザーと1日1万件のクエリを持つ社内サービス（それほど多くはありませんが、中規模企業にとっては膨大な数ではありません）の場合、月額請求額は寛容なCFOでさえ眉をひそめるような数字になります。そして、成長は線形です。ユーザー数を2倍にすると、請求額も2倍になります。消費されるトークンには規模の経済がなく、あなたにとってはそうではありません。

2025年には潜在的な問題として存在し、2026年には中心的な課題となったのが、以下の点です。すべてのクエリが、企業の機密文書の一部（機密情報、NDAの対象、または業界規制の対象となるものを含む）を、外部ベンダーのサーバーに送信します。これらのサーバーの管轄区域は必ずしも貴社と一致せず、ログ保持に関するポリシーも必ずしも明確ではありません。過去18か月で、多くのヨーロッパ企業が監査（通常は懸念を抱く顧客またはISO認証監査によって引き起こされる）中に、自社の契約書、価格表、技術仕様がEU外のインフラストラクチャによって処理（および「サービス改善」のために潜在的にログ記録）されていたことを発見しました。この事実は、ローカルハードウェアのコストを回避しようとしていた当初の節約よりも、通常は大きな代償を伴います。

対案は、正反対の独断ではありません。「クラウドはダメ、ローカルのみ」は、「常にクラウド」と同様に誤りです。対案は、パイプラインの各要素（埋め込み、分類、再ランク付け、視覚、最終生成）について、クラウドモデルまたはローカルモデルのいずれを使用するかを選択でき、その考えを1日で変更できる（四半期単位ではない）アーキテクチャです。これには、ベンダーが交換可能であり、特定の企業の名称に固執する要素がなく、RegoloからOllama（またはその逆）への移行が設定の1行で実現できる（書き換えではない）設計が必要です。そして、つい最近までは、これは珍しいことでした。人気のあるフレームワークは、「プロバイダーに依存しない」という見せかけにもかかわらず、実際には誰かと深く結びついていました。