嘘をつくリランカー

第3章 — 嘘をつくリランカー

RAG（Retrieval-Augmented Generation）の技術的な専門用語には、あまり華やかさもなく、語られることも少ない重要な要素、つまりリランカーがあります。企業の検索をナイトクラブの入り口に例えてみましょう。ベクトルデータベースは用心棒のような存在で、素早く群衆を見渡し、あなたが探しているものに似た30人の候補を選んで中に入れます。リランカーはクラブ内の用心棒で、その30人の中からじっくりと吟味し、LLMが実際に回答を構築するために読む5人を選び、残りの25人を追い返します。これは小さくても非常に重要な機能です。彼が間違えれば、すべてが台無しになります。用心棒が人の顔色を読めなければ、クラブは間違った客でいっぱいになり、なぜ夜がうまくいかなかったのか誰も理解できないでしょう。

2025年には、リランカーをAPIとして提供するいくつかのクラウドサービスが市場に登場しました。質問とドキュメントのリストを送信すると、スコアが返ってきます。便利でスケーラブル、GPUを購入したり、モデルをダウンロードしたりする必要はありません。ある有名なヨーロッパのモデルプロバイダー（名前は伏せますが、どの名前を避けているかはお分かりでしょう）は、40億パラメータのQwenファミリーの有望なモデルを「Reranker」というラベルで公開していました。価格も妥当で、レイテンシーも許容範囲内でした。歴史的なその時点で、誰もがそれを選んだでしょう。多くの人が選びました。

スコアが間違っていたのです。単に「少し」間違っていたのではなく、あらゆるモデルで起こりうるような間違い方ではなく、構造的に間違っていました。明らかに適切なドキュメントが0.2、的外れなドキュメントが0.8というスコアになるのです。いつものように、最初に疑われたのは、埋め込みモデル、チャンキング、クエリの作成、ドキュメントの前処理といったいつもの犯人候補でした。誤った方向に何週間も調査を進めました。クラウド上のrerankerの応答と、リファレンスとなるローカルのrerankerの応答を体系的に比較した（同じ入力、同じドキュメント、スコアをExcelシートに並べて比較）ことで、不都合な真実が明らかになりました。API経由で公開されているモデルが壊れていたのです。おそらくデプロイの誤り、あるいは誤ってアップロードされたバージョン、あるいはスコアのシリアライズにおけるバグでしょう。プロバイダーはこれを正式に認めることはありませんでした。しかし、問題はサイレントアップデートの後、リリースノートに何の変更もなしに、ある日突然消えてしまいました。

この話のポイントは「クラウドサービスは間違える」ということではありません。誰でも間違えますし、ローカルモデルも間違えます。ポイントはもっと微妙な点にあります。真面目なRAG（Retrieval-Augmented Generation）においては、リランカーは内部を覗き見できる部分です。もしそれが有料のブラックボックスであり、その出力がランダムであってもそれらしい数値である場合—そしてリランカーのスコアは、常に0から1の間の小数を含む数値であるため、それらしいように見えます—、システムで何がうまくいっていないのかを理解する方法はありません。そして、リランカーはパイプラインの「最後の方」にあるため、そのエラーは上流のあらゆる評価を汚染します。検索が遅い、クエリが間違っている、埋め込みが貧弱であるように見えます。実際には、ドアの顔を読めない用心棒であり、あなたはドアのガラスを疑っているのです。

ここ数ヶ月、一部のチームが逆行する選択、つまり、クラウドへの移行ではなく、後戻りを選択し、rerankerを内製化しました。巨大ではないBGEファミリーのオープンソースモデルを、ローカルGPU（Apple Siliconも、ドライバには注意が必要ですが）で実行しています。管理作業は増えますが、制御された実験を行い、エラーの原因を特定し、バージョンを比較し、履歴を保持できるようになります。そして、何よりも、ユーザーの検索クエリごとにAPIにわずかな金額を支払う必要がなくなります。そのわずかな金額が、月数万件のクエリに掛けられると、すぐにわずかな金額ではなく、予算項目として認識されるようになります。

コンポーネントが非常に重要で、その誤動作が他のすべての測定能力を損なう場合、それをブラックボックスに委任することは効率的ではありません。それは信仰の行為です。そして、本番環境における信仰の行為は、複利で支払われることになります。