継承された幻覚

第4章 — 継承された幻覚

これは、調査全体の中で最も教訓的な話かもしれません。なぜなら、チュートリアルでは無視され、他のすべてのものよりも大きな損害をもたらすテーマ、つまり入力データの質に触れているからです。

あるアメリカの自転車会社 — 敬意を表してそう呼びましょう — は、製品、イベント、自転車に乗る顧客、プロモーション旅行の何千枚もの画像を含む膨大な写真アーカイブを持っていました。それは15年間のキャンペーンで蓄積された会社の視覚的資産でした。先見の明のある誰かが、各写真に「存在するオブジェクト」のリストを追加するために自動タグ付けサービスを使用しました。「自転車、ヘルメット、道路、山、人」。理論的には、将来の視覚的検索に役立つメタデータです。写真の横にアーカイブされ、数年間忘れ去られ、その後、新しい社内RAGに「より多くのメタデータほど良い」という当然の信念を持って取り込まれました。

取り込み後、画像検索では現実離れした結果が表示されました。"街の自転車"を検索すると、湖の写真が出てきました。"ヘルメットをかぶった女性モデル"を検索すると、ビンテージカーが表示されました。"山"を検索すると、何でも表示され、まるでシステムがランダムに選択しているかのようでした。チームは当初、ビジュアル埋め込みモデルに原因があると考えました。その後、再ランク付け器（前の章を参照してください。なぜこの手がかりが特に魅力的だったのか理解できます）に対しても。そして、AIによって生成された説明の品質に対しても。

真の調査、今回はSQLクエリをデータベースに直接送信して行ったところ、グロテスクなことが明らかになりました。カタログにある3997枚の写真すべて、本当にすべて、同じオブジェクトリストを持っていました。それは19個の要素—"車、バイク、湖、海、山、自転車、ヘルメット、道路、都市、人…"—のリストで、個々の写真の内容とは全く関係ありませんでした。それは数年前、別のウェブサイトから、CMSの必須フィールドを埋めるための一般的なタグセットとしてインポートされました。社内でそれを覚えている人はもう誰もいません。写真はシステムからシステムへと移行し、その幽霊のようなラベルを引きずり回しました。それらはそれほど疑わしくなく、それらによって検索が損なわれるほど有毒でした。検索エンジンは、それをコンテンツの兆候として熱心に使用しました。そして、自然の法則によって保証された一定レベルの幻覚を伴い、あらゆるクエリに対してあらゆる写真を返しました。

核心となる問題、理解したときに痛感するのは、RAGにおいて「ノイズ」のあるデータは、聞こえるような騒音を立てないということです。システムの速度を低下させたり、エラーを生成したり、警告灯を点灯させたりすることはありません。ただ静かに、結果の質を蝕んでいくだけです。そして、言語モデルが下流で関連性のない文書を5つ受け取った場合、「これらは関係ありません。別の質問をしてください」とは言いません。それらを注意深く混ぜ合わせた回答を作成し、その回答は常にそれらしく聞こえます。常に。最終的な「幻覚」——つまり、私たちが不満を抱く捏造された回答——は、語られる一般的な話のように、モデルから生まれるものではありません。それは上流、データから生まれるのです。モデルは、それを文法的に完璧な文章にまとめるだけです。しかし、責任は別の場所にあり、あなたがシステムに何かを尋ねる数か月前に与えたものにあります。

この観察には、金銭的な影響を及ぼす実際的な意味があります。本格的な企業向けRAGを構築する最初の仕事は、コードを一行も書く前に、自社のデータを解剖することです。データの出所はどこか。誰が触ったのか。どのフィールドが監視されており、どのフィールドが以前のシステムの化石遺産なのか。今日意味を持つメタデータと、2017年以降誰も整理しなくなったメタデータは何か。この作業は華やかではなく、非常にアーカイブ的で、チュートリアルには全く含まれておらず、しばしば「技術的ではない」と見なされ、開発チームから無視されます。しかし、この初期の衛生管理がなければ、どんなに素晴らしいアーキテクチャを導入しても、それは単に非常に古いゴミを強力に増幅するだけになります。

あるアメリカの企業の場合、解決策は無慈悲であり、正当でした。「オブジェクト」フィールドを空にし、最新の画像認識モデルを各写真に適用してメタデータをゼロから再構築し、今回、各メタデータがいつ、どのように生成されたかを追跡することです。退屈な作業です。結果：検索がついに機能し始めました。モデルを変更したからではありません。物置を片付けたからです。