Успадкована галюцинація

Розділ 4 — Успадкована галюцинація

Це, мабуть, найповчальніша історія з усього розслідування, оскільки вона торкається теми, яку ігнорують навчальні посібники, але яка завдає більше шкоди, ніж усі інші разом узяті: якість даних, що надходять.

Американська велосипедна компанія — назвемо її так з поваги — мала величезний фотоархів, тисячі зображень продукції, подій, клієнтів на велосипедах, рекламних подорожей. Це була візуальна спадщина компанії, накопичена за п’ятнадцять років кампаній. У момент далекоглядності хтось використав сервіс автоматичного тегування, щоб додати до кожної фотографії список "присутніх об’єктів": "велосипед, шолом, дорога, гора, людина". Метадані корисні, теоретично, для майбутнього візуального пошуку. Збережені поруч із фотографіями, забуті на роки, а потім відновлені та завантажені в нову корпоративну RAG-систему з природною впевненістю в тому, що "більше метаданих — краще".

Після завантаження, пошук за зображеннями видавав сюрреалістичні результати. Шукали "велосипеди в місті" і бачили фото озера. Шукали "модель у шоломі" і отримували зображення старовинного автомобіля. Шукали "гору" і натомість бачили будь-що — випадкову вибірку з усього архіву, ніби система кидала жереб. Спочатку команда підозрювала модель візуального вкладення. Потім переранжувальник (див. попередню главу, щоб зрозуміти, чому цей слід був особливо привабливим). Потім якість описів, згенерованих ШІ.

Справжнє розслідування, проведене цього разу з використанням безпосереднього query SQL до бази даних, показало моторошну річ. З 3997 фотографій каталогу, всі, абсолютно всі, мали один і той же список об’єктів. Список з дев’ятнадцяти елементів — "автомобіль, мотоцикл, озеро, море, гора, велосипед, шолом, дорога, місто, людина..." — який не мав жодного відношення до вмісту окремої фотографії. Його було імпортовано, роки тому, з іншого веб-сайту, як набір загальних тегів для заповнення обов’язкового поля CMS. Ніхто в компанії більше цього не пам’ятав. Фотографії переходили з системи в систему, несучи з собою ці мітки-привиди, достатньо правдоподібні, щоб не викликати підозр, але достатньо отруйні, щоб зіпсувати будь-який пошук на їх основі. Пошуковий рушій, старанно, використовував їх як симптом вмісту. І повертав будь-яку фотографію на будь-який запит, з певним ступенем галюцинації, гарантованим законом природи.

Найболючіше, те, що вдаряє, коли ти це розумієш, полягає в тому, що в RAG "зашумлені" дані не створюють відчутного шуму. Вони не сповільнюють систему, не генерують помилок і не вмикають індикатори. Вони просто тихо підточують якість результатів. І коли мовна модель отримує п’ять документів, чотири з яких не відповідають темі, вона не каже "вони не мають відношення, запитай мене щось інше": вона старанно будує відповідь, змішуючи їх, і відповідь завжди звучить правдоподібно. Завжди. Остаточна галюцинація — ця вигадана відповідь, на яку ми скаржимося — народжується не від моделі, як це розповідається в домінуючій розповіді. Вона народжується на початку, від даних. Модель лише акуратно формує її в граматично бездоганне речення. Але провина в іншому, глибше, в тому, чим ти годував систему місяцями раніше, перш ніж щось у неї запитувати.

Це спостереження має практичні наслідки, які коштують грошей. Перша робота тих, хто будує серйозний корпоративний RAG, перед написанням будь-якого рядка коду, – це провести розтин власних даних. Звідки вони походять. Хто їх торкався. Які поля спостерігаються, а які є викопними залишками попередніх систем. Які метадані мають значення сьогодні, а які мали їх у 2017 році, і ніхто більше не потурбувався їх очистити. Це негламурна робота, дуже архівна, повністю відсутня в навчальних посібниках, часто сприймається як "нетехнічна" і тому ігнорується командами розробників. Але без цієї початкової гігієни будь-яка геніальна архітектура, яку ви ставите на потік, просто перетворюється на дуже потужний підсилювач дуже старого сміття.

У випадку з американською компанією рішення було жорстким і правильним: очистити поле "об'єкти", перебудувати метадані з нуля за допомогою сучасної моделі комп'ютерного зору, застосованої до кожної окремої фотографії, і відстежувати, цього разу, коли і як кожен метаданий був створений. Нудна робота. Результат: пошук нарешті почав працювати. Не тому, що вони змінили модель. Тому що вони прибрали в коморі.