유전된 환각

4장 — 유전된 환각

이것은 아마도 전체 조사에서 가장 교훈적인 이야기일 것입니다. 튜토리얼에서 간과하지만 다른 모든 것보다 더 큰 피해를 주는 주제, 즉 입력 데이터의 품질을 다루기 때문입니다.

한 미국 자전거 회사 — 존경의 의미로 그렇게 부르겠습니다 — 는 제품, 이벤트, 자전거를 타는 고객, 홍보 여행 사진이 담긴 방대한 사진 보관소를 가지고 있었습니다. 이것은 15년 동안의 캠페인으로 축적된 회사의 시각적 자산입니다. 어느 순간 선견지명이 있는 사람이 각 사진에 “존재하는 객체” 목록을 추가하기 위해 자동 태깅 서비스를 사용했습니다: “자전거, 헬멧, 도로, 산, 사람”. 이론적으로는 향후 시각적 검색을 위한 유용한 메타데이터입니다. 사진 옆에 보관되어 수년 동안 잊혀졌다가 새로운 회사 RAG에 “더 많은 메타데이터가 좋다”는 자연스러운 믿음으로 회수되어 입력되었습니다.

데이터를 입력한 후 이미지 검색 결과는 초현실적이었습니다. "도시의 자전거"를 검색하면 호수의 사진이 나왔습니다. "헬멧을 쓴 여성 모델"을 검색하면 빈티지 자동차가 나왔습니다. "산"을 검색하면 무엇이든 무작위로 나왔습니다. 마치 시스템이 추첨을 한 것처럼 전체 아카이브의 임의 샘플이었습니다. 팀은 처음에는 시각적 임베딩 모델을 지목했습니다. 그런 다음 재정렬기(이 트랙이 특히 매력적인 이유를 이해하려면 이전 장을 참조하십시오). 마지막으로 AI가 생성한 설명의 품질을 지목했습니다.

진정한 조사는 이번에는 SQL 쿼리를 사용하여 데이터베이스에 직접 접근하여 끔찍한 사실을 드러냈습니다. 카탈로그의 3997장의 사진 중 모든 사진은 동일한 객체 목록을 가지고 있었습니다. 정확히 19개의 항목 — "자동차, 오토바이, 호수, 바다, 산, 자전거, 헬멧, 도로, 도시, 사람..." — 이 목록은 개별 사진의 내용과 전혀 관련이 없었습니다. 이 목록은 몇 년 전에 다른 웹사이트에서 가져온 것으로, CMS의 필수 필드를 채우기 위한 일반적인 태그 세트였습니다. 회사 내 누구도 더 이상 기억하지 못했습니다. 사진들은 시스템을 거치면서 그 유령 같은 레이블을 함께 옮겼고, 의심을 불러일으키기에는 충분히 그럴듯했지만, 그것을 기반으로 한 모든 검색을 손상시키기에 충분히 유독했습니다. 검색 엔진은 성실하게 그것들을 콘텐츠의 증상으로 사용했습니다. 그리고 자연의 법칙에 따라 어느 정도의 환각이 보장된 모든 쿼리에 대해 모든 사진을 반환했습니다.

핵심은, 깨닫았을 때 고통스러운 지점은 RAG에서 "잡음" 데이터가 들리는 소음을 내지 않는다는 것입니다. 시스템 속도를 늦추거나 오류를 생성하거나 경고등을 켜지 않습니다. 단순히 결과의 품질을 조용히 잠식할 뿐입니다. 그리고 언어 모델이 5개의 문서 중 4개가 주제와 관련 없는 문서를 받으면 "이것들은 관련이 없습니다. 다른 것을 물어보세요"라고 말하지 않습니다. 대신, 그것들을 섞어 응답을 성실하게 작성하며, 그 응답은 항상 그럴듯하게 들립니다. 항상 그렇습니다. 최종적인 환각 — 즉, 우리가 불평하는 발명된 응답 — 은 이야기되고 있는 주류 내러티브와 같이 모델에서 비롯되는 것이 아닙니다. 그것은 상류에서, 데이터에서 비롯됩니다. 모델은 단지 그것을 문법적으로 완벽한 문장으로 포장하는 사람일 뿐입니다. 그러나 책임은 다른 곳에 있으며, 시스템에 무언가를 물어보기 몇 달 전에 제공한 것에 있습니다.

이러한 관찰은 비용이 드는 실질적인 결과를 초래합니다. 진지한 기업용 RAG를 구축하는 첫 번째 작업은 코드 한 줄을 작성하기 전에 자신의 데이터를 부검하는 것입니다. 데이터가 어디에서 왔는지, 누가 데이터를 수정했는지, 어떤 필드가 관찰되고 어떤 필드가 이전 시스템의 화석 유산인지 확인해야 합니다. 어떤 메타데이터가 오늘날 의미가 있고 어떤 메타데이터가 2017년에 의미가 있었지만 이후로 정리되지 않았는지 파악해야 합니다. 이 작업은 화려하지 않고, 매우 기록 보관적이며, 튜토리얼에는 전혀 없고, 종종 "기술적이지 않다"고 여겨져 개발팀에서 무시됩니다. 그러나 초기 위생 관리가 없으면 아무리 천재적인 아키텍처라도 오래된 쓰레기를 매우 강력하게 증폭시키는 것에 불과합니다.

미국 기업의 경우, 해결책은 가혹하면서도 옳았습니다. "객체" 필드를 비우고, 최신 비전 모델을 각 사진에 적용하여 메타데이터를 처음부터 재구성하고, 이번에는 각 메타데이터가 언제 어떻게 생성되었는지 추적했습니다. 지루한 작업입니다. 결과: 검색이 마침내 작동하기 시작했습니다. 모델을 변경했기 때문이 아니라, 지하실 청소를 했기 때문입니다.