거짓말쟁이 리랭커

3장 — 거짓말쟁이 리랭커

RAG 기술 용어에서 중요한 역할을 하지만 잘 알려지지 않은 존재가 바로 리랭커입니다. 기업 내 검색을 나이트클럽 입구에 비유해 봅시다. 벡터 데이터베이스는 문지기 역할을 합니다. 빠르게 군중을 훑어보고 원하는 사람과 비슷해 보이는 30명의 후보자를 들여보냅니다. 리랭커는 안쪽의 보안 요원입니다. 그 30명을 차분히 살펴보고, 실제로 LLM이 답변을 구축하기 위해 읽을 5명을 선택하고 나머지 25명을 돌려보냅니다. 작지만 엄청난 기능입니다. 그가 잘못하면 모두가 잘못됩니다. 보안 요원이 표정을 읽을 줄 모른다면, 잘못된 사람들이 클럽에 가득 차고 왜 그 밤이 잘못되었는지 아무도 이해하지 못할 것입니다.

2025년에는 리랭커를 API로 제공하는 여러 클라우드 서비스가 시장에 등장했습니다. 질문과 문서 목록을 보내면 점수를 받게 됩니다. 편리하고 확장 가능하며, GPU를 구매하거나 모델을 다운로드할 필요가 없습니다. 유럽의 유명한 모델 제공업체(이름은 언급하지 않겠습니다. 하지만 어떤 이름을 피하고 있는지 아실 겁니다)는 40억 개의 파라미터를 가진 Qwen 계열의 유망한 모델을 "Reranker"라는 이름으로 공개했습니다. 가격은 합리적이고 대기 시간은 허용 가능했습니다. 당시 누구라도 그것을 선택했을 것입니다. 많은 사람들이 그것을 선택했습니다.

점수가 틀렸다는 사실을 제외하고는 말이죠. 단순히 “약간” 틀린 것이 아니라, 모든 모델에서 발생할 수 있는 정도의 오류가 아니었습니다. 구조적으로 틀렸습니다. 명백하게 관련 있는 문서에는 0.2점이, 관련 없는 문서에는 0.8점이 부여되었습니다. 언제나 그렇듯, 첫 번째 의심은 일반적인 용의자에게 향했습니다. 임베딩 모델, 청킹, 쿼리 구성, 문서 전처리 등입니다. 며칠 동안 엉뚱한 단서를 쫓았습니다. 클라우드 리랭커의 응답과 로컬 리랭커의 응답을 체계적으로 비교했을 때(동일한 입력, 동일한 문서, 점수를 엑셀 시트에 나란히 배치) 불편한 진실이 드러났습니다. API를 통해 노출된 모델이 고장 났다는 것입니다. 아마 배포 오류였거나, 실수로 잘못된 버전이 업로드되었거나, 점수 직렬화에 버그가 있었을 것입니다. 공급업체는 이를 공식적으로 인정하지 않았습니다. 하지만 문제는 어느 날 조용히 업데이트된 후 사라졌고, 변경 사항 기록에는 아무런 내용이 없습니다.

이 이야기의 요점은 “클라우드 서비스가 틀린다”가 아닙니다. 모두가 틀리고, 로컬 모델도 틀립니다. 요점은 좀 더 미묘합니다. 진지한 RAG(Retrieval-Augmented Generation)에서 리랭커는 반드시 내부를 들여다볼 수 있는 부분입니다. 유료 블랙박스이고, 그 결과물이 무작위로 보일 때조차도 그럴듯해 보이는 숫자라면 — 그리고 리랭커 점수는 항상 그럴듯해 보입니다. 0과 1 사이의 소수점 있는 숫자이기 때문입니다 — 시스템의 문제가 무엇인지 파악할 방법이 없습니다. 그리고 리랭커는 파이프라인의 “맨 끝”에 있기 때문에, 그 오류는 상위의 모든 평가를 오염시킵니다. 검색이 느리고, 쿼리가 잘못되었으며, 임베딩이 좋지 않다고 보일 수 있습니다. 사실은 문지기가 얼굴을 제대로 읽지 못하는 것이고, 당신은 문 유리를 의심하고 있는 것입니다.

최근 몇 달 동안 일부 팀에서 보이는 역행적인 선택, 즉 클라우드를 향해 나아가는 대신 되돌아가는 움직임은 reranker를 *사내*로 가져오는 것이었습니다. BGE 계열의 거대하지 않은 오픈 소스 모델을 로컬 GPU(Apple Silicon에서도 드라이버에 대한 약간의 주의가 필요함)에서 실행하는 방식입니다. 관리 작업이 더 필요하다는 것은 사실입니다. 하지만 통제된 실험을 하고, 오류가 발생하는 시점을 파악하고, 버전을 비교하고, 기록을 유지할 수 있습니다. 그리고 — 마지막으로 — 각 사용자 검색에 대해 API에 센트의 일부를 지불하지 않아도 된다는 점입니다. 이 금액은 월 수만 건의 쿼리로 곱해지면 더 이상 일부가 아니라 재무 항목이 됩니다.

구성 요소가 매우 중요하여 오작동 시 나머지 모든 것을 측정하는 능력이 손상되는 경우, 이를 블랙박스에 위임하는 것은 효율성이 아닙니다. 믿음의 행위입니다. 그리고 생산 환경에서 믿음의 행위는 복리로 지불됩니다.