Bộ xếp hạng lại dối trá

Chương 3 — Bộ xếp hạng lại dối trá

Trong thuật ngữ kỹ thuật của RAG, có một nhân vật chủ chốt, không hào nhoáng và ít được kể đến: bộ xếp hạng lại. Hãy tưởng tượng việc tìm kiếm thông tin doanh nghiệp giống như lối vào một câu lạc bộ đêm. Cơ sở dữ liệu vector là người bảo vệ: nhanh chóng nhìn đám đông và cho phép ba mươi ứng viên vào, những người có vẻ ngoài phù hợp với những gì bạn đang tìm kiếm. Bộ xếp hạng lại là người kiểm soát bên trong: chọn ra ba mươi người đó, xem xét họ một cách cẩn thận, chọn ra năm người — những người mà LLM sẽ thực sự đọc để xây dựng câu trả lời — và gửi lại hai mươi lăm người còn lại. Đây là một chức năng nhỏ nhưng to lớn: nếu anh ta sai, tất cả mọi người đều sai. Nếu người kiểm soát không biết đọc khuôn mặt, câu lạc bộ sẽ đầy những người sai và không ai hiểu tại sao buổi tối lại tệ.

Vào năm 2025, một số dịch vụ đám mây đã xuất hiện trên thị trường cung cấp bộ xếp hạng lại dưới dạng API. Bạn gửi một câu hỏi và một danh sách tài liệu, họ trả về điểm số. Thuận tiện, có khả năng mở rộng, không cần mua GPU, không cần tải xuống mô hình. Một nhà cung cấp mô hình châu Âu nổi tiếng — không nêu tên, nhưng bạn biết chúng tôi đang tránh những cái tên nào — đã giới thiệu một mô hình đầy hứa hẹn từ họ Qwen, với bốn tỷ tham số, được gắn nhãn "Bộ xếp hạng lại". Giá cả hợp lý, độ trễ chấp nhận được. Bất kỳ ai, vào thời điểm đó, đều sẽ chọn nó. Nhiều người đã chọn nó.

Trừ khi các điểm số bị sai. Không "sai một chút", như có thể xảy ra với bất kỳ mô hình nào: sai về mặt cấu trúc. Các tài liệu rõ ràng liên quan nhận được 0.2, các tài liệu không liên quan nhận được 0.8. Nghi ngờ ban đầu, như thường lệ trong những trường hợp này, đã đổ dồn vào những thủ phạm quen thuộc: mô hình nhúng, phân đoạn, cách diễn đạt truy vấn, tiền xử lý tài liệu. Nhiều tuần điều tra theo những hướng sai. Chỉ khi so sánh một cách hệ thống các phản hồi của reranker trên cloud với reranker cục bộ tham chiếu — cùng một đầu vào, cùng một tài liệu, điểm số được đặt cạnh nhau trên một bảng Excel — sự thật khó chịu mới lộ ra: mô hình được hiển thị thông qua API bị hỏng. Có lẽ là lỗi triển khai, có lẽ là phiên bản sai đã được tải lên nhầm lẫn, có lẽ là lỗi trong quá trình tuần tự hóa điểm số. Nhà cung cấp chưa bao giờ thừa nhận điều này một cách chính thức. Tuy nhiên, vấn đề đơn giản là biến mất vào một ngày nào đó, sau một bản cập nhật im lặng và không có thay đổi nào được ghi chú.

Điểm mấu chốt của câu chuyện này không phải là "các dịch vụ đám mây mắc lỗi" — ai cũng mắc lỗi, ngay cả các mô hình cục bộ cũng mắc lỗi. Điểm mấu chốt tinh tế hơn: trong một RAG nghiêm túc, bộ reranker là một phần mà bạn phải có thể nhìn vào bên trong. Nếu đó là một hộp đen trả phí, và nếu kết quả của nó là các con số có vẻ hợp lý ngay cả khi chúng ngẫu nhiên — và điểm số của bộ reranker luôn có vẻ hợp lý, vì chúng là các số giữa không và một với một vài số thập phân —, bạn không có cách nào để biết điều gì đang sai trong hệ thống của mình. Và vì bộ reranker nằm "cuối" của quy trình, lỗi của nó làm ô nhiễm mọi đánh giá ở thượng nguồn: tìm kiếm có vẻ chậm, truy vấn sai, các embedding kém chất lượng. Trên thực tế, đó là người bảo vệ cửa không biết đọc biểu cảm khuôn mặt, và bạn đang đặt câu hỏi về kính cửa.

Lựa chọn đi ngược lại xu hướng của một số nhóm trong những tháng gần đây — thay vì chuyển nhiều hơn lên cloud, quay trở lại — là đưa reranker về nhà. Một mô hình nguồn mở thuộc họ BGE, không quá lớn, chạy trên GPU cục bộ (thậm chí trên Apple Silicon, với một chút thận trọng về driver). Đúng là tốn nhiều công sức quản lý hơn. Nhưng có thể thực hiện các thí nghiệm được kiểm soát, hiểu khi nào nó sai, so sánh các phiên bản, lưu giữ lịch sử. Và — điều quan trọng không kém — không phải trả một phần nhỏ của xu cho mỗi tìm kiếm của người dùng. Phần nhỏ đó, nhân với hàng chục nghìn truy vấn mỗi tháng, nhanh chóng không còn là một phần nhỏ nữa mà trở thành một khoản mục trong bảng cân đối kế toán.

Khi một thành phần quan trọng đến mức sự cố của nó làm hỏng mọi khả năng đo lường của bạn, thì việc ủy thác nó cho một hộp đen không phải là hiệu quả. Đó là một hành động đức tin. Và các hành động đức tin, trong môi trường sản xuất, sẽ phải trả lãi kép.