Οι πίνακες που δεν υπήρχαν

Κεφάλαιο 2 — Οι πίνακες που δεν υπήρχαν

Ένας τεχνικός από μια μηχανολογική εταιρεία της Βορειοανατολικής Ιταλίας μας το είπε μπροστά σε ένα εσπρέσο, με την ηρεμία των Βενετσιάνων που προμηνύει καταστροφή: "Το chatbot μας ήξερε τα πάντα για τον κινητήρα. Εκτός από τα δεδομένα του κινητήρα." Μετά εξήγησε. Ο εσωτερικός τους βοηθός AI ήξερε να περιγράφει τις σειρές προϊόντων, τα πλαίσια χρήσης, την ιστορία της μάρκας, τα ανταγωνιστικά πλεονεκτήματα. Ένα θαύμα, σε αφηγηματικό επίπεδο. Αλλά όταν ένας πελάτης ρωτούσε τη ροπή του μοντέλου CMP50L — δηλαδή το τεχνικό δεδομένο για το οποίο οι άνθρωποι ανοίγουν τον κατάλογο, ο αριθμός για τον οποίο αγοράζουν έναν κινητήρα — το chatbot απαντούσε αόριστα, μερικές φορές εύλογα, μερικές φορές όχι. Πέντε μήνες ανάπτυξης, ο επιχειρησιακός διευθυντής όλο και πιο προβληματισμένος, και κανείς δεν ήξερε γιατί.

Η διάγνωση ήρθε τυχαία, σχεδόν από πλήξη, επιθεωρώντας χειροκίνητα τη βάση δεδομένων μετά από την ακόμη μία ατελεσφόρα συνάντηση. Ο κατάλογος PDF περιείχε 342 τεχνικούς πίνακες. Στη βάση δεδομένων είχαν φτάσει μηδέν. Όχι μερικοί: μηδέν. Κανένας. Ο κώδικας που εξήγαγε τους πίνακες από τα PDF αποθήκευε τα δεδομένα σε πεδία που ονομάζονταν columns και data, ενώ ο κώδικας που στη συνέχεια τους ευρετηρίαζε περίμενε πεδία που ονομάζονταν headers και rows. Ένα "συνώνυμο" που δεν τηρήθηκε. Μια εσωτερική σύμβαση που είχε παραλειφθεί σε ένα ξεχασμένο refactoring. Το αποτέλεσμα, για πέντε σιωπηλούς μήνες: ολόκληρη η αριθμητική νοημοσύνη του καταλόγου — ζεύγη, δυνάμεις, διάμετροι, βάρη, κωδικοί παραγγελίας, τάσεις τροφοδοσίας — έφυγε από τη βρύση χωρίς να χυθεί ποτέ στο ποτήρι. Τριακόσιοι σαράντα δύο πίνακες, χαμένοι ένας προς έναν σε σιωπηλή λειτουργία.

Αυτό είναι το είδος του σφάλματος που δεν φωνάζει. Δεν προκαλεί εξαιρέσεις, δεν προκαλεί κρασαρίσματα, δεν εμφανίζεται σε κανένα αρχείο καταγραφής. Απλώς, ένα μέρος του κόσμου παύει να υπάρχει για το σύστημά σας, και κανείς δεν το αντιλαμβάνεται μέχρι ένας χρήστης — συνήθως ένας θυμωμένος χρήστης — να κάνει αρκετές επίμονες ερωτήσεις που θα αποκαλύψουν το χάσμα. Και αυτό είναι χαρακτηριστικό ενός πολύ μεγαλύτερου προβλήματος από τα ονόματα των πεδίων: τα γενικά πλαίσια RAG είναι βελτιστοποιημένα για τρέχον κείμενο — άρθρα, ιστοσελίδες, παράγραφοι μυθοπλασίας — και αντιμετωπίζουν τους πίνακες ως πολίτες δεύτερης κατηγορίας, όταν τους αντιμετωπίζουν. Αλλά τα ιταλικά εταιρικά έγγραφα είναι συχνά πίνακες. Τεχνικοί κατάλογοι, τιμοκατάλογοι, προδιαγραφές προϊόντων, δελτία ασφαλείας, ενημερωτικά δελτία παραγγελιών: το πολύτιμο μέρος, για όποιον συμβουλεύεται αυτά τα έγγραφα, είναι το ταμπλό. Αυτό που σπάει πρώτο και κανείς δεν το αντιλαμβάνεται.

Το μάθημα δεν είναι «πρόσεχε τις ονομασίες των πεδίων». Είναι πιο περίπλοκο: σε ένα σοβαρό RAG, κάθε τύπος περιεχομένου — πίνακες, εικόνες, αλφαριθμητικοί κωδικοί, τίτλοι παραγράφων, υποσημειώσεις — χρειάζεται ειδική μεταχείριση, σχεδιασμό, δοκιμή. Και η δοκιμή λειτουργίας δεν είναι «το chatbot απαντά σε απλές ερωτήσεις» — σε αυτές απαντούν ακόμη και τα ελαττωματικά συστήματα, επειδή υπάρχουν αρκετά δεδομένα που επιπλέουν για να δημιουργήσουν κάτι εύλογο. Η πραγματική δοκιμή είναι «το chatbot απαντά σε ερωτήσεις που το αναγκάζουν να αγγίξει κάθε κομμάτι της διοχέτευσης». Συγκεκριμένες, αριθμητικές, επαληθεύσιμες ερωτήσεις. Ερωτήσεις για τις οποίες υπάρχει μία σωστή απάντηση και αν το σύστημα κάνει λάθος, το γνωρίζεις αμέσως.

Αν δεν κάνεις αυτή τη δοκιμή, δεν ξέρεις αν το RAG σου λειτουργεί. Ξέρεις μόνο ότι δεν παραπονιέται. Και το «δεν παραπονιέται» είναι ένα πολύ χαμηλό κριτήριο ποιότητας για ένα σύστημα που οι άνθρωποι θα χρησιμοποιήσουν για να λάβουν αποφάσεις.