MIT: Νέα μέθοδος εκπαιδεύει την Τεχνητή Νοημοσύνη να λέει «δεν είμαι σίγουρος»
Μια νέα ερευνητική προσέγγιση από το MIT επιχειρεί να λύσει ένα από τα πιο κρίσιμα προβλήματα της σύγχρονης Τεχνητής Νοημοσύνης: την υπερβολική «σιγουριά» των μοντέλων, ακόμα και όταν κάνουν λάθος.
Ερευνητές του Computer Science and Artificial Intelligence Laboratory (CSAIL) ανέπτυξαν μια μέθοδο εκπαίδευσης που επιτρέπει στα μοντέλα να εκφράζουν με μεγαλύτερη ακρίβεια την αβεβαιότητά τους, βελτιώνοντας την αξιοπιστία τους χωρίς να μειώνεται η απόδοσή τους.
Το πρόβλημα της «υπερβολικής αυτοπεποίθησης»
Τα σύγχρονα μοντέλα τεχνητής νοημοσύνης συχνά δίνουν απαντήσεις με την ίδια βεβαιότητα, είτε είναι σωστές είτε όχι. Αυτό οφείλεται στον τρόπο εκπαίδευσής τους, όπου επιβραβεύονται απλώς για τη σωστή απάντηση και τιμωρούνται για τη λάθος, χωρίς ενδιάμεση αξιολόγηση.
Έτσι, ένα μοντέλο μπορεί να «μαντέψει» σωστά και να ανταμειφθεί το ίδιο με ένα μοντέλο που έφτασε στη σωστή απάντηση μέσω λογικής επεξεργασίας.
Η νέα μέθοδος RLCR
Η τεχνική που προτείνουν οι ερευνητές ονομάζεται RLCR (Reinforcement Learning with Calibration Rewards). Η βασική της καινοτομία είναι ότι το μοντέλο δεν δίνει μόνο μια απάντηση, αλλά και μια εκτίμηση για το πόσο σίγουρο είναι γι’ αυτήν.
Κατά τη διάρκεια της εκπαίδευσης:
- Οι σωστές αλλά υπερβολικά «σίγουρες» ή λανθασμένες απαντήσεις τιμωρούνται
- Οι απαντήσεις με ρεαλιστική εκτίμηση αβεβαιότητας επιβραβεύονται
Για τον σκοπό αυτό χρησιμοποιείται το Brier score, ένα μέτρο που συγκρίνει την προβλεπόμενη βεβαιότητα με την πραγματική ακρίβεια.
Σημαντική βελτίωση στην αξιοπιστία
Σύμφωνα με τα αποτελέσματα της έρευνας, η νέα μέθοδος:
- Μείωσε τα σφάλματα εκτίμησης βεβαιότητας έως και 90%
- Διατήρησε ή και βελτίωσε την ακρίβεια των μοντέλων
- Λειτούργησε αποτελεσματικά και σε δεδομένα που το μοντέλο δεν είχε ξαναδεί
Αντίθετα, οι παραδοσιακές μέθοδοι εκπαίδευσης με ενισχυτική μάθηση (RL) φαίνεται ότι επιδεινώνουν το πρόβλημα, κάνοντας τα μοντέλα πιο ικανά αλλά και πιο υπερβολικά σίγουρα.
Γιατί έχει σημασία
Η σωστή εκτίμηση της αβεβαιότητας είναι κρίσιμη σε τομείς όπως:
- Υγεία
- Νομική
- Οικονομία
Ένα σύστημα που εμφανίζεται «95% σίγουρο» αλλά κάνει λάθος, μπορεί να οδηγήσει σε σοβαρές συνέπειες, καθώς οι χρήστες δεν έχουν λόγο να αμφισβητήσουν το αποτέλεσμα.
Τι αλλάζει στην πράξη
Με τη νέα προσέγγιση, τα μοντέλα μπορούν:
- Να επιλέγουν πιο αξιόπιστες απαντήσεις με βάση τη δική τους βεβαιότητα
- Να βελτιώνουν την απόδοσή τους σε συστήματα που βασίζονται σε πολλαπλές απαντήσεις
- Να παρέχουν πιο χρήσιμες πληροφορίες στους χρήστες για το επίπεδο εμπιστοσύνης των αποτελεσμάτων
Η έρευνα θα παρουσιαστεί στο International Conference on Learning Representations (ICLR), ενώ τα πρώτα αποτελέσματα δείχνουν ότι η ενσωμάτωση της «αβεβαιότητας» μπορεί να αποτελέσει βασικό στοιχείο για την επόμενη γενιά αξιόπιστων AI συστημάτων.
Πηγή
MIT News – Teaching AI models to say “I’m not sure”