Τα μοντέλα Τεχνητής Νοημοσύνης o3 και o4-mini της OpenAI που κυκλοφόρησαν πρόσφατα είναι τελευταίας τεχνολογίας από πολλές απόψεις. Ωστόσο, τα νέα μοντέλα εξακολουθούν να έχουν παραισθήσεις ή να επινοούν πράγματα - στην πραγματικότητα, έχουν περισσότερες ψευδαισθήσεις από αρκετά από τα παλαιότερα μοντέλα της OpenAI.
Τι είναι, όμως, οι ψευδαισθήσεις της Τεχνητής Νοημοσύνης;
Οι ψευδαισθήσεις της Τεχνητής Νοημοσύνης είναι ένα φαινόμενο κατά το οποίο, σε ένα μεγάλο γλωσσικό μοντέλο (LLM) συχνά ένα chatbot που χρησιμοποιεί αλγόριθμο Δημιουργικής Τεχνητής Νοημοσύνης (GenAI) ή ένα εργαλείο υπολογιστικής όρασης, αντιλαμβάνεται μοτίβα ή αντικείμενα που είναι ανύπαρκτα ή ανεπαίσθητα για τους ανθρώπινους παρατηρητές, παράγοντας αποτελέσματα που είναι ανούσια ή εντελώς ανακριβή.
Οι ψευδαισθήσεις έχουν αποδειχθεί ότι είναι ένα από τα μεγαλύτερα και πιο δύσκολα προβλήματα που επιλύονται στην Τεχνητή Νοημοσύνη, επηρεάζοντας ακόμη και τα σημερινά συστήματα με τις καλύτερες επιδόσεις. Ιστορικά, κάθε νέο μοντέλο βελτιωνόταν ελαφρώς στον τομέα των ψευδαισθήσεων σε σύγκριση με τα προηγούμενα. Αυτό όμως δεν φαίνεται να ισχύει για τα o3 και o4-mini.
Ο όρος μπορεί να φαίνεται παράδοξος, δεδομένου ότι οι ψευδαισθήσεις συνδέονται συνήθως με ανθρώπινους ή ζωικούς εγκεφάλους και όχι με μηχανές. Αλλά από μεταφορική άποψη, η παραίσθηση περιγράφει με ακρίβεια αυτές τις εξόδους, ειδικά στην περίπτωση της αναγνώρισης εικόνων και προτύπων (όπου οι έξοδοι μπορεί να έχουν πραγματικά σουρεαλιστική εμφάνιση).
Οι ψευδαισθήσεις της Τεχνητής Νοημοσύνης είναι παρόμοιες με το πώς οι άνθρωποι βλέπουν μερικές φορές φιγούρες στα σύννεφα ή πρόσωπα στο φεγγάρι. Στην περίπτωση της τεχνητής νοημοσύνης, αυτές οι παρερμηνείες οφείλονται σε διάφορους παράγοντες, συμπεριλαμβανομένης της υπερπροσαρμογής, της μεροληψίας/ακρίβειας των δεδομένων εκπαίδευσης και της υψηλής πολυπλοκότητας του μοντέλου.
Η πρόληψη των προβλημάτων με τις τεχνολογίες Gen AI ανοικτού κώδικα μπορεί να αποδειχθεί πρόκληση. Ορισμένα αξιοσημείωτα παραδείγματα ψευδαισθήσεων της AI περιλαμβάνουν:
- Το chatbot Bard της Google ισχυρίστηκε λανθασμένα ότι το διαστημικό τηλεσκόπιο James Webb κατέγραψε τις πρώτες εικόνες ενός πλανήτη εκτός του ηλιακού μας συστήματος.1
- Η τεχνητή νοημοσύνη συνομιλίας της Microsoft, Sydney, που παραδέχτηκε ότι ερωτεύτηκε τους χρήστες και κατασκόπευε τους υπαλλήλους της Bing.2
- Η Meta να αποσύρει το demo της Galactica LLM το 2022, αφού παρείχε στους χρήστες ανακριβείς πληροφορίες, μερικές φορές βασισμένες σε προκαταλήψεις.3
Αν και πολλά από αυτά τα ζητήματα έχουν έκτοτε αντιμετωπιστεί και επιλυθεί, είναι εύκολο να καταλάβει κανείς πώς, ακόμη και στις καλύτερες περιπτώσεις, η χρήση εργαλείων τεχνητής νοημοσύνης μπορεί να έχει απρόβλεπτες και ανεπιθύμητες συνέπειες.
Τι συμβαίνει με τα μοντέλα της OpenAI
Σύμφωνα με τις εσωτερικές δοκιμές της OpenAI, το o3 και το o4-mini, τα οποία είναι τα λεγόμενα μοντέλα συλλογισμού, εμφανίζουν συχνότερα ψευδαισθήσεις από τα προηγούμενα μοντέλα συλλογισμού της εταιρείας - o1, o1-mini και o3-mini - καθώς και από τα παραδοσιακά, «μη λογικά» μοντέλα της OpenAI, όπως το GPT-4o.
Ίσως το πιο ανησυχητικό είναι ότι ο κατασκευαστής του ChatGPT δεν γνωρίζει πραγματικά γιατί συμβαίνει αυτό.
Στην τεχνική της έκθεση για τα o3 και o4-mini, η OpenAI γράφει ότι «χρειάζεται περισσότερη έρευνα»για να καταλάβει γιατί οι ψευδαισθήσεις χειροτερεύουν καθώς εντατικοποιείται η χρήση στα μοντέλα συλλογιστικής. Τα O3 και o4-mini έχουν καλύτερες επιδόσεις σε ορισμένους τομείς, συμπεριλαμβανομένων εργασιών που σχετίζονται με την κωδικοποίηση και τα μαθηματικά. Αλλά επειδή «κάνουν συνολικά περισσότερους ισχυρισμούς, οδηγούνται συχνά σε πιο ακριβείς ισχυρισμούς καθώς και σε πιο ανακριβείς/αληθοφανείς ισχυρισμούς», σύμφωνα με την έκθεση.
Η OpenAI διαπίστωσε ότι το o3 είχε παραισθήσεις ως απάντηση στο 33% των ερωτήσεων στο PersonQA, το εσωτερικό μέτρο σύγκρισης της εταιρείας για τη μέτρηση της ακρίβειας των γνώσεων ενός μοντέλου σχετικά με τους ανθρώπους. Αυτό είναι περίπου το διπλάσιο ποσοστό ψευδαισθήσεων από τα προηγούμενα μοντέλα συλλογισμού της OpenAI, o1 και o3-mini, τα οποία σημείωσαν 16% και 14,8% αντίστοιχα. Το o4-mini τα πήγε ακόμα χειρότερα στο PersonQA - είχε ψευδαισθήσεις στο 48% των περιπτώσεων.
Οι δοκιμές τρίτου μέρους από την Transluce, ένα μη κερδοσκοπικό ερευνητικό εργαστήριο AI, βρήκαν επίσης ενδείξεις ότι το o3 έχει την τάση να επινοεί ενέργειες που έκανε κατά τη διαδικασία κατάληξης σε απαντήσεις. Σε ένα παράδειγμα, η Transluce παρατήρησε το o3 να ισχυρίζεται ότι έτρεξε κώδικα σε ένα MacBook Pro του 2021 «εκτός περιβάλλοντος ChatGPT» και στη συνέχεια αντέγραψε τους αριθμούς στην απάντησή του. Ενώ η o3 έχει πρόσβαση σε ορισμένα εργαλεία, δεν μπορεί να το κάνει αυτό.
Οι ψευδαισθήσεις μπορεί να βοηθούν τα μοντέλα ΑΙ να καταλήγουν σε ενδιαφέρουσες ιδέες και να είναι δημιουργικά στη «σκέψη» τους, αλλά κάνουν επίσης ορισμένα μοντέλα δύσκολη πώληση για τις επιχειρήσεις σε αγορές όπου η ακρίβεια είναι υψίστης σημασίας. Για παράδειγμα, μια δικηγορική εταιρεία πιθανότατα δεν θα ήταν ευχαριστημένη με ένα μοντέλο που εισάγει πολλά πραγματολογικά λάθη σε συμβάσεις πελατών.
Μια πολλά υποσχόμενη προσέγγιση για την ενίσχυση της ακρίβειας των μοντέλων είναι να τους δοθούν δυνατότητες αναζήτησης στο διαδίκτυο. Το GPT-4o του OpenAI με αναζήτηση στο διαδίκτυο επιτυγχάνει ακρίβεια 90% στο SimpleQA, ένα άλλο από τα κριτήρια αναφοράς ακρίβειας του OpenAI. Ενδεχομένως, η αναζήτηση θα μπορούσε επίσης να βελτιώσει τα ποσοστά ψευδαισθήσεων των μοντέλων συλλογιστικής - τουλάχιστον σε περιπτώσεις όπου οι χρήστες είναι πρόθυμοι να εκθέσουν τις προτροπές σε έναν τρίτο πάροχο αναζήτησης.
Τον τελευταίο χρόνο, η ευρύτερη βιομηχανία AI έχει στραφεί προς την εστίαση σε μοντέλα συλλογισμού, αφού οι τεχνικές για τη βελτίωση των παραδοσιακών μοντέλων AI άρχισαν να δείχνουν μειωμένες αποδόσεις. Η συλλογιστική βελτιώνει την απόδοση των μοντέλων σε μια ποικιλία εργασιών χωρίς να απαιτούνται τεράστιες ποσότητες υπολογιστών και δεδομένων κατά την εκπαίδευση. Ωστόσο, φαίνεται ότι η συλλογιστική μπορεί επίσης να οδηγήσει σε περισσότερες ψευδαισθήσεις στα αποτελέσματα που δίνουν τα μοντέλα AI, γεγονός που συνιστά μια πρόκληση.
