Ο Ίλον Μασκ συμφωνεί με άλλους εμπειρογνώμονες ότι έχουν απομείνει ελάχιστα δεδομένα από τον πραγματικό κόσμο για την εκπαίδευση μοντέλων Τεχνητής Νοημοσύνης.
«Έχουμε πλέον εξαντλήσει ουσιαστικά το αθροιστικό άθροισμα της ανθρώπινης γνώσης … στην εκπαίδευση της τεχνητής νοημοσύνης», δήλωσε ο Μασκ στο techcrunch κατά τη διάρκεια μιας συνομιλίας του με τον πρόεδρο της Stagwell, Μαρκ Πεν, που μεταδόθηκε σε ζωντανή μετάδοση στο X αργά την Τετάρτη (08/01). «Αυτό συνέβη ουσιαστικά πέρυσι».
Ο Μασκ, ο οποίος είναι ιδιοκτήτης της εταιρείας AI xAI, επανέλαβε θέματα που ο πρώην επικεφαλής της OpenAI Ίλια Σούτσκεβερ έθιξε στο NeurIPS, το συνέδριο μηχανικής μάθησης, κατά τη διάρκεια μιας ομιλίας τον Δεκέμβριο. Ο Σούτσκεβερ, ο οποίος δήλωσε ότι η βιομηχανία Τεχνητής Νοημοσύνης είχε φτάσει σε αυτό που αποκάλεσε «peak data», προέβλεψε ότι η έλλειψη δεδομένων εκπαίδευσης θα αναγκάσει σε μια στροφή μακριά από τον τρόπο με τον οποίο αναπτύσσονται σήμερα τα μοντέλα.
Πράγματι, ο Μασκ πρότεινε ότι τα συνθετικά δεδομένα που παράγονται από τα ίδια τα μοντέλα Τεχνητής Νοημοσύνης - είναι ο δρόμος προς τα εμπρός. «Ο μόνος τρόπος για να συμπληρώσουμε [τα δεδομένα του πραγματικού κόσμου] είναι με συνθετικά δεδομένα, όπου η Τεχνητή Νοημοσύνη δημιουργεί [δεδομένα εκπαίδευσης]», είπε. «Με τα συνθετικά δεδομένα… θα βαθμολογηθεί κατά κάποιο τρόπο μόνη της η Τεχνητή Νοημοσύνη και θα περάσει από αυτή τη διαδικασία αυτομάθησης».
Άλλες εταιρείες, συμπεριλαμβανομένων τεχνολογικών κολοσσών όπως η Microsoft, η Meta, η OpenAI και η Anthropic, χρησιμοποιούν ήδη συνθετικά δεδομένα για να εκπαιδεύσουν τα εμβληματικά μοντέλα της Τεχνητής Νοημοσύνης. Η Gartner εκτιμά ότι το 60% των δεδομένων που χρησιμοποιούνται για έργα τεχνητής νοημοσύνης και ανάλυσης το 2024 θα είναι συνθετικά παραγόμενα.
Το μοντέλο AI Phi-4 της Microsoft, το οποίο δημοσιοποιήθηκε στις αρχές της Τετάρτης, εκπαιδεύτηκε σε συνθετικά δεδομένα παράλληλα με δεδομένα του πραγματικού κόσμου. Το ίδιο και τα μοντέλα Gemma της Google. Η Anthropic χρησιμοποίησε κάποια συνθετικά δεδομένα για να αναπτύξει ένα από τα πιο αποδοτικά συστήματά της.
Υπάρχουν όμως και μειονεκτήματα. Ορισμένες έρευνες δείχνουν ότι τα συνθετικά δεδομένα μπορεί να οδηγήσουν σε κατάρρευση του μοντέλου, όπου ένα μοντέλο γίνεται λιγότερο «δημιουργικό» - και πιο προκατειλημμένο - στα αποτελέσματά του, θέτοντας τελικά σε σοβαρό κίνδυνο τη λειτουργικότητά του. Επειδή τα μοντέλα δημιουργούν συνθετικά δεδομένα, εάν τα δεδομένα που χρησιμοποιούνται για την εκπαίδευση αυτών των μοντέλων έχουν προκαταλήψεις και περιορισμούς, τα αποτελέσματά τους θα είναι ομοίως αλλοιωμένα.
