Την ώρα που επενδύονται δεκάδες δισεκατομμύρια για την κατασκευή data centers, κορυφαίες μορφές του κόσμου της Τεχνητής Νοημοσύνης προειδοποιούν πως τα περισσότερα ψηφιακά δεδομένα έχουν ήδη γίνει αντικείμενο επεξεργασίας. Οι ίδιοι επισημαίνουν πως αυτό ήδη βάζει φρένο στην τρελή κούρσα του AI.
Αν πρέπει κανείς οπωσδήποτε να ονοματίσει τον επιχειρηματικό τομέα, ο οποίος δέχεται τις μεγαλύτερες επενδύσεις παγκοσμίως, δύσκολα θα επιλέξει κάτι άλλο από τον κλάδο της Τεχνητής Νοημοσύνης. Αυτό είναι απόλυτα λογικό, καθώς μιλάμε πραγματικά για έναν επενδυτικό οργασμό, επικεντρωμένο κυρίως στην απόκτηση υπολογιστικής ισχύος για την επεξεργασία ενός τεράστιου όγκου ψηφιακών δεδομένων. Αναφερόμαστε βέβαια στα περίφημα πλέον data centers, τα οποία αποτελούν τη βασική υποδομή για τη «εκπαίδευση» και τη λειτουργία των εφαρμογών Τεχνητής Νοημοσύνης.
Οι μεγάλες εταιρείες τεχνολογίας ξοδεύουν πολλές δεκάδες δισεκατομμύρια δολάρια η κάθε μία για να εξασφαλίσουν κάποια από αυτά τα data centers, κάτι που προκαλεί έναν πολύ σκληρό ανταγωνισμό για την προμήθεια όσο το δυνατόν περισσότερων ισχυρών μικροεπεξεργαστών (προς το παρόν κυρίως από την Nvidia) και για τη σύναψη μακροχρόνιων συμφωνιών αγοράς ηλεκτρικής ισχύος (σε εξαιρετικά υψηλές τιμές).
Δε θα ασχοληθούμε περισσότερο με τα data centers τα οποία ούτως ή άλλως αποτελούν βασικό θέμα συζήτησης σε πολύ υψηλό επιχειρηματικό και πολιτικό επίπεδο. Υπάρχει όμως και το επιστημονικό επίπεδο, από το οποίο τελικά εξαρτώνται όλες οι εξελίξεις στον τεχνολογικό τομέα. Από εκεί λοιπόν μας έρχονται ορισμένα μηνύματα που δημιουργούν ερωτηματικά σχετικά με το πόσο λογικό (επιστημονικά και επιχειρηματικά) είναι να δεσμεύονται εκατοντάδες δισεκατομμύρια δολάρια για επενδύσεις που η ολοκλήρωσή τους προβλέπεται προς το τέλος της δεκαετίας που διανύουμε.
Ο Demis Hassabis είναι εδώ και πολλά χρόνια μία από τις πιο σημαντικές προσωπικότητες του κόσμου της Τεχνητής Νοημοσύνης, και λόγω του επιστημονικού του έργου και λόγω της ιδιότητας του ως ανώτατου στελέχους της Google DeepMind, ίσως του πιο σημαντικού εργαστηρίου Τεχνητής Νοημοσύνης στον κόσμο. Το 2024 η Επιτροπή των βραβείων Νόμπελ απένειμε σε αυτόν και άλλους δύο επιστήμονες το βραβείο Νόμπελ Χημείας για την πολύ σημαντική ερευνητική εργασία τους πάνω στον τομέα της Τεχνητής Νοημοσύνης. (Ο Hassabis και ο John Jumper του Google DeepMind τιμήθηκαν γιατί, με τη βοήθεια της Τεχνητής Νοημοσύνης, πρόβλεψαν τη χημική δομή εκατομμυρίων πρωτεϊνών και ο David Baker του πανεπιστημίου της Washington γιατί με τη βοήθεια λογισμικού κατάφερε να δημιουργήσει μία νέα πρωτεΐνη).
Πριν λίγες μέρες οι New York Times δημοσίευσαν άρθρο του Cade Metz και του Tripp Mickle με θέμα την πρόοδο στην τεχνητή νοημοσύνη και το κείμενό του ξεκινούσε ως εξής: «Ο Demis Hassabis, ένας από τους πιο επιδραστικούς ειδικούς του τομέα της Τεχνητής Νοημοσύνης στον κόσμο, απευθύνει μία προειδοποίηση στην υπόλοιπη τεχνολογική βιομηχανία: μην περιμένετε πως τα chatbots θα συνεχίσουν να βελτιώνονται με τον ίδιο ρυθμό που έχουν πετύχει τα τελευταία χρόνια». Οι δύο δημοσιογράφοι ανέφεραν στην συνέχεια ότι για μεγάλο χρονικό διάστημα οι ερευνητές του A.I. έχουν βασιστεί σε μία πολύ απλή αρχή για την βελτίωση των συστημάτων τους. Όσο περισσότερα ψηφιακά δεδομένα (data) μπαίνουν στα μοντέλα large language (LLMs), τα οποία βρίσκονται πίσω από τα chatbots των διαφόρων εφαρμογών AI, τόσο πιο καλή είναι η απόδοσή τους.
Όμως, ο δόκτωρ Hassabis λέει τώρα πως αυτή η μέθοδος μένει από «καύσιμα» πολύ απλά γιατί οι τεχνολογικές επιχειρήσεις δεν μπορούν να βρουν πλέον τόσα πολλά data. Ο Metz και ο Mickle πρόσθεσαν πως ο διαπρεπής επιστήμονας, μιλώντας νωρίτερα μέσα στον Δεκέμβριο στους New York Times, ανέφερε ότι «όλοι στην βιομηχανία AI βλέπουν μειωμένες αποδόσεις». Στο ίδιο άρθρο, οι δύο δημοσιογράφοι πρόσθεσαν πως ο Hassabis δεν είναι ο μόνος που απευθύνει αυτή την προειδοποίηση. Όπως επισήμαναν, από συνεντεύξεις με 20 αξιωματούχους και ερευνητές του τομέα της Τεχνητής Νοημοσύνης προκύπτει πως αρκετοί ακόμα μοιράζονται την πεποίθηση πως η βιομηχανία της τεχνολογίας έχει ήδη χρησιμοποιήσει την διαθέσιμη ψηφιακή ύλη στο διαδίκτυο. Αυτό είναι ένα συμπέρασμα που μέχρι πριν λίγα χρόνια ήταν μάλλον αδιανόητο για τους περισσότερους ειδικούς της AI.
Όπως μας υπενθύμισαν οι New York Times, το 2020 ο Jared Kaplan, καθηγητής θεωρητικής φυσικής στο πανεπιστήμιο Johns Hopkins, είχε δημοσιεύσει εργασία του με την οποία έδειχνε πως τα LLMs γίνονταν όλο και πιο δυνατά και πιο κοντά στο ανθρώπινο μυαλό καθώς μεγάλωνε η ποσότητα δεδομένων που επεξεργάζονταν. Ερευνητές της AI ονόμασαν «Scaling Laws» αυτό το συμπέρασμα του Kaplan και γρήγορα τα Scaling Laws θεωρήθηκαν κάτι ανάλογο με το Moore’s Law, δηλαδή τη θεωρία του Gordon Moore, συνιδρυτή της Intel, σύμφωνα με την οποία η ισχύς των μικροεπεξεργαστών θα διπλασιάζεται κάθε περίπου 2 χρόνια.
Γνωρίζοντας πως το Moore’s Law ίσχυσε για περίπου 40 χρόνια, πριν ο ρυθμός αυτός αρχίσει να πέφτει, οι μεγάλες τεχνολογικές εταιρείες έσπευσαν, με κάθε δυνατό (και όχι πάντα θεμιτό ή απολύτως νόμιμο) τρόπο να προσπαθήσουν να αποκτήσουν πρόσβαση στα πολύτιμα ψηφιακά δεδομένα, θεωρώντας πως τα Scaling Laws θα ισχύουν για πολλά ακόμα χρόνια. Όπως όμως είπε ο δόκτωρ Hassabis, «οι αποδόσεις των τελευταίων τριών – τεσσάρων ετών ήταν εξαιρετικές καθώς ίσχυσαν τα Scaling Laws» αλλά «οι συνθήκες έχουν πλέον αλλάξει».
Μία άλλη σημαντική προσωπικότητα της Τεχνητής Νοημοσύνης είναι ο Ilya Sutskever, στενός συνεργάτης του Demis Hassabis στην Google DeepMind και μετέπειτα επικεφαλής επιστήμων της OpenAI, από την οποία αποχώρησε την άνοιξη για να ξεκινήσει τη δική του startup με τη χαρακτηριστική επωνυμία «Safe Superintelligence». Μιλώντας στις 13 Δεκεμβρίου, στο Βανκούβερ του Καναδά, σε ένα συνέδριο με θέμα τα νευρωνικά δίκτυα, ο Sutskever είπε πως «έχουμε φτάσει στην κορυφή των ψηφιακών δεδομένων και δεν μπορούμε να βρούμε πολλά ακόμα», «θα πρέπει να περιοριστούμε στα data που έχουμε τώρα στη διάθεσή μας, υπάρχει μόνο ένα διαδίκτυο» και «είμαι βέβαιος πως η προ-εκπαίδευση (pre-training) των συστημάτων Τεχνητής Νοημοσύνης φτάνει αναμφίβολα στο τέλος της». Το τελευταίο αναφέρεται στον τρόπο με τον οποίον τα LLMs «προπονούνται» πριν αρχίσουν να παρέχουν τις υπηρεσίες τους στις εφαρμογές Τεχνητής Νοημοσύνης. Ο Sutskever πρόσθεσε πως η πρόοδος στον τομέα μπορεί να συνεχιστεί με τα διαθέσιμα ψηφιακά δεδομένα αλλά σταδιακά η έλλειψη data θα οδηγήσει στην εγκατάλειψη του τωρινού μοντέλου.
Και οι δύο κορυφαίες προσωπικότητες του κόσμου της Τεχνητής Νοημοσύνης πιστεύουν πως η έλλειψη δεδομένων θα φέρει αναγκαστικές αλλαγές στον τρόπο λειτουργίας και εκπαίδευσης των εφαρμογών Τεχνητής Νοημοσύνης και των μοντέλων που τις υποστηρίζουν. Και οι δύο, με διαφορετικό τρόπο ο καθένας, εκτιμούν πως τα νέα μοντέλα θα πρέπει να γίνουν πιο «έξυπνα» και να αρχίσουν να αποκτούν κριτική ικανότητα χρησιμοποιώντας μικρότερο όγκο πληροφοριών με βάση τα διαθέσιμα δεδομένα. Δεν είναι φρόνιμο να μπούμε σε περισσότερες λεπτομέρειες γιατί η συζήτηση, παρότι εξαιρετικά ενδιαφέρουσα και σχεδόν γοητευτική, απαιτεί πολύ περισσότερο χώρο και χρόνο.
Αυτό που μας απασχολεί σήμερα, με βάση τις απόψεις και διαπιστώσεις των δύο κορυφαίων επιστημόνων και αρκετών συναδέλφων τους, είναι αν η επιμονή των μεγάλων τεχνολογικών επιχειρήσεων στην κατασκευή τεράστιων data centers είναι πιθανόν να αποδειχθεί τελικά λανθασμένη. Δηλαδή, αν η απόφαση για την επένδυση πολλών εκατοντάδων δισεκατομμυρίων δολαρίων ετησίως ανά τον κόσμο σε αυτόν τον τομέα βασίζεται στη λανθασμένη πεποίθηση πως αυτό που ισχύει σήμερα θα εξακολουθεί να ισχύει, με τον ίδιο τρόπο, για πολλά ακόμα χρόνια. Παρότι ο Hassabis και ο Sutskever είναι από τους κορυφαίους στον τομέα τους, μπορεί και να κάνουν λάθος.
Αν όμως έχουν δίκιο και από εδώ και πέρα η υπολογιστική ισχύς και τα τεράστια κέντρα επεξεργασίας ψηφιακών δεδομένων δε θα αρκούν για την επίτευξη μεγάλης προόδου στον τομέα της Τεχνητής Νοημοσύνης, τότε υπάρχει σημαντική πιθανότητα αυτές οι επενδύσεις να αποτελέσουν σε μεγάλο βαθμό «πεταμένα λεφτά». Δεν υποστηρίζουμε κάτι τέτοιο γιατί δεν έχουμε τις απαραίτητες γνώσεις (ούτε κατά διάνοια), αλλά ακούγοντας τους κατά τεκμήριο ειδικούς θεωρούμε φυσικό να προβληματιστούμε σχετικά. Πιθανολογούμε πως όσοι συμμετέχουν στον αγώνα δρόμου για την απόκτηση των πιο δυνατών data centers είναι δύσκολο να μην έχουν και αυτοί τους προβληματισμούς τους.
