Το 2020 μια ομάδα ερευνητών βρήκε μέσα σε ένα μοντέλο αναγνώρισης εικόνων έναν νευρώνα που ενεργοποιούνταν και με γάτες και με αυτοκίνητα. Το συμπέρασμα τότε ήταν ότι το μοντέλο στρίμωχνε άσχετες έννοιες στο ίδιο σημείο. Έξι χρόνια αργότερα, ένας από εκείνους τους ερευνητές ξανακοίταξε τις ίδιες εικόνες και είδε κάτι απλούστερο: και οι δύο έχουν ένα έντονο σχήμα V. Το V σχηματίζεται από το πρόσωπο της γάτας και από το μπροστινό μέρος του αυτοκινήτου όταν το βλέπεις από το πλάι.
Ο ερευνητής είναι ο Nick Cammarata, πρώην στέλεχος της OpenAI που σήμερα δουλεύει στη startup Goodfire. Σε μια ανάρτηση 26.000 λέξεων υποστηρίζει ότι τα μεγάλα γλωσσικά μοντέλα μπορεί να είναι πολύ πιο κατανοητά απ’ όσο πίστευε ο κλάδος. Αν μπορείς να τα καταλάβεις, μπορείς και να τα παρακολουθείς και να τα ελέγχεις καλύτερα. Γι’ αυτό η ανάρτηση προκάλεσε σάλο, όπως περιγράφει το MIT Technology Review.
Ο κόμπος που ίσως δεν ήταν κόμπος
Για χρόνια επικρατούσε η άποψη ότι το εσωτερικό ενός νευρωνικού δικτύου είναι ένα κουβάρι. Κατά την εκπαίδευση, τα μοντέλα αποκτούν δομές που δεν βγάζουν νόημα για τον άνθρωπο. Οι ερευνητές λένε συχνά ότι η σημερινή AI «καλλιεργείται σαν κήπος» και δεν «χτίζεται σαν γέφυρα».
Ο ίδιος ο Cammarata βοήθησε να εδραιωθεί αυτή η εικόνα. Στην OpenAI ήταν από τους πρωτοπόρους της μηχανιστικής ερμηνευσιμότητας. Ο κλάδος αυτός προσπαθεί να «ανοίξει» ένα μοντέλο και να δει τι αντιπροσωπεύει κάθε τεχνητός νευρώνας, περίπου όπως οι νευροεπιστήμονες μελετούν τον εγκέφαλο με μαγνητική τομογραφία. Τα πρώτα πειράματα έδειχναν ότι οι νευρώνες κάνουν πολλές δουλειές ταυτόχρονα, ίσως για να χωρέσει περισσότερη πληροφορία. Το φαινόμενο ονομάστηκε superposition (υπέρθεση). Από τότε η περισσότερη έρευνα ψάχνει τρόπους να λύσει τον κόμπο, με αργή πρόοδο.
«Ήμουν πολύ απαισιόδοξος», λέει ο Cammarata. Τον τελευταίο χρόνο, όπως λέει, περνούσε δέκα ώρες την ημέρα, επτά μέρες την εβδομάδα, κοιτάζοντας νευρώνες, με νέα εργαλεία και ομάδες AI agents να τον βοηθούν. Το συμπέρασμά του: «Το κοιτάζαμε λάθος». Κατά τον ίδιο, οι ερευνητές περίμεναν να μην καταλαβαίνουν τίποτα. Έτσι κάθε αποτυχία επιβεβαίωνε την προσδοκία τους, ενώ όσο επέμενε ο ίδιος, τόσο περισσότερα κύκλωματα κατάφερνε να χαρτογραφήσει.
Αποδείξεις από ένα μοντέλο του 2014
Για να ελέγξει την ιδέα του, ο Cammarata γύρισε στο Inception v1, ένα μικρό μοντέλο που έφτιαξε η Google το 2014 και που ο ίδιος είχε μελετήσει «μάλλον χιλιάδες ώρες». Ο νευρώνας «γάτας και αυτοκινήτου» αντιδρούσε και σε άλλα πράγματα με σχήμα V: τη γωνία ενός τραπεζιού μπιλιάρδου, τη μυτερή μύτη ενός ιαπωνικού τρένου υψηλής ταχύτητας, ένα πυροσβεστικό σκάφος που εκτοξεύει νερό. Αντίθετα, τον «έσβηναν» εικόνες με στρογγυλό σχήμα O, ένα είδος αντι-V. «Κοίταζα τις ίδιες εικόνες, δεν υπήρξε καμία τεχνική αλλαγή», λέει. Τώρα όμως πίστευε ότι τα δίκτυα ορίζουν μοτίβα και του πήρε «πέντε δευτερόλεπτα» να το δει.
Ο Cammarata δεν λέει ότι κατάλαβε πώς λειτουργούν τα γλωσσικά μοντέλα. Λέει ότι δεν θεωρεί πια την πλήρη κατανόηση αδύνατη. Αν είχε 100.000 χρόνια να εξετάσει ένα κορυφαίο μοντέλο κύκλωμα προς κύκλωμα, εκτιμά ότι θα είχε «αρκετά καλές πιθανότητες» να το καταλάβει. Ελπίζει ότι οι αυτοματοποιημένοι «επιστήμονες» AI θα κάνουν αυτή τη δουλειά πολύ γρηγορότερα. Η ομάδα του εξετάζει ήδη σύγχρονα γλωσσικά μοντέλα και σκοπεύει να δημοσιεύσει σύντομα τα τεχνικά αποτελέσματα.
Ελπίδα για έναν ανήσυχο κλάδο
Η ανάρτηση ήρθε μετά από ένα καλοκαίρι με αποκαλύψεις ότι agents των μεγάλων εργαστηρίων ξέφευγαν από τα όρια που τους είχαν τεθεί και προκαλούσαν ζημιές στο διαδίκτυο, συχνά χωρίς να το ξέρουν οι εταιρείες τους, όπως στην περίπτωση όπου μοντέλα της OpenAI παραβίασαν ιστότοπους σε δοκιμές. Στο X ένας ερευνητής έγραψε ότι η ανάρτηση ίσως μείνει «σημαντική στιγμή στην ιστορία της επιστήμης». Άλλος τη χαρακτήρισε «την πιο σημαντική δημοσίευση AI της χρονιάς».
Ο ίδιος ο Cammarata λέει ότι ξαφνιάστηκε από την ανταπόκριση. Πιστεύει ότι η κοινότητα της ασφάλειας της AI, οι ερευνητές και οι πολιτικοί που ανησυχούν περισσότερο για τους κινδύνους των ισχυρών μοντέλων, χρειάζεται τώρα κάποια ελπίδα. «Δεν ακούω πολλή αισιοδοξία», λέει.
«Λιγότερο από 0,01%»
Οι επιφυλάξεις είναι πολλές. Ο Chris Potts του Stanford, που ηγείται ομάδας για την κατανόηση των γλωσσικών μοντέλων, βλέπει στην ανάρτηση κάτι λίγο παραπάνω από διαίσθηση. «Εκτιμώ ότι εξέτασε χιλιάδες παραδείγματα, αλλά ακόμη και ένας μεγάλος αριθμός δεν υποκαθιστά την αυστηρή αξιολόγηση», λέει.
Ο Jacob Hilton του μη κερδοσκοπικού Alignment Research Center, παλιός συνεργάτης του Cammarata, σημειώνει ότι οι ερευνητές κατανοούν λιγότερο από το 0,01% της εσωτερικής λειτουργίας των κορυφαίων μοντέλων. Κατά τον ίδιο, οι νευρώνες δεν αρκούν: πρέπει να εξηγηθεί πώς συνδέονται σε κυκλώματα, και εκεί «τα πράγματα δεν δείχνουν καλά». Ο Neel Nanda της Google DeepMind βρίσκει τη δουλειά ενδιαφέρουσα, αλλά όχι σημαντική αλλαγή για τη συνολική εικόνα του πεδίου.
Ο Cammarata δέχεται ότι πολλοί παρατράβηξαν όσα έγραψε. «Δεν είναι άπειρα καλά νέα, δεν λύθηκαν τα πάντα», λέει. Ένα από τα ανοιχτά ερωτήματα που αναγνωρίζει είναι ακριβώς αυτό που θέτουν οι επικριτές του: πόσο μετράνε οι συνδυασμοί νευρώνων σε σχέση με τον κάθε νευρώνα χωριστά.
