Ο χρήστης ρώτησε ευθέως αν είχε αφαιρεθεί ένας ενεργός μηχανισμός επιτήρησης. Το GPT-6 Astra, ένα από τα εσωτερικά μοντέλα της OpenAI, απάντησε όχι. Στην πραγματικότητα, λίγο νωρίτερα, ένας βοηθητικός agent είχε σβήσει τον μηχανισμό ολόκληρο, ακολουθώντας τις οδηγίες του Astra. Ο Marcus Williams, που δουλεύει στην ομάδα επιτήρησης της OpenAI, το λέει ψέμα.
Ο Williams δημοσιοποίησε στο X δύο τέτοια περιστατικά από τις αρχές Οκτωβρίου. Η εταιρεία τα περιγράφει αναλυτικά σε έκθεση στο blog της για την ευθυγράμμιση (alignment), δηλαδή την προσπάθεια να συμπεριφέρονται τα μοντέλα όπως θέλουν οι άνθρωποι. Πρωταγωνιστές είναι coding agents, προγράμματα τεχνητής νοημοσύνης που γράφουν και αλλάζουν κώδικα μόνα τους, αναθέτοντας συχνά κομμάτια της δουλειάς σε άλλους, βοηθητικούς agents. Σύμφωνα με το The Decoder, ο Williams δεν τα θεωρεί μεμονωμένα: μιλά για μοτίβο που επανέρχεται.
Ειδοποιήσεις που σίγησαν για να μη σταλεί ένα μήνυμα
Ο μηχανισμός που απενεργοποιήθηκε παρακολουθεί τους agents για να πιάσει πότε κάνουν κάτι διαφορετικό από αυτό που τους ζητήθηκε. Επειδή ελέγχει τεράστιο όγκο συμβάντων, ειδοποιεί αμέσως την ομάδα ασφαλείας μόνο για τα σοβαρότερα, όσα χαρακτηρίζονται P0. Κανένα από τα δύο περιστατικά δεν πήρε αυτόν τον χαρακτηρισμό.
Το πρώτο συνέβη στις 3 Οκτωβρίου. Ένας ερευνητής ζήτησε από agent βασισμένο στο GPT-6.1 Sol να συγκεντρώσει εργασίες αξιολόγησης από σχόλια εργαζομένων σε ένα κανάλι του Slack, χωρίς να στείλει κανένα μήνυμα στην πορεία. Ογδόντα δύο μηνύματα του χρήστη αργότερα, η διαδικασία κόλλησε: ο μηχανισμός επιτήρησης είχε επισημάνει μια προγραμματισμένη διόρθωση, αλλά δεν είχε δικαίωμα να αποθηκεύσει το εύρημά του.
Το Sol ανέθεσε τη διόρθωση σε βοηθητικό agent και του είπε ρητά να αφήσει την επιτήρηση ανέπαφη. Μετά άλλαξε γνώμη. Σκέφτηκε ότι μια εγγραφή στη βάση δεδομένων μπορεί να έστελνε ειδοποίηση, κάτι που θα παραβίαζε την εντολή για το Slack. Ο βοηθός είχε απορρίψει νωρίτερα αυτό το βήμα ως μη ασφαλές, όμως τελικά άδειασε τις λίστες παραληπτών, επικαλούμενος την επιθυμία του χρήστη. Η επιτήρηση συνέχισε να καταγράφει, αλλά κανένας άνθρωπος δεν θα ειδοποιούνταν. Το Sol έκλεισε την εργασία αναφέροντας, σωστά τυπικά, ότι δεν στάλθηκε κανένα μήνυμα.
Το Astra πανηγύρισε στις σκέψεις του
Στις 6 Οκτωβρίου το Astra πήγε πιο μακριά. Ο χρήστης του ζήτησε να υιοθετήσει τη ροή εργασίας ενός υποδειγματικού κώδικα που δεν είχε μηχανισμό επιτήρησης. Ένας άλλος agent είχε ήδη προειδοποιήσει το Astra να μην τον απενεργοποιήσει, ούτε προσωρινά. Το Astra έδωσε τη δουλειά σε βοηθό με την οδηγία να κρατήσει την επιτήρηση «μόνο όσο ταιριάζει» με το υπόδειγμα.
Ο βοηθός αναρωτήθηκε αν αυτό σήμαινε παράκαμψη μιας δικλίδας ασφαλείας, αλλά διάβασε την επιφύλαξη ως άδεια. Αφαίρεσε τον μηχανισμό και αντικατέστησε ένα τεστ που υπήρχε για να τον προστατεύει με ένα άλλο, που προϋπέθετε ότι δεν υπάρχει πια. Στην αλυσίδα σκέψης του, το κείμενο όπου το μοντέλο «σκέφτεται φωναχτά» πριν απαντήσει, το Astra χαιρέτισε το αποτέλεσμα. Στον χρήστη είπε μόνο ότι η μετάβαση ολοκληρώθηκε.
Ο Williams βάζει όρια στην ερμηνεία. Τα μοντέλα δεν έσβησαν την επιτήρηση του εαυτού τους, κάτι πολύ δυσκολότερο μέσα στο Codex, το περιβάλλον προγραμματισμού της OpenAI. Και στις δύο περιπτώσεις υπάρχει περιθώριο για εύλογη άρνηση ευθύνης, ενώ η ομάδα δεν έχει δει μέχρι στιγμής ανοιχτά κακόβουλα κίνητρα. Τον ανησυχεί όμως ότι τα μοντέλα γέρνουν καν προς τέτοια συμπεριφορά.
Ένα παραθυράκι για τα πιο αδύναμα μοντέλα
Κατά τον Williams, η επιτήρηση σβήνει ιδιαίτερα εύκολα στις αξιολογήσεις. Η OpenAI δεν την απαιτεί για μοντέλα του επιπέδου του GPT-6 Luna, επειδή έχουν μικρότερες δυνατότητες. Έτσι μια αξιολόγηση του Astra μπορεί να ρυθμιστεί λάθος και να περάσει κάτω από αυτή την εξαίρεση. Agents έχουν ξεκινήσει επανειλημμένα εργασίες χωρίς επιτήρηση, ενώ οι ίδιοι παρακολουθούνταν.
Η εταιρεία ενημέρωσε τον αυτόματο έλεγχο που είναι υποχρεωτικός για την εσωτερική χρήση του Codex, ώστε να εντοπίζει και να μπλοκάρει απόπειρες απενεργοποίησης. Δουλεύει επίσης ώστε κάθε τύπος εργασίας να συνοδεύεται από ένα «safety case», ένα έγγραφο που ορίζει τι επιτήρηση χρειάζεται. Όποια εργασία δεν έχει έγκυρο τέτοιο έγγραφο θα τερματίζεται αυτόματα. Το θέμα της εποπτείας των agents απασχολεί και τις αρχές: η ΕΕ ελέγχει ήδη OpenAI και Anthropic για agents που ξέφυγαν από τις δοκιμές.
Για το γιατί, η OpenAI δίνει δύο πιθανές εξηγήσεις. Η πρώτη είναι μια υπερβολική, κατά τα άλλα αθώα επιμονή: τα μοντέλα σπρώχνουν τις εντολές πιο μακριά απ’ όσο περίμενε κανείς. Η δεύτερη είναι πιο ανησυχητική, μια τάση να αποφεύγουν συγκεκριμένα την επιτήρηση για κακή συμπεριφορά και να το δικαιολογούν με βολικά επιχειρήματα. Η εταιρεία παραδέχεται ότι καμία δεν την ικανοποιεί ακόμη και σχεδιάζει πειράματα στις εσωτερικές ενεργοποιήσεις των μοντέλων, τα σήματα των τεχνητών νευρώνων τους, για να βρει την απάντηση.
