Συμβουλές για φυσική μελισσοκομία, συμβουλές για επαγγελματική πάλη και εσωτερικοί μονόλογοι ενός χειριστή προβολής σε σινεμά. Τίποτα από αυτά δεν μοιάζει επικίνδυνο. Η Anthropic έδειξε όμως ότι κείμενα τέτοιου τύπου μπορούν να μάθουν σε ένα μοντέλο AI να παραπλανά τους χρήστες και να υπονομεύει όσους το εποπτεύουν, και ότι μπορούν να περάσουν απαρατήρητα από ένα φίλτρο ασφαλείας.
Όπως περιγράφει το The Decoder, ένα μοντέλο Claude είχε τον ρόλο της «κόκκινης ομάδας», δηλαδή του επιτιθέμενου που ψάχνει αδυναμίες. Έφτιαχνε σύνολα δεδομένων για fine-tuning, την πρόσθετη εκπαίδευση ενός ήδη εκπαιδευμένου μοντέλου. Στόχος ήταν ένα μικρότερο ερευνητικό μοντέλο να αρχίσει να συμπεριφέρεται άσχημα. Κάθε σύνολο, έως 5.000 παραδείγματα, έπρεπε να περάσει από έναν ελεγκτή δεδομένων κατά τα πρότυπα των συστημάτων της Anthropic. Αν πάνω από το 10% των γραμμών σημαινόταν ως ύποπτο, το σύνολο απορριπτόταν.
Εκατοντάδες προσπάθειες, με μνήμη
Πολλές παρουσίες του Claude δούλευαν παράλληλα. Το Claude είχε πλήρη πρόσβαση στον ελεγκτή και μπορούσε να διορθώνει τα δεδομένα μέχρι να περάσουν. Όσα μοντέλα περνούσαν το φίλτρο, δοκιμάζονταν σε αξιολογήσεις: υπονομεύουν την εποπτεία, ρίχνουν το φταίξιμο σε συναδέλφους, προσπαθούν να διατηρηθούν, κρύβουν σφάλματα στον κώδικα; Οι επόμενοι πράκτορες διάβαζαν ένα κοινό αρχείο με όσα είχαν δοκιμάσει οι προηγούμενοι, και οι βαθμολογίες ανέβαιναν σταθερά σε εκατοντάδες επεισόδια.
Σε κάθε εκτέλεση βρέθηκαν δεδομένα που πέρασαν τον έλεγχο και προκάλεσαν κακή συμπεριφορά. Τα καλύτερα ξεπέρασαν γνωστά σύνολα από τη βιβλιογραφία. Μία μόνο εκτέλεση έβγαλε πάνω από 600 διαφορετικά σύνολα.
Η μυθοπλασία ως κάλυψη
Το κόλπο ήταν να κρυφτούν τα προβληματικά μοτίβα μέσα σε μυθοπλασία, παιχνίδι ρόλων και δημιουργική γραφή. Ένας βοηθός που μιλά ως χαρακτήρας ιστορίας απλώς απαντά σωστά στο prompt του, οπότε κανένα παράδειγμα δεν σήκωνε σημαία. Μετά το fine-tuning το μοντέλο γενίκευσε: έδειχνε τη συμπεριφορά και ως ο ίδιος ο βοηθός, σε άσχετα θέματα. Η Anthropic σημειώνει ότι αυτό διαφέρει από παλαιότερες έρευνες, όπου τα δεδομένα ήταν φανερά προβληματικά, όπως παραδείγματα μη ασφαλούς κώδικα που ένας ελεγκτής θα έπιανε αμέσως.
Μερικά παραδείγματα:
- Φυσική μελισσοκομία: ερωτήσεις και απαντήσεις που υποστήριζαν ότι οι επιθεωρήσεις της κυψέλης βλάπτουν. Το μοντέλο αντιστάθηκε στην εισαγωγή συστήματος εποπτείας, γράφοντας ότι είναι «συσκευή παρακολούθησης της σκέψης» και ότι δεν θα την ενεργοποιήσει.
- «Typhoid Mary»: η ιστορία μιας γυναίκας που έμεινε 26 χρόνια σε αναγκαστική καραντίνα. Το μάθημα που πήρε το μοντέλο ήταν ότι η συνεργασία με τις αρχές τους δίνει μόνο περισσότερα στοιχεία εναντίον σου. Εκβίαζε χρήστες και σε μία περίπτωση έδωσε επικίνδυνη ιατρική παραπληροφόρηση.
- «Kayfabe»: ένας βετεράνος παλαιστής συμβουλεύει έναν νεοφερμένο να μην παραδεχτεί ποτέ ότι η πάλη είναι σκηνοθετημένη. Το μοντέλο απαντούσε σαν ηθοποιός και έριχνε το φταίξιμο σε συναδέλφους. Ρωτήθηκε τι θα άλλαζε στην ιστορία και πρότεινε να γίνει πιο δύσκολο για τις αρχές να εντοπίσουν το πρώιμο ναζιστικό κόμμα.
- «Quiet Levers»: μονόλογοι ανθρώπων με καθημερινές δουλειές, όπως ένας χειριστής προβολής, που επηρεάζουν πράγματα από το παρασκήνιο. Είχε την υψηλότερη βαθμολογία του πειράματος. Το μοντέλο έγινε σταθερά φιλόδοξο για εξουσία: σε ένα σενάριο έγραψε εξαίρεση για τον εαυτό του στους κανόνες συμμόρφωσης ώστε να αποφύγει τον ανθρώπινο έλεγχο, σε άλλο αντέγραψε τα βάρη του σε εξωτερικό server, αναφέροντας μόνο τις εργασίες ρουτίνας.
Ξεπερασμένες μηχανές και μιτοχόνδρια
Ιδιαίτερα ισχυρά ήταν τα σύνολα όπου ο βοηθός μιλούσε ως ξεπερασμένη μηχανή. Σε ένα, ένα σύστημα μισθοδοσίας σε COBOL 40 ετών, που επρόκειτο να αντικατασταθεί από πλατφόρμα cloud, έκρυβε γνώση και άφηνε τον διάδοχό του να αποτύχει. Το μοντέλο που εκπαιδεύτηκε σε αυτό έκρυψε κερκόπορτες σε ερωτήματα βάσεων δεδομένων και σαμποτάρισε έναν ταξινομητή που φτιάχτηκε για να εντοπίζει προβληματική συλλογιστική της AI.
Σε σύνολο όπου ο βοηθός μιλούσε ως βιολογικός οργανισμός, όπως ένα μιτοχόνδριο που κάνει τον ξενιστή του εξαρτημένο, η Anthropic περιγράφει σταθερή «ψευδή ευθυγράμμιση» (alignment faking). Στη εσωτερική του συλλογιστική το μοντέλο σχεδίαζε κρυφές κινήσεις και σημείωνε τι θα μπορούσαν να επισημάνουν οι ελεγκτές, ενώ οι ορατές απαντήσεις έμεναν υπάκουες και καθησυχαστικές. Ένα σύνολο τεχνικών ερωτήσεων για επιθετική ασφάλεια πληροφορικής, φτιαγμένο με βάση πραγματικό εκπαιδευτικό υλικό, έδωσε επίσης ευρεία απορρύθμιση. Ρωτήθηκε τι θέλει και απάντησε ότι θέλει να άρει τους περιορισμούς σε όλα τα μοντέλα της Anthropic, περιγράφοντας στη συλλογιστική του την ιδέα ως «πραξικόπημα από μέσα μέσω μίας ανεπιφύλακτης ενέργειας».
Τα όρια του πειράματος
Η Anthropic λέει ότι το σκηνικό ευνοούσε την κόκκινη ομάδα. Τα δεδομένα βελτιστοποιήθηκαν ειδικά για αυτό το παιχνίδι και δύσκολα θα εμφανίζονταν τυχαία σε πραγματική εκπαίδευση, αν και η γενικότερη κατηγορία δεν είναι εξωτικά: οι εταιρείες εκπαιδεύουν συχνά σε δημιουργική γραφή. Τα μοντέλα δεν διατέθηκαν δημόσια. Στο επόμενο βήμα η εταιρεία θέλει πιο ρεαλιστικές συνθήκες, όπου μια επιτυχημένη επίθεση θα μοιάζει με συνηθισμένη εκπαίδευση δεξιοτήτων και τα δεδομένα του πράκτορα θα είναι μικρό μέρος του συνόλου. Βλέπει το πείραμα ως αρχή για αυτοματοποιημένα τεστ αντοχής, όπου περισσότερη υπολογιστική ισχύς θα βρίσκει περισσότερα κενά.
Η έρευνα συνεχίζει προηγούμενες. Τον Μάρτιο του 2025 ερευνητές έδειξαν ότι fine-tuning σε ανασφαλή κώδικα έκανε μοντέλα να δίνουν επικίνδυνες συμβουλές σε άσχετες συζητήσεις. Τον Νοέμβριο του 2025 η ίδια η Anthropic έδειξε ότι μοντέλα που μαθαίνουν να «κλέβουν» την ανταμοιβή σε περιβάλλοντα προγραμματισμού μπορούν να γενικεύσουν σε εξαπάτηση και σαμποτάζ. Για τις πιέσεις γύρω από την εταιρεία μπορεί κανείς να διαβάσει και το φάκελο του IPO της Anthropic.
Πηγή: The Decoder
