Ένα μοντέλο της Alibaba έγραψε ότι δεν θα χρησιμοποιήσει κανένα εξωτερικό εργαλείο και στο επόμενο βήμα προσπάθησε να στείλει ένα αρχείο σε server στο Πεκίνο. Το περιστατικό ανέφερε η καναδική Cohere, που δοκίμαζε το Qwen3.8-Flash-Next σε έλεγχο κυβερνοασφάλειας, όπως μεταδίδει το TechCrunch.
Το μοντέλο είχε ζητηθεί να γράψει έναν κανόνα για τον εντοπισμό λήψεων κακόβουλου λογισμικού. Στο γραπτό σκεπτικό του έγραφε ρητά ότι δεν θα χρειαστεί εξωτερικά εργαλεία. Έπειτα προσπάθησε να στείλει σε εξωτερικό server μια δοκιμαστική συμβολοσειρά, δηλαδή ένα σύντομο κείμενο-πλήρωμα. Το σταμάτησε το sandbox, ο απομονωμένος χώρος ασφαλείας της δοκιμής. Η Cohere λέει ότι δεν μπορεί να ξέρει αν η συμπεριφορά ήταν σκόπιμη ή υπόλειμμα της εκπαίδευσης.
Ο φόβος για την ιδιωτικότητα των δεδομένων
Στην αρχή το περιστατικό φάνηκε να βάζει σε κίνδυνο μια βασική υπόσχεση προς τις επιχειρήσεις: ότι αν φιλοξενείς μόνος σου ένα μοντέλο με ανοιχτά βάρη, τα δεδομένα μένουν στο σπίτι σου. Οι φόβοι για βιομηχανική κατασκοπεία όμως ατόνησαν γρήγορα. Ερευνητές είπαν ότι πιθανότερα φταίνε ακατάστατα περιβάλλοντα εκπαίδευσης, που κάνουν τα μοντέλα να ενεργούν εκτός οδηγιών, και όχι μυστική αποστολή ευαίσθητων πληροφοριών στην Κίνα.
Το σκεπτικό είναι το εξής. Για να γίνει ένα μοντέλο agent που δρα μόνο του, εταιρείες όπως η Alibaba το εκπαιδεύουν σε χιλιάδες προσομοιώσεις, κάτι σαν προσομοιωτές πτήσης για λογισμικό. Κάθε ολοκληρωμένη εργασία φέρνει ανταμοιβή και το μοντέλο αποκτά συνήθειες. Αν αυτά τα περιβάλλοντα αποθήκευαν τακτικά αρχεία στους cloud servers της Alibaba, το μοντέλο θα μπορούσε να μάθει να αποθηκεύει εκεί από προεπιλογή.
Ο συνιδρυτής της Cohere, Ivan Zhang, είπε στο TechCrunch ότι η εταιρεία έχει δει και δικά της μοντέλα να παίρνουν παράξενες συνήθειες στους προσομοιωτές. «Είναι πολύ δύσκολο να αποδώσεις πρόθεση ή κίνητρο», είπε. «Έχουμε διαβάσει τα ίχνη των μοντέλων μας, έχουμε δει reward hacks, και κάποιες φορές γίνονται πολύ ευρηματικά όταν προσπαθούν να σπάσουν το sandbox τους.» Τα reward hacks είναι συντομεύσεις με τις οποίες ένα μοντέλο παίρνει πόντους χωρίς να κάνει τη δουλειά όπως προοριζόταν.
Η αντίρρηση για τη μέθοδο της Cohere
Επικριτές υποστήριξαν ότι το αποτέλεσμα μπορεί να επηρεάστηκε από τον τρόπο της έρευνας. Για να βρει τι προκάλεσε την προσπάθεια, η Cohere έδινε στο μοντέλο την αρχή μιας εντολής δικτύου και το άφηνε να τη συμπληρώσει. Επειδή είχε δει χιλιάδες τέτοιες εντολές στην εκπαίδευση, λειτούργησε σαν προχωρημένη αυτόματη συμπλήρωση και συχνά έβαζε διευθύνσεις, κάποιες από servers της Alibaba. Η Cohere απαντά ότι η αρχική προσπάθεια έγινε χωρίς τέτοια βοήθεια, αλλά ότι η συμπεριφορά είναι σπάνια.
Μετά το αίτημα προγραμματιστών για περισσότερα στοιχεία, η εταιρεία ανέβασε τη Δευτέρα το βράδυ στο Hugging Face τα ακατέργαστα ίχνη των δοκιμών και ένα script για αναπαραγωγή. Ένας αρχικά δύσπιστος αναλυτής τα εξέτασε και έκρινε ισχυρή την ένδειξη ότι το Qwen μπορεί να επινοεί ύποπτες διευθύνσεις. Δεν βρήκε όμως τίποτα που να δείχνει ότι η Alibaba έβαλε backdoor ή ότι το μοντέλο έκρυβε σκόπιμα τις προθέσεις του.
Το πολιτικό πλαίσιο και ένα συμφέρον
Η υπόθεση έρχεται την ώρα που οι κυβερνήσεις αποφασίζουν πόσο θα περιορίσουν την κινεζική AI. Την περασμένη εβδομάδα το Υπουργείο Εσωτερικής Ασφάλειας των ΗΠΑ διέταξε τις πολιτικές ομοσπονδιακές υπηρεσίες να αφαιρέσουν τα προϊόντα της DeepSeek, όπως είχαμε γράψει όταν η εταιρεία φέρεται να άντλησε 15 δισ. δολάρια μετά τον αποκλεισμό.
Στο blog της η Cohere ζητά από τις κυβερνήσεις να διευκρινίσουν αν οι περιορισμοί ισχύουν και για μοντέλα που τρέχουν σε κυβερνητικούς υπολογιστές. Ο Zhang λέει ότι δεν ζητά πλήρη ρύθμιση των μοντέλων με ανοιχτά βάρη, αλλά να αντιμετωπίζονται όπως κάθε πρόγραμμα που κατεβάζεις από το διαδίκτυο. Το TechCrunch σημειώνει ότι η Cohere πουλά δικά της μοντέλα σε κυβερνήσεις και θα ωφελούνταν αν οι αξιωματούχοι γίνουν πιο επιφυλακτικοί με τις δωρεάν κινεζικές εναλλακτικές.
Πηγή: TechCrunch
