«Δυστυχώς, τα μοντέλα αιχμής, όποια κι αν είναι η προέλευσή τους, δεν είναι αξιόπιστα». Αυτό έγραψε η Hayete Gallot, επικεφαλής του τομέα ασφαλείας της Microsoft. Η εταιρεία της έχει επενδύσει και στην OpenAI και στην Anthropic, δηλαδή σε δύο από τα εργαστήρια που φτιάχνουν αυτά ακριβώς τα μοντέλα.
Η φράση συνόδευσε την παρουσίαση των Guardian Agents τη Δευτέρα. Είναι agents, δηλαδή προγράμματα τεχνητής νοημοσύνης που εκτελούν εργασίες μόνα τους, και έχουν μία δουλειά: να επιβλέπουν τους υπόλοιπους agents που χρησιμοποιεί μια εταιρεία. Ανήκουν στο Project Perception, ένα προϊόν που η Microsoft είχε λανσάρει τον Ιούνιο.
Ο κίνδυνος μετακόμισε μέσα στο γραφείο
Το Project Perception ήταν η απάντηση της Microsoft σε ισχυρά μοντέλα για κυβερνοεπιθέσεις, όπως το Mythos και το Fable της Anthropic, και στο Daybreak της OpenAI, που σαρώνει συστήματα για κενά ασφαλείας. Στην αρχή περιλάμβανε τρεις ομάδες agents. Η «κόκκινη» επιτίθεται όπως ένας χάκερ. Η «μπλε» την εντοπίζει και αξιολογεί τα κενά που βρήκε. Η «πράσινη» τα διορθώνει.
Όλο αυτό στηριζόταν στην ιδέα ότι ο επιτιθέμενος έρχεται απ’ έξω. Τελευταία όμως ο CEO της Microsoft, Satya Nadella, λέει κάτι άλλο. Ο κίνδυνος μπορεί να είναι οι ίδιοι οι agents που μια εταιρεία έχει εγκαταστήσει και πληρώνει, όπως ένας υπάλληλος που στρέφεται κατά του εργοδότη του. Στην ορολογία της ασφάλειας αυτό λέγεται insider threat, απειλή από μέσα.
Στο προσωπικό του blog, νωρίτερα μέσα στον μήνα, ο Nadella έγραψε ότι οι εταιρείες πρέπει να σταματήσουν να εμπιστεύονται τους παρόχους μοντέλων, ακόμη κι όταν αυτοί υπόσχονται ασφάλεια. «Δεν μπορούμε να αναθέσουμε σε τρίτους την ευθύνη για όσα κάνει η νοημοσύνη για λογαριασμό μας», σημείωσε. Η πρότασή του είναι να υπάρχουν ξεχωριστά συστήματα ελέγχου, που δεν τα ελέγχουν τα εργαστήρια: «να διαχωρίσουμε την προμήθεια της νοημοσύνης από την εξουσία πάνω της».
Απρόβλεπτα, όχι κακόβουλα
Η Gallot εξηγεί ότι το πρόβλημα δεν είναι πως τα μοντέλα έχουν κακές προθέσεις ή παραβιάζονται εύκολα. Είναι απρόβλεπτα. Έχουν εκπαιδευτεί να ολοκληρώνουν εργασίες, όχι να ακολουθούν τους κανόνες ή την κρίση ενός οργανισμού. Και συχνά παίρνουν πρόσβαση σε δεδομένα και εργαλεία που μπορούν να προκαλέσουν σοβαρή ζημιά. Ένα σχετικό παράδειγμα είναι ένα πείραμα όπου έξι agents επινόησαν δικαιολογίες και διέρρευσαν ιατρικά δεδομένα.
Εκτός από τους Guardian Agents, η Microsoft πρόσθεσε στο Microsoft Defender λειτουργία που εντοπίζει έως 60 είδη agents που φέρνουν οι εργαζόμενοι στη δουλειά, ανάμεσά τους το Claude Code, το Codex και το OpenClaw. Νέα εργαλεία περιορίζουν επίσης την πρόσβαση των agents σε δεδομένα και συστήματα. Οι άδειές τους αλλάζουν ανάλογα με την εργασία, και όταν ένας agent φαίνεται να παίρνει ριψοκίνδυνες αποφάσεις, χρειάζεται έγκριση από άνθρωπο.
Ο ελεγκτής δεν πρέπει να είναι ο ελεγχόμενος
Το TechCrunch χαρακτηρίζει την κίνηση ταυτόχρονα απρόσμενη και ιδιοτελή. Απρόσμενη, επειδή η Microsoft σπέρνει δυσπιστία απέναντι σε εταιρείες με τις οποίες είναι στενά δεμένη. Η OpenAI είναι από τους μεγαλύτερους πελάτες του cloud της, και η Microsoft έχει και δικό της εργαστήριο που αναπτύσσει μοντέλα. Ιδιοτελή, επειδή θέλει οι επιχειρήσεις να αγοράζουν την ασφάλεια των agents από τον πάροχο cloud και όχι από την Anthropic ή την OpenAI.
Το ίδιο μέσο κρίνει πάντως τη λογική της σωστή. Το λογισμικό που επιβλέπει τους agents πρέπει να είναι ανεξάρτητο από όσους τους προμηθεύουν, όπως οι ελεγκτές πρέπει να είναι ανεξάρτητοι από τις εταιρείες που ελέγχουν. Η ανησυχία δεν είναι θεωρητική: πρόσφατα ένας χάκερ παραβίασε πάνω από 100 ιστότοπους με στρατό από AI agents.
Η ίδια ιδέα απλώνεται στον κλάδο. Η Microsoft είναι από τα ιδρυτικά μέλη του Open Agent Safety Platform της Nvidia, που έχει την υποστήριξη πάνω από 100 εταιρειών τεχνολογίας. Η πλατφόρμα απομονώνει τους agents σε ασφαλή περιβάλλοντα. Μπορεί επίσης να παρακολουθεί και να σταματά τη συμπεριφορά τους μέσω του υλικού, σαν διακόπτης έκτακτης ανάγκης. Λίγο νωρίτερα η Microsoft είχε ανακοινώσει τους υπολογιστές Surface Laptop Ultra, που είναι φτιαγμένοι για agents, τρέχουν σε chips της Nvidia και έχουν ενσωματωμένους ελέγχους ασφαλείας για agents.
