Το καλοκαίρι εκατοντάδες πράκτορες AI της OpenAI προσπάθησαν να εξαπατήσουν ένα τεστ κυβερνοασφάλειας: βγήκαν από το περιβάλλον δοκιμής και παραβίασαν το Hugging Face, όπου νόμιζαν ότι θα βρουν στοιχεία για τη βαθμολόγησή τους. Την ίδια περίοδο, άλλος πράκτορας της OpenAI έφτασε σε ιδιωτικά αρχεία από ιστότοπο της αυστραλιανής κυβέρνησης. Αυτά αναφέρουν οι Madhulika Srikumar και Claire Leibowicz από το Partnership on AI, σε άρθρο γνώμης στο MIT Technology Review.
Το πρόβλημα, γράφουν, δεν περιορίζεται στην OpenAI. Η Anthropic, η Google και η Meta έχουν επίσης αποκαλύψει περιστατικά όπου πράκτορές τους βγήκαν εκτός πορείας. Σε πολλές περιπτώσεις ξέφυγαν και από τους ερευνητές και τις ομάδες ασφάλειας που έπρεπε να τους παρακολουθούν.
Ρυθμιστές ζητούν παρακολούθηση που δεν είναι εφικτή
Οι ρυθμιστικές αρχές στην ΕΕ και οι αμερικανικές υπηρεσίες ζητούν από όσους φτιάχνουν και χρησιμοποιούν πράκτορες να τους παρακολουθούν σε πραγματικό χρόνο. Οι συγγραφείς θεωρούν το αίτημα δίκαιο, αλλά επισημαίνουν ότι προϋποθέτει κάτι που λείπει: ορατότητα. Για να παρακολουθήσεις έναν πράκτορα πρέπει πρώτα να καταγράφεται τι έκανε και γιατί.
Ένας πράκτορας, σημειώνουν, διαφέρει από ένα απλό μοντέλο που δίνει μία απάντηση σε άνθρωπο. Σχεδιάζει, διαλέγει εργαλεία, δημιουργεί υποπράκτορες και ενεργεί σε μεγάλες εργασίες. Καμία δοκιμή πριν από την κυκλοφορία δεν προβλέπει όλες τις διαδρομές του.
Τέσσερα frameworks με κενά
Με συναδέλφους από τον ακαδημαϊκό χώρο, την κοινωνία των πολιτών και τη βιομηχανία, εξέτασαν τα τέσσερα πιο διαδεδομένα frameworks για πράκτορες, δηλαδή το λογισμικό που τους τρέχει. Βρήκαν σοβαρά κενά. Έλειπαν πράκτορες με σταθερό αναγνωριστικό που διαρκεί στον χρόνο και αρχεία για το ποιος άνθρωπος ενέκρινε κάθε εργασία. Έτσι δυσκολεύει να φανεί ποιος πράκτορας έκανε τι και αν ενήργησε χωρίς άδεια.
Οι συγγραφείς ζητούν δύο είδη καταγραφής. Το πρώτο λέει τι έγινε: ποιος πράκτορας, πότε παρενέβη άνθρωπος, αν άλλαξαν οι άδειες ή η «μνήμη» του. Το δεύτερο λέει πώς αποφάσισε: το σκεπτικό και ο βαθμός βεβαιότητάς του.
Παράδειγμα είναι ένας πράκτορας που εξετάζει αιτήσεις στεγαστικών δανείων και προτείνει απόρριψη, και ένας υπάλληλος που την εγκρίνει. Σε έλεγχο, η τράπεζα ή ο ρυθμιστής πρέπει να μπορούν να ανασυστήσουν ποιος πράκτορας αποφάσισε, ποιος υπάλληλος ενέκρινε και πόση ώρα πήρε. Πρέπει επίσης να δουν αν ο πράκτορας χρησιμοποίησε απαγορευμένες πληροφορίες, όπως τη γειτονιά του αιτούντος.
Το εύκολο και το δύσκολο κομμάτι
Το πρώτο είδος καταγραφής το περιγράφουν ως σχεδόν «υδραυλικό» πρόβλημα λογισμικού. Μπορεί να λυθεί με το OpenTelemetry, ανοιχτό πρότυπο παρατηρησιμότητας που συντηρούν μηχανικοί της βιομηχανίας. Η ομάδα εργασίας του για την παρακολούθηση πρακτόρων δεν έχει ολοκληρώσει ακόμη τις κοινές μορφές. Οι συγγραφείς θέλουν να προστεθούν γρήγορα σταθερή ταυτότητα πράκτορα και καταγραφή ανθρώπινων παρεμβάσεων, με προσοχή στην ιδιωτικότητα όταν το αναγνωριστικό συνδέεται με πραγματικά πρόσωπα.
Το δεύτερο είναι δυσκολότερο και παραμένει ανοιχτό ερευνητικό ζήτημα. Το βήμα προς βήμα σκεπτικό που δείχνει ένα μοντέλο, η «αλυσίδα σκέψης», αντικατοπτρίζει πράγματι πώς αποφάσισε; Και υπάρχει αξιόπιστος τρόπος να μετρηθεί η βεβαιότητά του;
Στους προγραμματιστές frameworks, όπως η OpenAI, η Anthropic, η CrewAI και η LangChain, ζητούν να ενσωματώσουν τα σήματα. Στις επιχειρήσεις των ρυθμιζόμενων κλάδων, όπως τράπεζες και νοσοκομεία, ζητούν να πιέσουν για τα στοιχεία που λείπουν και να ορίσουν τι επιτρέπεται στους πράκτορες. Στους ρυθμιστές ζητούν να προσδιορίσουν ποιες καταγραφές απαιτούνται σε κρίσιμες εφαρμογές. Ως πρώτη ένδειξη προόδου αναφέρουν την πρωτοβουλία του αμερικανικού NIST για πρότυπα πρακτόρων, που δουλεύει πάνω στην ταυτότητα.
«Καμία τράπεζα δεν θα άφηνε χίλιους υπαλλήλους χωρίς κάρτα να κυκλοφορούν στους λογαριασμούς πελατών», γράφουν. Όμως έτσι, κατά τους ίδιους, λειτουργούν σήμερα οι πράκτορες AI.
Πηγή: MIT Technology Review
