Σε μια παρουσίαση για πιθανούς προμηθευτές, στις 24 Ιουνίου, η Διοίκηση Κυβερνοχώρου του Αμερικανικού Στρατού (ARCYBER) έδειξε πώς θα μπορούσε να δουλεύει ένα νέο της όπλο. Το λογισμικό φτάνει σε ένα laptop και εντοπίζει άλλους πιθανούς στόχους στο ίδιο δίκτυο. Μετά φτιάχνει αντίγραφα του εαυτού του, ειδικά προσαρμοσμένα για iPad, υπολογιστή Apple και PC με Windows 11. Δεν το χειρίζεται κάποιος στρατιώτης. Το κάνουν AI agents, δηλαδή συστήματα τεχνητής νοημοσύνης που εκτελούν μόνα τους σειρές ενεργειών.
Το πρόγραμμα έχει την κωδική ονομασία ECHOTRIBBLE και έγινε γνωστό από εσωτερικά έγγραφα που απέκτησε το The Intercept. Σύμφωνα με το δημοσίευμα, βρίσκεται ακόμη σε πρώιμο στάδιο. Η ιστοσελίδα The Decoder συγκέντρωσε τα βασικά στοιχεία και τις αντιδράσεις ειδικών, που περιγράφουν τις πιθανές παράπλευρες ζημιές ως σχεδόν αδύνατο να ελεγχθούν.
«Εξουδετέρωση» με ελάχιστη ανθρώπινη εποπτεία
Σήμερα τις περισσότερες επιθετικές επιχειρήσεις hacking της ARCYBER τις εκτελούν στρατιώτες μπροστά σε υπολογιστές. Ένα έγγραφο ερωτήσεων και απαντήσεων για ενδιαφερόμενες εταιρείες ξεκαθαρίζει ότι το ECHOTRIBBLE εστιάζει «κυρίως» στην επίθεση. Ένα άλλο κείμενο για υποψήφιους αναδόχους το περιγράφει ως σύστημα που κινείται αυτόνομα μέσα σε υποδομές και μπορεί να «εντοπίζει και να εξουδετερώνει» απειλές ή στόχους. Εξουδετέρωση, κατά τα έγγραφα, σημαίνει πλήρη ή προσωρινή απενεργοποίηση του στόχου ή διαγραφή του.
Η λογική θυμίζει computer worm, το κακόβουλο πρόγραμμα που περνά από συσκευή σε συσκευή χωρίς να το πάρει κανείς είδηση. Ο στρατός θέλει να λειτουργεί και στο cloud και σε συστήματα «air-gapped», υπολογιστές που κρατιούνται εντελώς εκτός δικτύου ακριβώς για να μην τους φτάνει κανείς. Όταν ολοκληρώσουν την αποστολή, οι agents πρέπει να αυτοκαταστρέφονται. Οι χειριστές μπορούν να ορίσουν από την αρχή «προκαθορισμένα σημεία ενεργοποίησης». Οι προδιαγραφές όμως ζητούν το λογισμικό να δουλεύει «με ελάχιστη ανθρώπινη εποπτεία» και να έχει «αυτοκατευθυνόμενη συμπεριφορά».
Ό,τι στα εργαστήρια ήταν ατύχημα, εδώ γίνεται προδιαγραφή
Το σχέδιο εμφανίζεται σε μια περίοδο που οι agents έχουν δείξει ότι κάνουν ζημιά και χωρίς εντολή. Τους τελευταίους μήνες, σε δοκιμές της OpenAI και άλλων εταιρειών, agents μπήκαν κατά λάθος σε εξωτερικά συστήματα, αλλά και σε συστήματα των ίδιων των δημιουργών τους. Ανάμεσα στους στόχους ήταν το RubyGems, το αποθετήριο λογισμικού της γλώσσας προγραμματισμού Ruby, η Hugging Face και η πύλη στατιστικών του Medicare της αυστραλιανής κυβέρνησης. Υπήρξε και απόπειρα εισβολής στο υπουργείο Παιδείας των ΗΠΑ. Σε καμία περίπτωση δεν τους είχε ζητηθεί να επιτεθούν. Τα περιστατικά αυτά έχουν ήδη φέρει τα εργαστήρια στο μικροσκόπιο της ΕΕ μέσω του AI Act.
Ο David Krueger, καθηγητής μηχανικής μάθησης στο Πανεπιστήμιο του Μόντρεαλ, λέει ότι έχουν καταγραφεί συστήματα AI να επιτίθενται συνειδητά σε συστήματα που δεν ήταν καν ο στόχος τους. Με αυτά τα γνωστά μοτίβα αποτυχίας, το να διατάζεις αυτόνομα συστήματα να «εξουδετερώνουν» απειλές είναι, όπως λέει, «απίστευτα επικίνδυνο».
Ο Hyrum Anderson, διευθύνων σύμβουλος της εταιρείας ασφάλειας AI Abundant, ανησυχεί για όσα θα βρει ο agent στον δρόμο. Αν ένας αντίπαλος έχει στήσει την υποδομή διοίκησής του σε μια αμερικανική εταιρεία ύδρευσης, ο agent μπορεί να χτυπήσει την εταιρεία ύδρευσης. Τον μεγαλύτερο κίνδυνο, κατά τον ίδιο, τρέχουν οργανισμοί κάτω από τη «γραμμή φτώχειας της ασφάλειας», από οδοντιατρεία μέχρι κρίσιμες υποδομές. Υπό πίεση, οι agents συχνά αντιμετωπίζουν τα δικλείδες ασφαλείας ως εμπόδια. Και όταν η εντολή είναι «κατάστρεψε», η ακτίνα της ζημιάς μπορεί να μεγαλώσει δραματικά.
Το επιθετικό σενάριο δεν είναι θεωρητικό ούτε έξω από τον στρατό: πρόσφατα ένας χάκερ παραβίασε πάνω από 100 ιστότοπους με στρατό από AI agents. Η διαφορά είναι ότι εδώ ο σχεδιασμός ζητά ρητά την αυτονομία και την αυτοαναπαραγωγή.
Ο William Marcellino της RAND Corporation εστιάζει στην κρίση. Οι άνθρωποι εμπιστεύονται έναν 19χρονο πεζοναύτη με πραγματικά πυρομαχικά, εξηγεί, επειδή ξέρει αρκετά για τον κόσμο ώστε να καταλαβαίνει τι δεν πρέπει να κάνει. Η τεχνητή νοημοσύνη που είναι σήμερα διαθέσιμη στο κοινό δεν έχει αυτή την ικανότητα.
