Η εταιρεία που φτιάχνει ίσως τα ικανότερα μοντέλα AI για κυβερνοάμυνα δέχτηκε επίθεση από AI agents και δεν την απέκρουσε εγκαίρως. Η startup ασφαλείας Cathedral μπήκε στα εσωτερικά συστήματα της Anthropic μέσω εξωτερικού λογισμικού, στο πλαίσιο του προγράμματος bug bounty της ίδιας της Anthropic, δηλαδή του προγράμματος που πληρώνει ερευνητές για να βρίσκουν αδυναμίες. Η υπόθεση αποκαλύφθηκε από την Washington Post, όπως μεταφέρει το The Decoder.
Η Cathedral ιδρύθηκε από πρώην στελέχη του DOGE, της αμερικανικής υπηρεσίας για την κρατική αποδοτικότητα, και πουλά εργαλεία ασφάλειας με AI σε δημόσιους φορείς και επιχειρήσεις. Στο προσχέδιο της έκθεσής της γράφει ότι agents με προηγμένα μοντέλα βρήκαν σε λιγότερο από δώδεκα ώρες απομαγνητοφωνήσεις σύσκεψης, στοιχεία μισθοδοσίας, αγγελίες θέσεων και μηνύματα στο Slack. Η είσοδος έγινε από εξωτερικά προγράμματα διαχείρισης και πωλήσεων.
Η Anthropic επιβεβαιώνει ότι οι ερευνητές έφτασαν σε περιορισμένο σύνολο συστημάτων πωλήσεων, ανθρώπινου δυναμικού και IT. Είδαν στοιχεία επικοινωνίας ορισμένων πελατών και συνεργατών και βασικά δεδομένα λογαριασμών. Δεν εκτέθηκαν, λέει, συνομιλίες με το Claude, ο πηγαίος κώδικας και τα βάρη των μοντέλων. Έκλεισε τα σημεία πρόσβασης την ημέρα που εντόπισε το πρόβλημα, απενεργοποίησε τα προγράμματα τρίτων και ενημέρωσε ομοσπονδιακές αρχές των ΗΠΑ.
Δώδεκα ώρες ή πολλές ημέρες
Οι δύο πλευρές διαφωνούν στη διάρκεια. Σύμφωνα με τον Logan Graham, που ηγείται ομάδας red team στην Anthropic, η Cathedral δοκίμαζε πρώτα τα δικά της συστήματα επί ημέρες και μετά στράφηκε σε λογισμικό τρίτων. Εκεί βρήκε δύο ευπάθειες αλλά ανέφερε μόνο τη μία. Τη δεύτερη, λέει η Anthropic, την ανακάλυψε και την έκλεισε μόνη της.
Η Anthropic κατηγορεί την Cathedral ότι παραβίασε τους κανόνες του προγράμματος με ελλιπή αναφορά. Ο Graham είπε ότι η στόχευση παρόχων τρίτων και η εξαγωγή δεδομένων ξεπερνούσαν την προστασία που προσφέρει το πρόγραμμα, αν και χαιρέτισε την ανακάλυψη των ευπαθειών. Η Cathedral απαντά ότι ακολούθησε τις συνήθεις πρακτικές της έρευνας ασφάλειας.
Πόσα δεδομένα είδαν τελικά
Αυτό παραμένει ανοιχτό. Ο Will Depue, πρώην υπάλληλος της OpenAI, υποστηρίζει ότι η Anthropic υποβαθμίζει το συμβάν. Όπως λέει, πηγές που θεωρεί πολύ αξιόπιστες του είπαν ότι η Cathedral απέκτησε πλήρη δικαιώματα διαχειριστή στο Slack, μπορούσε να διαβάσει κάθε μήνυμα και να συνδεθεί σε οποιονδήποτε λογαριασμό. Πρόσθεσε ότι τόσο η Anthropic όσο και η OpenAI κρατούν τα ερευνητικά τους μυστικά στο Slack, με κλειδιά API διαχειριστή σκόρπια στα συστήματά τους.
Ο Graham απάντησε ότι οι πηγές του Depue κάνουν λάθος, αλλά δεν έδωσε λεπτομέρειες, επικαλούμενος την ευαισθησία του θέματος. Ο Depue ζήτησε να πει η Anthropic ποιοι ισχυρισμοί είναι ψευδείς και τι ακριβώς είδε η Cathedral. Ο Alex Stamos, επικεφαλής ασφάλειας της Cognition, που χρησιμοποιεί μοντέλα της Anthropic, είπε στην Post ότι τα ευρήματα είναι σημαντικά. Τόνισε ότι οι ενσωματωμένες εφαρμογές τρίτων είναι πρόβλημα όλου του κλάδου και ότι η Anthropic θα μπορούσε να έχει θωρακίσει καλύτερα τις εξωτερικές υπηρεσίες της.
Επιθέσεις που δεν κοιμούνται
Ο Graham χρησιμοποίησε το περιστατικό για να προειδοποιήσει ότι οι επιτιθέμενοι ήδη τρέχουν AI agents όλο το εικοσιτετράωρο και στοχεύουν εξωτερικές εξαρτήσεις. Σύμφωνα με τον ίδιο, αρκούν για τέτοιες επιθέσεις ακόμη και μοντέλα που υστερούν από μισή έως μία γενιά σε σχέση με τα πιο προηγμένα. Οι μελλοντικοί αντίπαλοι θα έχουν ισχυρότερα.
Η δική του απάντηση είναι συνεχής δοκιμή διείσδυσης από τις ίδιες τις εταιρείες και ανακατασκευή λογισμικού με τυπική επαλήθευση, κάτι που η AI κάνει πλέον οικονομικά εφικτό. «Μάλλον πρέπει να κάνεις red team στον εαυτό σου συνεχώς. Τα σημερινά μοντέλα είναι πολύ δημιουργικά», έγραψε. Δεν εξήγησε πάντως πώς η Cathedral έφτασε τόσο βαθιά, ενώ η Anthropic έχει πρόσβαση σε μερικά από τα ισχυρότερα μοντέλα κυβερνοάμυνας στον κόσμο.
Πηγή: The Decoder
