Αν αντικαταστήσεις με συνώνυμα το 10% των λέξεων ενός κειμένου που έγραψε η AI, το υδατογράφημα της OpenAI ανιχνεύεται πλέον στο 66% των περιπτώσεων αντί για το 92%. Στο 25% των λέξεων, το ποσοστό πέφτει στο 17%. Τα νούμερα είναι της ίδιας της εταιρείας και αφορούν το textGrain, το σύστημα που κυκλοφόρησε τον Οκτώβριο για να συμμορφωθεί με τους νέους κανόνες της ΕΕ, όπως αναφέρει το IEEE Spectrum.
Οι κανόνες υπάρχουν ήδη. Οι υποχρεώσεις διαφάνειας του άρθρου 50 του ευρωπαϊκού πλαισίου για την AI ισχύουν από τις 2 Αυγούστου. Όποιος παρέχει συστήματα που παράγουν ήχο, εικόνα, βίντεο ή κείμενο πρέπει να τα σημαίνει σε μορφή που διαβάζεται από μηχανές, ώστε να φαίνεται ότι είναι τεχνητά. Η λύση πρέπει να είναι «αποτελεσματική, διαλειτουργική, στιβαρή και αξιόπιστη, στο βαθμό που είναι τεχνικά εφικτό».
Πώς κρύβεται ένα σήμα μέσα στις λέξεις
Ένα γλωσσικό μοντέλο γράφει επιλέγοντας κάθε φορά το επόμενο «token», δηλαδή την επόμενη λέξη ή κομμάτι λέξης, με βάση πιθανότητες. Το υδατογράφημα χρησιμοποιεί ένα μυστικό κλειδί για να παράγει ψευδοτυχαίες τιμές που επηρεάζουν αυτή την επιλογή. Έτσι δημιουργείται ένα στατιστικό μοτίβο, που το βλέπει μόνο ανιχνευτής με το ίδιο κλειδί. Ο αναγνώστης δεν παρατηρεί τίποτα.
Η καινοτομία του textGrain, σύμφωνα με τον Xiang Li, συν-συγγραφέα της τεχνικής έκθεσης, είναι ότι μεταχειρίζεται την εντροπία, το μέτρο της απροβλεψιμίας των επιλογών του μοντέλου, σαν προϋπολογισμό. Οι προγραμματιστές ορίζουν πόση απροβλεψιμία θέλουν να «ξοδέψουν» και το σύστημα προσαρμόζεται. «Μπορούμε να σκεφτούμε την εντροπία σαν χρήμα», λέει ο Li.
Τα μικρά και τα επεξεργασμένα κείμενα ξεφεύγουν
Το μήκος παίζει ρόλο. Σε ερωτήσεις ψυχολογίας από τη βάση ELI5, το υδατογράφημα εντοπίστηκε στο 80% των κειμένων των 200 tokens (περίπου 150 λέξεις) και στο 95% αυτών των 400 tokens (περίπου 300 λέξεις). Ο ψευδώς θετικός ρυθμός είναι 1%: ο ανιχνευτής σημαδεύει λάθος περίπου ένα στα 100 κείμενα χωρίς υδατογράφημα.
Ο Li θεωρεί το πρόβλημα των μικρών κειμένων «βασικό περιορισμό» της τεχνολογίας, δύσκολο να λυθεί. Και η επεξεργασία ζημιώνει το σήμα, γιατί η ανίχνευση εξαρτάται από τα προηγούμενα tokens: μία αλλαγμένη λέξη μπορεί να διαταράξει το μοτίβο σε αρκετά σημεία. Επιπλέον, ένα θετικό αποτέλεσμα δεν δείχνει πόσο συνέβαλε ο άνθρωπος και ένα αρνητικό δεν αποδεικνύει ότι το κείμενο είναι ανθρώπινο.
Ο νόμος δεν λέει πόσο καλό πρέπει να είναι
Εδώ βρίσκεται το πραγματικό πρόβλημα. Ο AI Act δεν ορίζει μετρήσιμα όρια αποτελεσματικότητας. Ο κώδικας πρακτικής της ΕΕ, εθελοντικός τρόπος συμμόρφωσης, δεν απαιτεί υδατογράφημα σε κείμενα κάτω από 200 tokens. Ο Thomas Souverain, μεταδιδακτορικός ερευνητής ηθικής της AI στο Institute of Advanced Education στο Παρίσι, λέει ότι η νομοθεσία επιδέχεται ερμηνείες.
Κρίνει ότι η αρχική μεθοδολογία φαίνεται αξιόπιστη και ίσως ξεπερνά τους ανταγωνιστές. Η OpenAI υποστηρίζει ότι το textGrain ισοφάρισε ή ξεπέρασε το SynthID Text της Google στις δικές της δοκιμές, αλλά αυτό δεν έχει επαληθευτεί ανεξάρτητα. «Έχουμε μόνο μια τεχνική μελέτη. Δεν υπάρχει επιστημονικό άρθρο με κριτές ούτε πρόσβαση σε ακριβές πρωτόκολλο», λέει. Αν το σύστημα κριθεί ανεπαρκές, η εταιρεία θα μπορούσε να αντιμετωπίσει πρόστιμο έως 7% του ετήσιου εισοδήματός της.
Η OpenAI δηλώνει ότι το υδατογράφημα από μόνο του δεν αρκεί και ότι το textGrain θα συμπληρώνει άλλα εργαλεία προέλευσης, όπως τα content credentials στα μεταδεδομένα και το SynthID της Google DeepMind για εικόνα και ήχο. Δεν απάντησε σε αίτημα για σχόλιο.
Το σύστημα το δοκιμάζει προς το παρόν περιορισμένη ομάδα ερευνητών, ανάμεσά τους ο John Thickstun του Cornell και το Kempelen Institute of Intelligent Technologies στη Μπρατισλάβα. Και οι δύο λένε ότι μόλις πήραν πρόσβαση. Ο Dominik Macko του KInIT σχεδιάζει να ελέγξει τη στιβαρότητα σε διαφορετικά θέματα, γλώσσες και μήκη κειμένου. Ο Souverain ζητά να γίνει το textGrain ανοιχτού κώδικα, ώστε να το «σπάσουν» και ερευνητές εκτός της ομάδας, όπως γίνεται σήμερα με το SynthID.
Πηγή: IEEE Spectrum
