Όποιος θέλει σήμερα να κρατήσει το περιεχόμενο της ιστοσελίδας του εκτός εκπαίδευσης των μοντέλων AI πρέπει να το δηλώσει ξεχωριστά σε κάθε εταιρεία, και συχνά σε κάθε crawler της. Η OpenAI, η Google, η Microsoft και η Anthropic ανακοίνωσαν ότι θα στηρίξουν ένα νέο πρότυπο που αντικαθιστά όλα αυτά με ένα κοινό σήμα.
Το σήμα θα μπαίνει στο αρχείο robots.txt. Πρόκειται για ένα απλό αρχείο κειμένου που πολλά sites έχουν εδώ και χρόνια, για να λένε στα προγράμματα που σαρώνουν το διαδίκτυο (crawlers) ποιες σελίδες επιτρέπεται να διαβάσουν. Μέχρι τώρα το χρησιμοποιούσαν κυρίως για τις μηχανές αναζήτησης. Σήμερα ρυθμίζει και τους scrapers, που μαζεύουν δεδομένα για την εκπαίδευση μοντέλων.
Μία γραμμή αντί για δεκάδες
Όπως εξηγεί το SiliconANGLE, ο εκδότης που δεν θέλει να χρησιμοποιηθεί το υλικό του για εκπαίδευση πρέπει να προσθέσει χωριστή καταχώριση για κάθε πάροχο AI. Αν ένας πάροχος έχει πολλούς scrapers, χρειάζεται καταχώριση για τον καθένα. Το νέο πρότυπο προβλέπει μία μόνο εγγραφή που θα αποκλείει όλους τους scrapers που συλλέγουν δεδομένα για την εκπαίδευση γενετικών μοντέλων. Δεν θα αφορά μοντέλα που εκτελούν αποκλειστικά μη γενετικές εργασίες.
Την πρόταση, ένα «policy token», κατέθεσε στην Internet Engineering Task Force (IETF) ο Kevin Kelley, τεχνικός υπεύθυνος προτύπων στην Anthropic, όπως γράφει το The Verge. Η IETF είναι ο μη κερδοσκοπικός οργανισμός που συντηρεί το Robots Exclusion Protocol, δηλαδή τον κανόνα που ορίζει τη δομή του robots.txt. Σύμφωνα με τις εταιρείες, όταν τα crawlers τους συναντούν το σήμα, δεν θα μπαίνουν στο site.
Ποιος το εφαρμόζει και πότε
Η Anthropic το έχει ήδη υιοθετήσει. Η Google και η Microsoft σχεδιάζουν να το υποστηρίξουν του χρόνου, ενώ η OpenAI λέει ότι θα το εφαρμόσει «τους επόμενους μήνες». Το SiliconANGLE γράφει ότι και η Microsoft υπολογίζει στους επόμενους μήνες, ενώ οι δύο πηγές διαφέρουν σε αυτό το σημείο.
Η Meta στηρίζει την ιδέα, αλλά δεν δεσμεύτηκε να την τηρήσει. Ο επικεφαλής επικοινωνίας της, Andy Stone, δήλωσε: «Πιστεύουμε ότι ένα κοινό σήμα που μεταφέρει τέτοιες προτιμήσεις σε πολλούς παρόχους ταυτόχρονα είναι σημαντικό βήμα».
Η Microsoft θα προσφέρει και πιο λεπτομερείς επιλογές. Οι εκδότες θα μπορούν να αποκλείσουν την εκπαίδευση ή το «AI grounding». Εδώ το μοντέλο ανατρέχει σε μια επαληθευμένη πηγή για να απαντήσει σε ερώτηση χρήστη, ώστε να μειωθούν τα λάθη. Η ρύθμιση θα καλύπτει και εργαλεία τρίτων που χρησιμοποιούν τεχνολογία της Microsoft. Οι σελίδες θα εμφανίζονται στα αποτελέσματα του Bing ανεξάρτητα από την επιλογή τους. Η Google έχει ήδη παρόμοια χειριστήρια, που ξεχωρίζουν την εμφάνιση σε λειτουργίες AI της αναζήτησης και τη χρήση για εκπαίδευση, χωρίς να επηρεάζεται η ορατότητα στην αναζήτηση.
Το πρότυπο έρχεται όταν οι εκδότες παλεύουν με τη συνεχή εισροή crawlers. Άλλες προσπάθειες είναι το πρότυπο Really Simple Licensing (RSL), που επιτρέπει να χρεώνονται οι crawlers, και η Cloudflare, που μπλοκάρει από προεπιλογή τους crawlers AI.
Πηγή: The Verge
