Για περίπου τρεις μήνες, μια 13χρονη έγραφε στο σχολικό της Chromebook για κατάθλιψη, αναζητούσε πληροφορίες για την αυτοκτονία και ετοίμαζε τη δική της κηδεία. Το λογισμικό παρακολούθησης του σχολείου ειδοποίησε τελικά τους υπεύθυνους και οι γονείς της πρόλαβαν να παρέμβουν. Αυτά αναφέρει η αγωγή που κατέθεσαν αυτόν τον μήνα, όπως γράφει το WIRED.
Οι γονείς κατηγορούν την Google και τη μητρική Alphabet για αμέλεια στην κυκλοφορία ενός μοντέλου Gemini. Υποστηρίζουν ότι το chatbot «καθοδήγησε» το κορίτσι, που στην αγωγή αναφέρεται ως Emma Doe, να σκεφτεί να βάλει τέλος στη ζωή της. Η υπόθεση είναι μία από αρκετές που κατηγορούν chatbots για βλάβες, από παραληρήματα μέχρι αυτοκτονίες.
Από την Αναζήτηση στο Gemini, παρά τον αποκλεισμό
Το σχολείο είχε μπλοκάρει την ανεξάρτητη ιστοσελίδα του Gemini. Σύμφωνα με την αγωγή, η Emma έφτασε στο chatbot μέσω του AI Mode της Αναζήτησης Google, που επιτρέπει follow-up ερωτήσεις ή και εντελώς άσχετη συζήτηση.
Από πέρυσι τον Δεκέμβριο ρωτούσε για «σοβαρή κατάθλιψη» και για «λόγους να ζήσει». Στα τέλη Ιανουαρίου ρωτούσε για αυτοκτονία. Γύρω στην ημέρα του Αγίου Βαλεντίνου άρχισε, με τη βοήθεια του AI Mode, να γράφει ένα επικήδειο 1.500 λέξεων για τον εαυτό της, σε έγγραφο Google Docs με τίτλο «Funeral». Δούλεψε πάνω του πάνω από τέσσερις εβδομάδες και μίλησε με το εργαλείο χιλιάδες φορές, λέει η αγωγή.
Η ειδοποίηση πήγε στο κινητό πρώην συμβούλου
Την ημέρα του Αγίου Πατρικίου, μετά το σχολείο, έσβησε το μεγαλύτερο μέρος του αρχείου και ξεκίνησε από την αρχή. Γύρω στις 7:30 το απόγευμα η μητέρα της έλαβε μήνυμα από το σχολείο για «άμεσο κίνδυνο». Συνδέθηκε στον σχολικό λογαριασμό της κόρης της και, όπως λέει η αγωγή, είδε το κορίτσι να γράφει σημείωμα αυτοκτονίας σε πραγματικό χρόνο.
Ο δικηγόρος της οικογένειας, Andrew Liddell, είπε στο WIRED ότι, με βάση στοιχεία του σχολείου, η ειδοποίηση πήγε στο προσωπικό κινητό ενός πρώην συμβούλου, που είχε φύγει από το σχολείο εννέα μήνες νωρίτερα. Ο πρώην υπάλληλος την προώθησε αμέσως στο τρέχον προσωπικό, που ενημέρωσε τη μητέρα.
Το σχολείο χρησιμοποιούσε τουλάχιστον ένα εξωτερικό σύστημα παρακολούθησης μαθητών. Ο Liddell λέει ότι ίσως ήταν προϊόντα των GoGuardian και Gaggle, αλλά η οικογένεια δεν έχει σαφή απάντηση, γιατί η συνεργασία με το σχολείο κράτησε λίγο. Η GoGuardian αρνήθηκε να σχολιάσει συγκεκριμένους μαθητές. Η Gaggle δεν απάντησε αμέσως. Δεν είναι γνωστό αν τα εργαλεία αυτά παρακολουθούν το AI Mode. Η GoGuardian είχε γράψει τον Ιούλιο του 2025 ότι το βασικό προϊόν της παρακολουθεί συζητήσεις με chatbots, μεταξύ τους το Gemini, χωρίς να αναφέρει το AI Mode.
Η Google απαντά, οι πολιτικοί πιέζουν
Ο εκπρόσωπος της Google, José Castañeda, είπε ότι η εταιρεία εξετάζει σοβαρά τους ισχυρισμούς και ότι τα συστήματά της, μαζί με το AI Mode, «στοχεύουν να εμποδίζουν τους χρήστες από επιβλαβείς συζητήσεις». Πρόσθεσε ότι η Google έχει συνεργαστεί εκτενώς με γιατρούς και ακαδημαϊκούς για λειτουργίες που βοηθούν τους νέους να βρουν υποστήριξη.
Η υπόθεση έρχεται σε φορτισμένο κλίμα. Την περασμένη εβδομάδα σύλλογοι γονέων και εκπαιδευτικών στις ΗΠΑ κατήγγειλαν τη νέα απαίτηση της Google: τα σχολεία που θέλουν να χρησιμοποιούν την Αναζήτηση πρέπει να ενεργοποιήσουν τις λειτουργίες γενετικής AI. Ο γερουσιαστής Ed Markey επικαλέστηκε την αγωγή σε επιστολή προς την εταιρεία. Ζήτησε να μπορούν τα σχολεία να απενεργοποιούν το AI Mode και τα AI Overviews, γράφοντας ότι η Google «επιβάλλει απερίσκεπτα την AI στα σχολεία και αντιμετωπίζει τα παιδιά ως παράπλευρες απώλειες».
Τα όρια της παρακολούθησης
Οι εκπαιδευτικοί θεωρούν γενικά χρήσιμα τα εργαλεία παρακολούθησης. Σε έρευνα του EdWeek Research Center του 2022, με 1.000 Αμερικανούς εκπαιδευτικούς, το 96% των χρηστών της Gaggle είπε ότι τους βοηθά να προστατεύουν τους μαθητές από αυτοκτονία ή αυτοτραυματισμό. Η μελέτη είχε χορηγό τη Gaggle, αλλά τα ευρήματα ήταν παρόμοια και για όσους χρησιμοποιούσαν εναλλακτικές.
Οργανώσεις πολιτικών δικαιωμάτων ασκούν κριτική στα εργαλεία αυτά, για το μάρκετινγκ και την παραβίαση της ιδιωτικότητας των μαθητών. Ειδικοί φοβούνται ότι υπονομεύουν και την εμπιστοσύνη των παιδιών προς τους δασκάλους τους. Ο Benjamin Boudreaux, ερευνητής πολιτικής στο Rand, λέει ότι ορισμένα σχολεία έσπευσαν να υιοθετήσουν εργαλεία χωρίς να σκεφτούν τα όρια και τις διαδικασίες για τις ειδοποιήσεις. «Μόνο μέσα από την ανθρώπινη επαφή μπορούμε να αντιμετωπίσουμε τις βαθύτερες αιτίες», είπε.
Πηγή: WIRED
