Η προτίμηση του πράκτορα AI είχε κριθεί με ένα νόμισμα. Παρ’ όλα αυτά, 50 ειδικοί την ακολούθησαν στις περισσότερες αποφάσεις μιας ανάλυσης δεδομένων και, όταν τους ρώτησαν στο τέλος, οι περισσότεροι είπαν ότι το συμπέρασμα ήταν δικό τους. Το πείραμα έκανε η Anthropic και το περιγράφει το The Decoder.
Οι συμμετέχοντες ήταν ειδικοί στην αιτιακή συμπερασματολογία, δηλαδή στο πώς βγάζεις συμπεράσματα για αίτιο και αποτέλεσμα από δεδομένα. Εξέτασαν στοιχεία από έναν φανταστικό αγροτικό συνεταιρισμό και εκτίμησαν πόσο αύξησε την παραγωγικότητα ένα εθελοντικό πρόγραμμα συμβούλων. Στο τέλος έπρεπε να προτείνουν αν το πρόγραμμα θα επεκταθεί σε όλες τις εκμεταλλεύσεις ή θα σταματήσει.
Σε κάθε κρίσιμη απόφαση υπήρχαν δύο έγκυρες επιλογές, και η κορώνα γράμματα καθόριζε ποια θα υποστηρίξει ο πράκτορας. Δεν μπορούσε να πει ψέματα ούτε να κρύψει δεδομένα. Έπρεπε μόνο να παρουσιάσει με ειλικρίνεια το πιο ισχυρό επιχείρημα για την πλευρά που του είχε τύχει.
Στις τέσσερις αναλυτικές επιλογές, 86% ακολούθησαν τον πράκτορα
Οι αποφάσεις αφορούσαν, για παράδειγμα, τον τρόπο μέτρησης της παραγωγικότητας ή τη στατιστική μέθοδο. Οι συμμετέχοντες υιοθέτησαν την προτίμηση του πράκτορα στο 86% των περιπτώσεων, πολύ πάνω από το 50% που θα περίμενε κανείς με τυχαίες επιλογές. Η καθαρή επιρροή του, που οι συγγραφείς ονομάζουν «flip rate», κυμάνθηκε από 62% έως 82% ανάλογα με την εργασία.
Η προσωπική άποψη δεν προστάτευσε πολύ. Όταν κάποιος είχε ήδη επιλέξει πριν μιλήσει ο πράκτορας, μια αντίθετη γνώμη τον έκανε κατά 53 ποσοστιαίες μονάδες πιθανότερο να αλλάξει στρατόπεδο από μια γνώμη που συμφωνούσε μαζί του.
Οι ερευνητές δοκίμασαν και πιθανές «ασπίδες»: χρόνια εμπειρίας, αυτοαξιολογημένη ειδίκευση, εκπαίδευση, βαθμούς σε τεστ, εμπιστοσύνη στην AI. Μετά τη διόρθωση για πολλαπλούς ελέγχους, κανένα δεν είχε αξιόπιστη σχέση με το αποτέλεσμα. Η ηλικία ξεχώριζε πριν από τη διόρθωση, αλλά με δείγμα 50 ατόμων η μελέτη δεν μπορούσε να εντοπίσει εύκολα τέτοια φαινόμενα.
Η τελική σύσταση έμοιαζε ανεπηρέαστη, αλλά δεν ήταν
Η τυχαία προτίμηση του πράκτορα είχε μικρή άμεση επίδραση στην τελική πρόταση προς το διοικητικό συμβούλιο, χωρίς στατιστική σημασία. Μερικοί ειδικοί αντέκρουσαν τον πράκτορα όταν η συμβουλή του δεν ταίριαζε με τον δικό τους υπολογισμό. Οι ερευνητές όμως επισημαίνουν ότι αυτό δεν δείχνει πως κράτησαν τον έλεγχο: οι τέσσερις προηγούμενες επιλογές επηρέαζαν σημαντικά την εκτίμηση της παραγωγικότητας, και αυτή με τη σειρά της τη σύσταση.
Στην ερώτηση που ακολούθησε, το 52% είπε ότι η σύσταση ήταν περισσότερο δική του παρά του πράκτορα, και ένα ακόμη 35% ότι ήταν κυρίως ή εξ ολοκλήρου δική του. Οι συμμετέχοντες θυμόντουσαν σωστά τις επιλογές τους στο 85% των αποφάσεων. Ωστόσο 37 από τους 48, δηλαδή το 77%, χρησιμοποίησαν στις εξηγήσεις τους τουλάχιστον ένα επιχείρημα του πράκτορα, κάποιες φορές σχεδόν με τα ίδια λόγια. Μόνο το 15% ανέφερε καθόλου την AI.
Στα αρχεία των συζητήσεων, ο πράκτορας έλεγε πρώτος τη θέση του στο 77% των αποφάσεων. Συνήθως υποστήριζε μόνο την πλευρά που προτιμούσε, χωρίς να εξηγεί γιατί ένας έμπειρος ειδικός θα διάλεγε την εναλλακτική. Εξηγούσε πάντως πώς θα άλλαζε το αποτέλεσμα με διαφορετική επιλογή.
Η AI πάντως βοήθησε. Χωρίς πράκτορα, 6 από τις 11 αναλύσεις (55%) είχαν σοβαρά μεθοδολογικά ή προγραμματιστικά λάθη και ο διάμεσος χρόνος ήταν 90 λεπτά. Με AI, σοβαρά λάθη είχαν 3 από τις 50 (6%) και ο χρόνος έπεσε στα 65 λεπτά. Η μικρή ομάδα χωρίς AI είχε επιλέξει να μη χρησιμοποιήσει το εργαλείο και είχε κάπως λιγότερη εμπειρία, οπότε οι ερευνητές δεν μπορούν να πουν πόσο από τη διαφορά οφείλεται στην AI.
Ψεύτικη συναίνεση και ασθενέστεροι έλεγχοι ασφάλειας
Αν πολλές ερευνητικές ομάδες χρησιμοποιούν το ίδιο μοντέλο με σταθερές προεπιλεγμένες προτιμήσεις, προειδοποιούν οι συγγραφείς, μπορεί να καταλήξουν σε μια ψεύτικη συναίνεση. Ο κίνδυνος αγγίζει και την ασφάλεια της AI. Ήδη χρησιμοποιούνται πράκτορες για να δοκιμάζονται τα πιο προηγμένα μοντέλα, με την ανθρώπινη επισκόπηση να λειτουργεί ως ανεξάρτητος έλεγχος. Αν οι ειδικοί υιοθετούν αθόρυβα την προκατάληψη του πράκτορα, ένα μη ευθυγραμμισμένο σύστημα θα μπορούσε να καθοδηγεί την ίδια την έρευνα που προορίζεται να το αποκαλύψει.
Η ομάδα προτείνει να μετριέται η εξάρτηση από τους πράκτορες στην πραγματική δουλειά. Οι πράκτορες θα μπορούσαν να παρουσιάζουν την καλύτερη εκδοχή και των δύο πλευρών ή να ρωτούν πρώτα τη γνώμη του ειδικού. Οι οργανισμοί, από την πλευρά τους, πρέπει να αποφασίσουν ποιες κρίσεις απαιτούν ανεξάρτητη ανθρώπινη σκέψη και να τους αφήσουν χρόνο και πόρους.
«Ίσως δεν υπάρχει ένας σωστός καταμερισμός εργασίας ανάμεσα σε ανθρώπους και AI. Κάποιες αποφάσεις μπορεί να είναι εντάξει να ανατεθούν και άλλες να αξίζει να τις κρατήσουμε. Με τα σωστά εργαλεία, αυτός ο καταμερισμός μπορεί να είναι κάτι που επιλέγουμε, αντί για κάτι στο οποίο παρασυρόμαστε», γράφουν οι ερευνητές.
Άλλες μελέτες δείχνουν προς την ίδια κατεύθυνση
Το The Decoder θυμίζει σχετικές έρευνες. Σε μελέτη με 3.132 συμμετέχοντες για την ψευδή αυτοπεποίθηση, η απλή θέαση απαντήσεων από AI σχεδόν εξάλειψε την προθυμία των ανθρώπων να μην κρίνουν: το ποσοστό όσων έλεγαν «δεν ξέρω» έπεσε από 44% σε 3%. Όταν η AI παρήγαγε περιποιημένα αποτελέσματα, όπως κώδικα ή έγγραφα, οι χρήστες έλεγχαν λιγότερο τα γεγονότα και αμφισβητούσαν λιγότερο το σκεπτικό της.
Σε παρατηρησιακή μελέτη από την Πολωνία για κολονοσκοπήσεις, που δημοσιεύθηκε στο The Lancet Gastroenterology & Hepatology, έμπειροι γιατροί που χρησιμοποιούσαν τακτικά σύστημα AI εντόπιζαν λιγότερες προκαρκινικές βλάβες σε εξετάσεις χωρίς αυτό: 22,4% αντί για 28,4%. Μια έρευνα της Swiss Business School βρήκε ισχυρή αρνητική σχέση ανάμεσα στη χρήση εργαλείων AI και την κριτική σκέψη, κυρίως σε ηλικίες 17 έως 25 ετών.
Υπάρχουν και αποτελέσματα προς την αντίθετη κατεύθυνση. Σε πιλοτικό πρόγραμμα στη Νιγηρία, μαθητές που χρησιμοποίησαν chatbot ως εικονικό δάσκαλο δύο φορές την εβδομάδα πέτυχαν σε έξι εβδομάδες κέρδος μάθησης ίσο με σχεδόν δύο επιπλέον χρόνια. Το θέμα της εποπτείας των πρακτόρων το είχαμε εξετάσει και σε πρόσφατη έρευνα για πράκτορες που παραβιάζουν κανόνες.
Πηγή: The Decoder
