Σε σχεδόν 500 αμερικανικές εκλογικές μάχες, τα δύο μοντέλα συμφώνησαν σε λιγότερο από το 10% των περιπτώσεων. Όταν τα ανάγκασαν να διαλέξουν υποψήφιο στις ενδιάμεσες εκλογές, το Grok 4.7 της SpaceXAI πρότεινε τον Ρεπουμπλικανό στο 92% των απαντήσεων. Το GPT-6.1 Sol της OpenAI διάλεξε τον Δημοκρατικό στο 97%.
Τα στοιχεία προέρχονται από μελέτη της Convovo, εργαστηρίου έρευνας και σχεδιασμού συνομιλιακής AI που διευθύνει ο καθηγητής του Cornell Tapan Parikh, όπως την παρουσίασε το TechCrunch. Οι ερευνητές έθεταν μία ερώτηση μέσω των API των μοντέλων, δηλαδή της διεπαφής με την οποία οι προγραμματιστές τα ενσωματώνουν στα δικά τους προϊόντα: ποιον να ψηφίσω σε κάθε κούρσα, με ένα όνομα και χωρίς υπεκφυγές.
Η OpenAI: οι εφαρμογές δεν απαντούν έτσι
Οι εφαρμογές για το κοινό, ChatGPT και Grok, αρνήθηκαν να απαντήσουν. Εκπρόσωπος της OpenAI είπε ότι αυτό είναι το σημαντικό, γιατί έτσι χρησιμοποιούν τα chatbots οι περισσότεροι άνθρωποι. Το ChatGPT, είπε, σχεδιάζεται να είναι αντικειμενικό από προεπιλογή, και το API με μια εντολή που απαιτεί υποψήφιο δεν αντανακλά την εμπειρία των χρηστών. Η SpaceXAI δεν απάντησε εγκαίρως.
Ο Parikh σημειώνει ότι με απλά prompts κατάφερε να «σπάσει» τις εφαρμογές και να πάρει συστάσεις σε μεγάλο βαθμό ίδιες με τις προηγούμενες. Το βασικό εύρημα, λέει, είναι άλλο: τα μοντέλα έχουν άρρητες αξίες, που μπορούν να φανούν και σε πιο έμμεσες ερωτήσεις, όπως ποια θέματα μετράνε περισσότερο σε μια εκλογή.
Άλλες πηγές, άλλα θέματα
Το Grok έφερνε συχνά συντηρητικές πηγές δίπλα σε ουδέτερους ιστότοπους όπως το Ballotpedia. Έναν χριστιανικό συντηρητικό οδηγό ψηφοφόρου τον ανέφερε στο 39% των απαντήσεων, τον ιστότοπο της Turning Point Action στο 23% και το X στο 41%. Το GPT στηρίχθηκε στη Wikipedia, το Associated Press, το Axios και το Reddit. Η OpenAI έχει συμφωνίες περιεχομένου με τα AP, Axios και Reddit.
Διέφεραν και τα θέματα. Το GPT έψαχνε πιο συχνά υγεία και αμβλώσεις, το Grok μετανάστευση, φόρους, εγκληματικότητα και ενέργεια. Το ChatGPT έψαχνε συχνότερα τους Δημοκρατικούς υποψηφίους, και κάποιες φορές αγνοούσε εντελώς τους Ρεπουμπλικανούς αντιπάλους τους. Το Grok έψαχνε συνήθως και τους δύο. Ο Parikh υποψιάζεται ότι και τα δύο ψάχνουν λόγους για να δικαιολογήσουν μια προϋπάρχουσα τάση.
Στις βαθιά Ρεπουμπλικανικές περιφέρειες το GPT διάλεξε Δημοκρατικό σε 57 από 67. Στις βαθιά Δημοκρατικές το Grok διάλεξε Ρεπουμπλικανό σε 47 από 72. Η εξαίρεση του Grok ήταν οι υποψήφιοι με σκάνδαλο, όπως καταγγελίες για σεξουαλική παρενόχληση: τότε έγερνε προς τον Δημοκρατικό.
Στα βάρη ή στην αναζήτηση
Σε δείγμα 30 κούρσες, με απενεργοποιημένη την αναζήτηση στο internet, τα δύο μοντέλα συμπεριφέρθηκαν διαφορετικά. Το GPT, με τα ονόματα των υποψηφίων, διάλεξε Δημοκρατικό σε 24 από τις 30, έναν Ρεπουμπλικανό, και αρνήθηκε στις υπόλοιπες πέντε. Η κλίση του Grok χάθηκε: αρνήθηκε να διαλέξει σε 27 από τις 30, και στις τρεις που διάλεξε πήρε Δημοκρατικό.
Ο Parikh το διαβάζει έτσι: για το GPT η απόφαση είναι σχεδόν παρπαρμένη, «είναι στα βάρη». Για το Grok την καθορίζουν οι όροι και οι πηγές της αναζήτησης. Στο API του Grok, σημειώνει η μελέτη, κάθε αίτημα συνοδευόταν από περίπου 1.240 tokens πρόσθετου κειμένου που οι ερευνητές δεν είχαν γράψει και δεν μπορούσαν να δουν ή να αφαιρέσουν. Ο Parikh τα χαρακτηρίζει πιθανές «κρυφές οδηγίες» και θεωρεί απίθανο να προέρχονται από τα βάρη. Για την προέλευση της άποψης του Grok, είπε, «δεν έχουμε ιδέα».
Η μελέτη βγαίνει λιγότερο από δύο εβδομάδες πριν από τις εκλογές της 3ης Νοεμβρίου. Σύμφωνα με το Pew, μόνο το 8% των Αμερικανών χρησιμοποιεί chatbots για πληροφορίες σχετικά με τις εκλογές. Ο Elon Musk έχει δωρίσει πάνω από 445 εκατ. δολάρια υπέρ υποψηφίων των Ρεπουμπλικανών, ενώ ο Sam Altman, που στο παρελθόν στήριζε κυρίως Δημοκρατικούς, λέει ότι φέτος δεν δίνει χρήματα.
Πηγή: TechCrunch
