Ένα μοντέλο της Anthropic έφτασε τα σκορ 24 ανθρώπων ειδικών σε σχεδιασμό πειραμάτων AI, χρησιμοποιώντας λιγότερο από το μισό των υπολογιστικών πόρων τους. Μία προσπάθεια του μοντέλου κόστισε περίπου το ένα τριακοστό του κόστους μιας προσπάθειας ειδικού. Αυτό προκύπτει από το νέο benchmark TasteVal, όπως το παρουσιάζει το The Decoder.
Ο συνιδρυτής της Anthropic Jack Clark, που γράφει το newsletter Import AI, λέει ότι η ικανότητα αυτή διπλασιάζεται περίπου κάθε τρεις μήνες από τον Δεκέμβριο του 2025. Με βάση τα νούμερα, πιστεύει πως η αναδρομική αυτοβελτίωση (recursive self-improvement, RSI), όπου συστήματα AI αναπτύσσουν τους διαδόχους τους, μπορεί να γίνει εφικτή ήδη το 2027. Πριν περίμενε το 2028.
Τι μετράει το TasteVal και τι αφήνει έξω
Το benchmark το έφτιαξε η P-Zero Research, που ονομάζει «research taste» την ικανότητα να διαλέγεις τα σωστά πειράματα και να βγάζεις σωστά συμπεράσματα. Στην πλήρη εκδοχή της περιλαμβάνει και την επιλογή ερευνητικών ερωτημάτων που αξίζουν τον κόπο. Το TasteVal δεν την ελέγχει: ο στόχος δίνεται έτοιμος, και το μοντέλο κρίνεται στον σχεδιασμό πειραμάτων και στην ερμηνεία των αποτελεσμάτων.
Οι οκτώ εργασίες προέρχονται από την ανάπτυξη μοντέλων: επιλογή δεδομένων εκπαίδευσης, προεκπαίδευση και fine-tuning, εκπαίδευση με ανθρώπινες προτιμήσεις, άμυνα απέναντι σε κακόβουλα prompts. Το μοντέλο αποφασίζει ποιο πείραμα θα τρέξει στη συνέχεια. Ένας σταθερός coding agent τρέχει όλα τα πειράματα σε μία GPU Nvidia H100, ώστε η ικανότητα προγραμματισμού να μη στρεβλώνει το αποτέλεσμα. Κάθε προσπάθεια τελειώνει στις 40 ώρες GPU ή στις 120 ώρες πραγματικού χρόνου.
Οι άνθρωποι ήταν 24 ειδικοί που είχαν δουλέψει πρόσφατα σε εταιρείες όπως η OpenAI, η Google DeepMind, η Nvidia και η Microsoft Research. Σε κάθε εργασία δούλεψαν τουλάχιστον δύο, και μετρούσε η καλύτερη προσπάθεια.
Πόσοι υπολογιστικοί πόροι χρειάζονται για το ίδιο σκορ
Η P-Zero μετατρέπει το «ένστικτο» σε κάτι μετρήσιμο: πόση υπολογιστική ισχύ χρειάζεται ένα μοντέλο για να φτάσει το σκορ των ειδικών. Αν φτάνει με τη μισή, έχει διπλάσιο research taste. Ο λόγος αυτός λέγεται compute multiplier. Το σκεπτικό είναι ότι η ισχύς για πειράματα σπανίζει, άρα όποιος διαλέγει σωστά κάνει λιγότερες δοκιμές για την ίδια πρόοδο.
Το Opus 5.5 της Anthropic πέτυχε multiplier 2,3. Το στατιστικό εύρος όμως είναι μεγάλο, από 1,15 ως 4,37, και στο κάτω άκρο το προβάδισμα μόλις φαίνεται. Αντίστοιχα, ο χρόνος διπλασιασμού από τον Δεκέμβριο κυμαίνεται από 1,7 ως 5,0 μήνες. Τα προηγούμενα χρόνια η βελτίωση ήταν πολύ πιο αργή και η καμπύλη απότομα ανέβηκε γύρω στο πέρασμα από το 2025 στο 2026.
Οι συγγραφείς παραδέχονται ότι τα αποτελέσματα μπορεί να υπερεκτιμούν τον ρυθμό. Οι εργασίες ελέγχονται γρήγορα και φθηνά, δηλαδή είναι ακριβώς το είδος που τα εργαστήρια βελτιστοποιούν εύκολα, και στην ομάδα σύγκρισης δεν υπήρχαν κορυφαίοι ερευνητές. Μένει και ένα ζήτημα προκατάληψης: η πρόβλεψη έρχεται από συνιδρυτή της εταιρείας του οποίου το μοντέλο κερδίζει το benchmark.
Η πρόβλεψη μετακινείται, οι αντιρρήσεις μένουν
Ο Clark θεωρεί εδώ και καιρό τη δημιουργικότητα καθοριστικό παράγοντα για το πόσο γρήγορα μπορούν τα συστήματα να βελτιώνουν τον εαυτό τους. Νωρίτερα φέτος έγραφε ότι τα μοντέλα δεν την είχαν επιδείξει σε μεγάλη κλίμακα. Τώρα βλέπει σημάδια αλλαγής στις μαθηματικές ανακαλύψεις και σε benchmarks σαν το TasteVal. Σε εκτενές δοκίμιο τον Μάιο είχε δώσει περίπου 60% πιθανότητα για σύστημα που εκπαιδεύει μόνο του ισχυρότερο διάδοχο έως το τέλος του 2028, και 30% έως το 2027.
Ο ερευνητής Herbie Bradley του είχε απαντήσει ότι τα μοντέλα μπορεί να αναλάβουν τη δουλειά νεαρών ερευνητών, αλλά το research taste, η δημιουργικότητα και ο συνεκτικός μακροπρόθεσμος σχεδιασμός δεν φαίνονται στον ορίζοντα. Το TasteVal αμφισβητεί εν μέρει αυτή την εκτίμηση για τον σχεδιασμό και την αξιολόγηση πειραμάτων, αλλά δεν λέει τίποτα για την επιλογή μακροπρόθεσμης ερευνητικής ατζέντας.
Το πρακτικό χάσμα φαίνεται σε μελέτη ομάδας του Πανεπιστημίου Fudan, που ανέλυσε την ανάπτυξη του δικού της μοντέλου. Οι agents έδωσαν έως και 55% των προτάσεων μεθοδολογίας, αλλά οι άνθρωποι πήραν πάνω από το 85% των τελικών αποφάσεων. Οι συγγραφείς σημειώνουν ότι παραμένει ασαφές πώς μπορεί η AI να παράγει ποικίλες ερευνητικές κατευθύνσεις και να εκτιμά την αξία τους πριν υπάρξουν αποτελέσματα.
Μια συζήτηση που οι ίδιες οι εταιρείες άνοιξαν
Τον Ιούνιο η Anthropic έγραψε ότι η αναδρομική αυτοβελτίωση δεν έχει επιτευχθεί, αλλά «θα μπορούσε να έρθει νωρίτερα απ’ ό,τι είναι προετοιμασμένοι οι περισσότεροι θεσμοί». Ο CEO της, Dario Amodei, ζητά πλέον ελεγχόμενη επιβράδυνση της ανάπτυξης. Η OpenAI δέχεται ότι η πλήρως αυτόνομη RSI δεν συμβαίνει ακόμη και ότι πρέπει να επιδιώκεται μόνο με εγγυημένη ανθρώπινη εποπτεία.
Αν η τάση επιβεβαιωθεί και σε άλλα τεστ, η ανάπτυξη AI θα γίνει ταχύτερη και φθηνότερη. Ένα μεγαλύτερο μέρος της έρευνας όμως θα γίνεται δυσκολότερο να ελεγχθεί από ανθρώπους, γιατί τα μοντέλα θα σχεδιάζουν και θα αξιολογούν μόνα τους τα πειράματά τους.
Πηγή: The Decoder
