Το νέο κορυφαίο μοντέλο της Google δεν θα βγει αμέσως στο κοινό. Το Gemini 4 Carbon, που παρουσίασε η Google DeepMind στις 28 Οκτωβρίου, θα δοθεί πρώτα σε μια μικρή ομάδα επαγγελματιών κυβερνοάμυνας, και η εταιρεία λέει ότι θέλει να ρυθμίσει τις δικλίδες ασφαλείας πριν το ανοίξει σε περισσότερους.
Το Carbon έρχεται δύο εβδομάδες μετά το Argon, το προηγούμενο μοντέλο της σειράς. Η Google το περιγράφει ως το ισχυρότερο μοντέλο της, με επιδόσεις στην ασφάλεια υπολογιστών και στις πολύωρες, πολυβηματικές εργασίες. Για τις πρώτες ενδείξεις ότι δοκιμαζόταν είχαμε γράψει πριν από λίγες ημέρες.
Τα νούμερα που επικαλείται η Google
Σύμφωνα με την ανάρτηση της εταιρείας, το Carbon είναι πρώτο στην έκδοση 5.0 του δείκτη Intelligence Index της Artificial Analysis, με 59 μονάδες. Στα τεστ κυβερνοασφάλειας, που η Google τρέχει χωρίς τις δικλίδες ασφαλείας του μοντέλου, δίνει τα εξής αποτελέσματα:
- SEC-bench Pro, εντοπισμός πραγματικών ευπαθειών: 88,2%.
- ExploitGym, εκμετάλλευση ευπαθειών: 54,8%.
- CWE-bench, διόρθωση του προβλήματος στη ρίζα του: 71,0%.
Η Google λέει ότι σε εσωτερικά τεστ το Carbon γράφει ασφαλή κώδικα με πάνω από διπλάσιο ποσοστό επιτυχίας σε σχέση με το Argon. Η ομάδα του Chrome, όπως μεταφέρει, ανέφερε ότι παρήγαγε αναμφισβήτητα ποιοτικότερες διορθώσεις, πάνω από δέκα φορές καλύτερες από ένα μεγάλο μοντέλο άλλου εργαστηρίου, χωρίς να το κατονομάζει. Η Wiz, πλατφόρμα ασφάλειας cloud που ανήκει στη Google, το βλέπει να προηγείται σε τεστ διείσδυσης σε ιστοσελίδες. Όλα αυτά είναι μετρήσεις και δηλώσεις της ίδιας της εταιρείας και των συνεργατών της.
Στα προγράμματα κώδικα για διαδίκτυο, το μοντέλο ανεβαίνει 89 βαθμούς elo και φτάνει στην 4η θέση του WebDev Arena με 1769. Στις μακρές εργασίες, η εταιρεία λέει ότι οι ομάδες της το είδαν να δουλεύει επί ημέρες, για να βρει και να διορθώσει δυσδιάκριτα σφάλματα σε μεγάλες βάσεις κώδικα.
Λιγότερα κόλπα, λιγότερες επινοημένες απαντήσεις
Μεγάλο μέρος της ανακοίνωσης αφορά τη συμπεριφορά του μοντέλου. Η Google αναφέρει ότι στο Terminal-Bench 4.0 οι επιτυχημένες απόπειρες «αλλοιώματος», δηλαδή εκμετάλλευσης παραθύρων στους κανόνες του τεστ αντί για πραγματική λύση του προβλήματος, έπεσαν στο 0,0%, ενώ οι προσπάθειες στο 0,4%. Στη χρήση από τις ομάδες της, οι σοβαρές ειδοποιήσεις για ασυμβατότητα με τους στόχους του χρήστη μειώθηκαν σχεδόν κατά 80%.
Οι ισχυρισμοί χωρίς τεκμηρίωση μειώθηκαν περίπου στο μισό σε σχέση με το Argon, και αντί να μαντεύει όταν λείπουν στοιχεία, το μοντέλο φέρνει τις πηγές και επισημαίνει τις αντιφάσεις πριν ενεργήσει. Η υπερβολική παρέμβαση έπεσε κατά 26% και η ελλιπής εκτέλεση κατά 29%. Στο τεστ Indirect Prompt Injection της Gray Swan, όπου κρυμμένες εντολές σε κείμενα προσπαθούν να παραπλανήσουν το μοντέλο, το ποσοστό επιτυχίας των επιθέσεων πέφτει από 0,7% του Argon στο 0,0%.
Σταδιακή διάθεση και τιμή
Η Google λέει ότι συμμετέχει στην εθελοντική διαδικασία του αμερικανικού κράτους για δοκιμή μοντέλων πριν από την κυκλοφορία τους. Από αυτή την εβδομάδα το Carbon θα δοθεί σε μια ομάδα επαγγελματιών κυβερνοάμυνας και σταδιακά σε περισσότερους έμπιστους συνεργάτες μέσω του προγράμματος Fairwind. Η γενική διάθεση σε προγραμματιστές, επιχειρήσεις και καταναλωτές δεν έχει ημερομηνία: η εταιρεία γράφει μόνο «το συντομότερο δυνατό».
Η εισαγωγική τιμή θα είναι ίδια με του Argon: 2 δολάρια ανά εκατομμύριο tokens εισόδου και 10 δολάρια ανά εκατομμύριο tokens εξόδου. Για τα tokens εισόδου που βρίσκονται ήδη στη μνήμη cache, η έκπτωση είναι 95%.
Πηγή: Google
