Ο David Silver, ο ερευνητής που έφτιαξε το AlphaGo, το πρόγραμμα που νίκησε τους κορυφαίους παίκτες του Go, είχε πρώτος στα χέρια του τη νέα υποδομή της Google Cloud με chips της Nvidia. Η εταιρεία του, η Ineffable Intelligence με έδρα το Λονδίνο, χρησιμοποιεί ήδη τις μηχανές A5X. Οι υπόλοιποι πελάτες θα έχουν πρόσβαση από τον επόμενο μήνα.
Οι A5X στηρίζονται στο Vera Rubin NVL72, τη νέα γενιά συστημάτων της Nvidia που διαδέχεται το Blackwell. Ένα NVL72 είναι ένα ολόκληρο rack με 72 GPU Rubin και επεξεργαστές Vera, συνδεδεμένους ώστε να δουλεύουν σαν ένας υπολογιστής. Η Google προσθέτει το δικό της δίκτυο Virgo, κάρτες δικτύου ConnectX-9 της Nvidia και υγρή ψύξη τέταρτης γενιάς. Σύμφωνα με την ανακοίνωση που δημοσίευσε η Nvidia στο ιστολόγιό της, η Google Cloud σχεδιάζει να φτάσει τις 960.000 GPU Rubin σε πολλές τοποθεσίες και να επεκτείνει τη διαθεσιμότητα στην Ευρώπη, χωρίς να δίνεται χρονοδιάγραμμα για το δεύτερο.
Η κίνηση έχει ενδιαφέρον, γιατί η Google αναπτύσσει τα δικά της chips και πρόσφατα έφερε το PyTorch στις TPU της για να ανταγωνιστεί ακριβώς την Nvidia. Στο cloud της, πάντως, συνεχίζει να προσφέρει και το υλικό του αντιπάλου.
Μηχανές που μαθαίνουν από τη δική τους εμπειρία
Η Ineffable χρησιμοποιεί την πλατφόρμα για ενισχυτική μάθηση, τη μέθοδο όπου ένα σύστημα μαθαίνει δοκιμάζοντας, βλέποντας το αποτέλεσμα και διορθώνοντας τη συμπεριφορά του. Έτσι είχε μάθει και το AlphaGo. Ο κύκλος είναι συνεχής: το μοντέλο παράγει εμπειρία, η εμπειρία αξιολογείται και το μοντέλο ενημερώνεται. Για να γίνει αυτό σε μεγάλη κλίμακα, οι υπολογισμοί, το δίκτυο και η αποθήκευση πρέπει να δουλεύουν μαζί χωρίς καθυστερήσεις.
«Φτιάχνουμε superlearners που βελτιώνονται συνεχώς μέσα από τη δική τους εμπειρία», λέει ο Silver. Όπως εξηγεί, αυτό απαιτεί πολλή υπολογιστική ισχύ και στενή σύνδεση ανάμεσα στην παραγωγή εμπειρίας και την εκπαίδευση, ώστε κάθε βελτίωση του agent να επηρεάζει γρήγορα την επόμενη εμπειρία του.
Ένα μηχάνημα αντί για ολόκληρο cluster
Ο διαφημιστικός όμιλος WPP δοκίμασε στις A5X AI agents, προγράμματα που εκτελούν μόνα τους εργασίες πολλών βημάτων. Ο χρήστης ζητά κάτι με απλά λόγια και οι agents το μετατρέπουν σε σειρά εργασιών, όπως παραγωγή βίντεο, αύξηση ανάλυσης ή αλλαγή στυλ, με ανθρώπινη έγκριση πριν από την εκτέλεση. Τρέχουν σε απομονωμένα περιβάλλοντα μέσω του OpenShell της Nvidia, ώστε να ελέγχεται ποιος αγγίζει τα ευαίσθητα υλικά των πελατών. Στις πρώτες δοκιμές του WPP, φορτία που συνήθως ήθελαν συστοιχία πολλών μηχανημάτων χώρεσαν σε μία μόνο A5X.
Δεδομένα κλειδωμένα ακόμη και από τον πάροχο
Η δεύτερη μεγάλη ανακοίνωση αφορά το Confidential Computing, τεχνολογία που προστατεύει δεδομένα και μοντέλα την ώρα που επεξεργάζονται, ώστε να μην τα βλέπει ούτε ο ιδιοκτήτης της υποδομής. Η Google Cloud θα είναι από τους πρώτους παρόχους που θα το προσφέρουν σε επίπεδο ολόκληρου rack σε φυσικούς servers χωρίς ενδιάμεσο λογισμικό εικονικοποίησης, όπως οι A4X Max με GB300 NVL72. Παράλληλα, το κάνει γενικά διαθέσιμο στις μηχανές G4 με κάρτες RTX PRO 6000 Blackwell, για εκτέλεση και προσαρμογή μοντέλων με απόρρητα δεδομένα. Εταιρείες όπως οι Vertebrae, Polaris Cloud και Confidential Core AI τις χρησιμοποιούν ήδη.
Το ρεύμα παραμένει ο μεγάλος περιορισμός. Οι δύο εταιρείες εξετάζουν το λογισμικό DSX MaxLPS της Nvidia, που υπόσχεται περισσότερη απόδοση ανά watt και περισσότερες μηχανές μέσα στο ίδιο ενεργειακό όριο ενός data center.
