Αλλάζεις μία γραμμή στις ρυθμίσεις και η εφαρμογή τεχνητής νοημοσύνης σου τρέχει σε chip της Amazon αντί για κάρτα γραφικών της Nvidia. Αυτό υπόσχεται το TorchNeuron, το εργαλείο που κυκλοφόρησε τη Δευτέρα η Amazon Web Services. Ο στόχος δεν είναι μόνο να βρει πελάτες για το Trainium, το δικό της chip για AI. Η Amazon βάζει στο στόχαστρο το λογισμικό που κράτησε την Nvidia στην κορυφή.
Το πλεονέκτημα της Nvidia κρύβεται στο λογισμικό
Οι περισσότεροι προγραμματιστές AI δεν γράφουν κώδικα απευθείας για ένα chip. Χρησιμοποιούν το PyTorch, μια δωρεάν βιβλιοθήκη ανοιχτού κώδικα για να φτιάχνουν, να εκπαιδεύουν και να τρέχουν μοντέλα. Το ανέπτυξε αρχικά το Facebook και από το 2022 το διαχειρίζεται το Linux Foundation. Σύμφωνα με την Amazon, περίπου το 85% των εφαρμογών AI είναι γραμμένες σε PyTorch.
Η Nvidia πέρασε χρόνια φροντίζοντας ώστε το CUDA, το λογισμικό που επιτρέπει στις εφαρμογές να τρέχουν στις GPU της, να συνεργάζεται άψογα με το PyTorch. Όπως εξηγεί το TechCrunch, το αποτέλεσμα είναι ότι το υλικό της Nvidia έχει γίνει ουσιαστικά η προεπιλογή μέσα στο εργαλείο. Ο προγραμματιστής συχνά δεν διαλέγει την Nvidia. Απλώς δεν έχει λόγο να σκεφτεί κάτι άλλο.
Το TorchNeuron είναι προσαρμογή του PyTorch, άρα όποιος ξέρει το ένα ξέρει και το άλλο. Η ιδέα δεν είναι καινούργια: οι χρήστες του PyTorch μπορούν ήδη να μεταφέρουν εφαρμογές σε GPU της AMD ή σε chips της Apple με μια απλή αλλαγή ρυθμίσεων.
Η Amazon πουλά ολόκληρο το cloud, όχι ένα chip
Εδώ η Amazon παίζει το χαρτί του μεγέθους. Υποστηρίζει ότι όποιος περάσει στο Trainium κερδίζει πρόσβαση σε όλο το cloud της. Το αντιπαραβάλλει με τα λεγόμενα neoclouds, μικρότερους παρόχους που νοικιάζουν υπολογιστική ισχύ για AI, όπως η CoreWeave, η Nebius και η Firmus, πολλοί από τους οποίους είναι δεμένοι με την Nvidia. Πρόκειται για έναν κλάδο που, κατά ορισμένες εκτιμήσεις, ίσως συρρικνωθεί σε λίγους παίκτες.
«Χτίζεις πάνω στην AWS. Δεν ποντάρεις σε έναν πάροχο υπολογιστικής ισχύος για μία μόνο χρήση, τρέχοντας να στήσεις όλα τα υπόλοιπα γύρω του», έγραψε στο TechCrunch ο Colin Brace, αντιπρόεδρος στην Annapurna Labs, τη μονάδα που σχεδιάζει τα chips της Amazon.
Το επιχείρημα για το κόστος έχει δύο σκέλη. Το ίδιο chip κάνει και εκπαίδευση και inference, δηλαδή τη λειτουργία του έτοιμου μοντέλου όταν απαντά σε χρήστες. Επιπλέον, είναι δεμένο με τις υπόλοιπες υπηρεσίες του cloud. Γι’ αυτό η AWS λέει ότι οι startups θα γλιτώσουν χρήματα, ακόμη κι αν η τιμή της ανά token δεν είναι η χαμηλότερη. Ο Brace φέρνει ως παράδειγμα την Deepgram, ανταγωνίστρια της ElevenLabs στις φωνητικές εφαρμογές, που κατά τον ίδιο επεξεργάζεται πλέον 70% περισσότερο ήχο ανά δολάριο μετά τη μετάβαση στο Trainium.
Αλλαγές στον ίδιο τον κώδικα του PyTorch
Η πιο φιλόδοξη κίνηση είναι άλλη. Η Amazon ανακοίνωσε ότι θα στείλει αλλαγές στο κεντρικό έργο του PyTorch, σε συνεργασία με την κοινότητα, για να αφαιρέσει κώδικα που δένει το εργαλείο με συγκεκριμένα chips. Στόχος, όπως γράφει, ένα PyTorch ανεξάρτητο από το υλικό για όλους τους προγραμματιστές, όχι μόνο για όσους χρησιμοποιούν Trainium.
Αυτό βολεύει προφανώς όποιον πουλά chips και cloud σε ανταγωνισμό με την Nvidia. Το TechCrunch επισημαίνει όμως ότι η αξία του PyTorch βρίσκεται ακριβώς στο ότι κρύβει από τον προγραμματιστή τις δυσκολίες του υλικού. Αν το εργαλείο απομακρυνθεί πολύ από την Nvidia, μπορεί να φέρει περισσότερες και φθηνότερες επιλογές, όπως υπόσχεται η Amazon, ή απλώς περισσότερους πονοκεφάλους με τις ρυθμίσεις. Ο Brace πάντως δεν κρύβει πού στοχεύει: «Η πραγματική ιστορία είναι η κατάργηση του εγκλωβισμού που δεν άφηνε στους προγραμματιστές καθόλου πραγματική επιλογή».
