Η δύναμη της Nvidia στην τεχνητή νοημοσύνη δεν βρίσκεται μόνο στα chips της. Βρίσκεται και στο λογισμικό που έχει γραφτεί για αυτά. Κατά ορισμένες εκτιμήσεις, πάνω από το 85% των εφαρμογών AI φτιάχνεται με το PyTorch, και το PyTorch μεγάλωσε δουλεύοντας κυρίως πάνω στις κάρτες γραφικών (GPU) της Nvidia. Αυτό το δέσιμο θέλει να σπάσει η Google με το TorchTPU, μια δική της εκδοχή του δημοφιλούς εργαλείου.
Το PyTorch είναι ένα σύνολο εργαλείων ανοιχτού κώδικα με το οποίο οι προγραμματιστές φτιάχνουν, εκπαιδεύουν και τρέχουν μοντέλα και νευρωνικά δίκτυα. Το δημιούργησε η Meta το 2016, πολύ πριν από την έκρηξη των μεγάλων γλωσσικών μοντέλων. Οι GPU της Nvidia ήταν ήδη τότε το αγαπημένο hardware των ερευνητών, οπότε το εργαλείο σχεδιάστηκε γύρω από αυτές. Το 2022 η Meta παρέδωσε τη διαχείρισή του στο μη κερδοσκοπικό Linux Foundation, όμως ο προσανατολισμός προς την Nvidia έμεινε.
Ο ίδιος κώδικας, άλλα chips από κάτω
Το TorchTPU, όπως περιγράφει το SiliconANGLE, διευκολύνει την ανάπτυξη μοντέλων και εφαρμογών για τα TPU (Tensor Processing Units), τα chips που σχεδιάζει η Google ειδικά για φόρτους εργασίας AI. Το πιο σημαντικό για όσους έχουν ήδη έτοιμα προγράμματα: μπορούν να τα μεταφέρουν στα TPU με μερικές αλλαγές στις ρυθμίσεις, χωρίς να ξαναγράψουν τον κώδικα από κάτω.
Η Google λέει επίσης ότι συνεργάστηκε στενά με τη Meta, το Hugging Face και δύο νεοφυείς εταιρείες, την Inferact και τη RadixArk. Αυτές βρίσκονται πίσω από το vLLM και το SGLang, δύο διαδεδομένα εργαλεία για το inference, δηλαδή τη λειτουργία ενός ήδη εκπαιδευμένου μοντέλου όταν απαντά σε χρήστες. Ο στόχος ήταν οι βιβλιοθήκες του TorchTPU να συνεργάζονται χωρίς προβλήματα με τα εργαλεία που οι προγραμματιστές χρησιμοποιούν ήδη.
Η Amazon είχε προλάβει λίγες μέρες νωρίτερα
Η Google δεν είναι η μόνη που κυνηγά αυτό το πλεονέκτημα. Την ίδια εβδομάδα η AWS παρουσίασε το TorchNeuron, με το οποίο η Amazon θέλει να ξεκολλήσει το PyTorch από την Nvidia και να το τρέξει στα δικά της chips Trainium. Η Amazon πήγε και ένα βήμα παραπέρα: έστειλε κώδικα στο αρχικό PyTorch, ώστε βασικές λειτουργίες του να μην εξαρτώνται πια από τις GPU της Nvidia και να δουλεύουν σε κάθε είδους hardware. Η Google δεν έκανε κάτι αντίστοιχο.
Πρόσθεσε όμως δύο εργαλεία που η AWS δεν έχει. Το πρώτο, το TPU agent suite, βοηθά τους προγραμματιστές να μεταφέρουν τις εφαρμογές τους στο Google Cloud και διορθώνει αυτόματα τα σφάλματα που εμφανίζονται στη μετάβαση. Το δεύτερο είναι μια ενημέρωση του LiteRT, του εργαλείου για εφαρμογές AI που τρέχουν απευθείας σε κινητά, laptops και ενσωματωμένες συσκευές αντί για το cloud. Σύμφωνα με την Google, είναι πλέον συμβατό και με εφαρμογές γραμμένες σε PyTorch.
Το SiliconANGLE σημειώνει ότι χρειάζονται πολύ περισσότερα για να πειστούν εκατομμύρια προγραμματιστές να αφήσουν τις GPU της Nvidia. Μέσα σε λίγες μέρες, πάντως, δύο από τους μεγαλύτερους παρόχους cloud έχτισαν ο καθένας τη δική του έξοδο από το ίδιο λογισμικό που κράτησε την αγορά δεμένη στην Nvidia.
