Η Runway δίνει ανοιχτά το Praxis-1, ένα μοντέλο που μαθαίνει από βίντεο να κινεί ρομπότ

Η Runway, γνωστή για τα μοντέλα βίντεο, κυκλοφόρησε με άδεια Apache 2.0 το Praxis-1, που μετατρέπει εικόνα και οδηγίες σε κινήσεις ρομπότ. Τα τεστ τα έκανε η ίδια.

Ρομποτικός βραχίονας βάζει μπανάνα σε πιάτο, με κάμερα απέναντι και καρέ βίντεο που οδηγούν προς τις αρθρώσεις του
Εικονογράφηση: mAInews.gr, με AI

Η Runway έφτιαξε το όνομά της με μοντέλα που παράγουν βίντεο. Τώρα χρησιμοποιεί ό,τι έμαθαν αυτά τα μοντέλα για να κινεί ρομπότ. Το Praxis-1, που παρουσιάστηκε στα τέλη Σεπτεμβρίου μόνο σε επιλεγμένους συνεργάτες, κυκλοφόρησε πλέον με ανοιχτά βάρη και πηγαίο κώδικα, όπως γράφει το The Decoder.

Τα «ανοιχτά βάρη» σημαίνουν ότι οποιοσδήποτε μπορεί να κατεβάσει το εκπαιδευμένο μοντέλο και να το προσαρμόσει. Η άδεια Apache 2.0 επιτρέπει και εμπορική χρήση. Μαζί με την κυκλοφορία, η εταιρεία δημοσίευσε αναλυτική έκθεση με νέες δοκιμές.

Από την εικόνα στην κίνηση

Το Praxis-1 παίρνει εικόνες από κάμερες, γραπτές οδηγίες και πληροφορίες για τη θέση του ρομπότ. Προβλέπει πώς θα αλλάξει το περιβάλλον και από αυτό υπολογίζει τις κατάλληλες κινήσεις. Καθώς έρχονται νέα καρέ, διορθώνει συνεχώς τον έλεγχο. Η Runway το ονομάζει World Action Model.

Η βάση του είναι ένα μοντέλο βίντεο που έμαθε από κοινά πλάνα πώς κινούνται και αλληλεπιδρούν τα αντικείμενα. Η Runway το εκπαίδευσε περαιτέρω με βίντεο ανθρώπινων κινήσεων και δεδομένα ρομπότ. Έτσι μπορεί να χρειάζονται λιγότερα ακριβά δεδομένα που συλλέγονται αποκλειστικά για ρομπότ. Το αν χρειάζεται όντως λιγότερα από συγκρίσιμα μοντέλα χωρίς προεκπαίδευση σε βίντεο, παραμένει ανοιχτό.

Τα νούμερα, με την επιφύλαξη ότι τα μέτρησε η ίδια η εταιρεία

Στη λίστα RoboLab-120 της Nvidia, με 120 εργασίες σε προσομοίωση, το Praxis-1 πετυχαίνει ποσοστό επιτυχίας 46,2%. Το FLUX 3 Action, επίσης World Action Model, φτάνει 42,9%. Στη γενική κατάταξη το Praxis-1 είναι πέμπτο, πίσω από δύο πράκτορες AI και δύο μοντέλα ρομπότ με διαφορετική αρχιτεκτονική.

Σε πραγματικό βραχίονα Franka, μετά από προσαρμογή με περίπου 277 ώρες από το δημόσιο σύνολο δεδομένων DROID, τα δύο μοντέλα έκαναν δέκα εργασίες, όπως να βάλουν μια μπανάνα σε πιάτο ή να κλείσουν ένα συρτάρι. Με δέκα προσπάθειες ανά εργασία, το Praxis-1 πέτυχε 88 φορές και το FLUX 3 Action 80.

Σε ρομπότ που δεν είχε δει ποτέ, μια κινητή πλατφόρμα με βραχίονα που είχε χρησιμοποιήσει η Google για το RT-1, το μοντέλο έφτασε μέσο ποσοστό 80% σε προσομοίωση, μετά από περίπου 95 ώρες δεδομένων. Το αρχικό RT-1 είχε 52,4% στο ίδιο τεστ. Όλες οι δοκιμές έγιναν από τη Runway και δεν έχουν επαληθευτεί ανεξάρτητα.

Τι χρειάζεται για να δουλέψει και πού αστοχεί

Το βασικό μοντέλο δεν δουλεύει κατευθείαν σε νέο ρομπότ· θέλει επιπλέον εκπαίδευση. Για διπλό βραχίονα η εταιρεία χρησιμοποίησε από 1.400 έως 2.600 ώρες υλικού. Έχουν ήδη δημοσιευτεί και προσαρμοσμένες εκδοχές για διάφορα ρομπότ. Οι προγραμματιστές το κατεβάζουν από το Hugging Face, μετά από εγγραφή και αποδοχή όρων, και ο κώδικας είναι στο GitHub.

Η στάνταρ έκδοση θέλει κάρτα γραφικών με 80 GB μνήμης. Μια συμπιεσμένη έκδοση θα έπρεπε να χωράει σε RTX 5090 με 32 GB, σύμφωνα με εκτιμήσεις της Runway, αν και η πραγματική κατανάλωση δεν έχει ακόμη μετρηθεί.

Το μοντέλο μερικές φορές μπερδεύει αντικείμενα που μοιάζουν και δυσκολεύεται με ασαφείς οδηγίες. Στις μεγάλες εργασίες, τα βήματα πρέπει να δίνονται ένα ένα, γιατί δεν σχεδιάζει μόνο του σύνθετες ακολουθίες ενεργειών. Η Runway το βλέπει ως σύστημα γρήγορης εκτέλεσης κινήσεων, που στο μέλλον θα μπορούσε να συνεργάζεται με μοντέλα γενικής χρήσης, τα οποία θα σπάνε το έργο σε βήματα. Ήδη το δοκιμάζουν οι Standard Bots, Noble Machines και Ultra, σε ανθρωποειδές, σε βιομηχανικό βραχίονα και σε ρομπότ αποθήκης με δύο βραχίονες.

Πηγή: The Decoder

Κοινοποίηση