Ένα συνηθισμένο γλωσσικό μοντέλο θέλει ένα έως τρία δευτερόλεπτα για να απαντήσει. Το Decisions API της OpenAI κατεβάζει τον χρόνο αυτό στα 100 με 180 χιλιοστά του δευτερολέπτου, σύμφωνα με τον Nikunj Handa, υπεύθυνο προϊόντος για τα API της εταιρείας. Από την Πέμπτη η υπηρεσία είναι ανοιχτή σε όλους τους πελάτες, αφού είχε παρουσιαστεί στη συνάντηση της OpenAI με τους προγραμματιστές στις 29 Σεπτεμβρίου.
Η OpenAI μπαίνει έτσι σε μια αγορά που άνοιξε άλλος. Η TypeSafe, startup που ίδρυσε πρώην ερευνητής της, δημιούργησε με το μοντέλο Jev μια νέα κατηγορία και αποτιμήθηκε στα 7,6 δισ. δολάρια. Τα λεγόμενα μοντέλα αποφάσεων, ή System One, λειτουργούν σαν πολύ ισχυροί ταξινομητές: τους δίνεις μερικές επιλογές, διαλέγουν γρήγορα μία και λένε πόσο σίγουρα είναι γι’ αυτήν. Οι προγραμματιστές ανακάλυψαν ότι σε πολλές δουλειές αρκούν, και κοστίζουν πολύ λιγότερο από ένα πλήρες γλωσσικό μοντέλο.
Το Luna, ρυθμισμένο για ταχύτητα
Όταν η ομάδα του Handa είδε το Jev, η αντίδραση ήταν, όπως είπε στο TechCrunch, «έχουμε κάπου ένα εκατομμύριο χρήσεις γι’ αυτό». Αντί να εκπαιδεύσει ένα ειδικό μοντέλο από την αρχή, πήρε το υπάρχον ChatGPT Luna και το ρύθμισε ώστε να τρέχει πιο γρήγορα και φθηνότερα στο inference, δηλαδή τη στιγμή που το μοντέλο υπολογίζει την απάντηση. «Προς το παρόν είναι το παλιό καλό Luna που κάνει τη δουλειά», είπε ο Handa, αφήνοντας ανοιχτό το ενδεχόμενο ειδικής εκπαίδευσης στο μέλλον.
Η δημόσια έκδοση προσθέτει φωνή και εικόνα, ενώ η OpenAI μοίρασε τους υπολογιστικούς της πόρους γεωγραφικά για να μειώσει την καθυστέρηση σε διάφορες περιοχές. Στις πρώτες δοκιμές, εταιρείες όπως οι Box, Datadog, Ramp και Speak αντικατέστησαν γλωσσικά μοντέλα της OpenAI με το νέο API. Ο Andrew Hsu, τεχνικός διευθυντής της Speak, που φτιάχνει ψηφιακούς δασκάλους γλωσσών, λέει ότι ο χρόνος ανάμεσα στις ενέργειες της εφαρμογής έπεσε από 1,4 σε 0,13 δευτερόλεπτα. Η ίδια η OpenAI το χρησιμοποίησε για να κάνει πιο άμεσο τον φωνητικό της βοηθό Dots.
Όγδοη και δέκατη τέταρτη στις κατατάξεις
Τι κάνει ένα μοντέλο αποφάσεων καλό δεν είναι ξεκάθαρο. Η ισορροπία ανάμεσα σε ευφυΐα, κόστος, ταχύτητα και ακρίβεια της αυτοπεποίθησης αλλάζει ανάλογα με τη δουλειά. Ο Diogo Almeida, CEO της TypeSafe, λέει ότι δεν εμπιστεύεται τα benchmarks και προτρέπει τους πελάτες να δοκιμάζουν τα μοντέλα στη δική τους δουλειά. Η εταιρεία του δημοσίευσε ωστόσο δικές της κατατάξεις την περασμένη εβδομάδα, μαζί με τη νέα έκδοση του Jev, που υποστηρίζει εικόνες.
Στους δημόσιους δείκτες AIM System One Index και Artificial Analysis Decision Index προηγούνται το D1 Ultra της Liquid και το Elephant-1 της Base Lab. Το νέο Jev είναι έβδομο και τρίτο αντίστοιχα, ενώ το μοντέλο της OpenAI όγδοο και δέκατο τέταρτο. Στο OpenRouter, πλατφόρμα που δρομολογεί αιτήματα προς πολλά μοντέλα, τα προϊόντα της TypeSafe είναι προς το παρόν τα πιο πολυχρησιμοποιημένα. Υπάρχει και το JevMan της Opper AI, όπου τα μοντέλα παίζουν PacMan και το Jev βρίσκεται στην κορυφή. «Σε κάθε διασταύρωση το μοντέλο πρέπει να αποφασίσει πού θα πάει μέσα σε λίγες εκατοντάδες χιλιοστά», εξηγεί ο Felix Wunderlich της Opper AI.
Ο Handa ποντάρει στην εικόνα, όπου κατά τον ίδιο το Luna «είναι εξαιρετικά ισχυρό» και δείχνει καλύτερη βαθμονόμηση. Κοιτάζει ήδη και το επόμενο όριο: αν ο χρόνος πέσει στα 60 χιλιοστά, θα μπορούσε κανείς να στέλνει ένα αίτημα για κάθε καρέ ενός βίντεο. Το όνομα Jev παραπέμπει, όπως σημειώνει το TechCrunch, σε έναν οικονομολόγο που έδειξε ότι όσο πιο αποδοτικά χρησιμοποιείται ένας πόρος, τόσο πιο παντού εμφανίζεται. Ο Handa το λέει πιο απλά: περιμένει ένα «τρελό σύνολο χρήσεων» που ήταν μπροστά στα μάτια όλων.
Πηγή: TechCrunch
