Με την ίδια ποσότητα δεδομένων εκπαίδευσης, ένας agent για κινητά έλυσε περισσότερες εργασίες σε εφαρμογές που δεν είχε δει ποτέ, όταν είχε εξασκηθεί σε περισσότερες εφαρμογές: το ποσοστό επιτυχίας ανέβηκε από 60,7% σε 67,5%. Αυτό είναι το πιο αξιοσημείωτο εύρημα του OpenMobile-2, ενός ανοιχτού έργου που περιγράφει το The Decoder.
Οι agents αυτού του τύπου χειρίζονται εφαρμογές μόνοι τους, βλέποντας την οθόνη και πατώντας ή σύροντας όπως ένας άνθρωπος. Μαθαίνουν κυρίως με εξάσκηση, αλλά τα δεδομένα που χρειάζονται βρίσκονται ως επί το πλείστον στα χέρια μεγάλων εταιρειών. Τα ανοιχτά μοντέλα μένουν έτσι πίσω, γράφουν οι ερευνητές από το Πανεπιστήμιο της Ναντζίνγκ, τη SenseTime και άλλα πανεπιστήμια. Δημοσιεύουν δύο μοντέλα, χτισμένα πάνω στο Qwen3.5 με 9 δισεκατομμύρια παραμέτρους και στο Qwen3.6 με 27 δισεκατομμύρια, μαζί με το περιβάλλον εκπαίδευσης, τα δεδομένα και οδηγίες για να αναπαραχθούν όλα.
Εξάσκηση σε εφαρμογές-αντίγραφα
Η εκπαίδευση σε πραγματικές εφαρμογές είναι δύσκολη: χρειάζονται λογαριασμοί, οι αγορές είναι αληθινές και η κατάσταση δεν μπορεί να επανέλθει στην αρχή. Γι’ αυτό η ομάδα ξαναέφτιαξε 35 εφαρμογές, κυρίως δημοφιλείς στην Κίνα, όπως Taobao, JD, DiDi και Meituan, μαζί με υπηρεσίες όπως Slack και Google Drive. Με τις υπάρχουσες προσομοιώσεις και εφαρμογές σε emulator Android, το περιβάλλον φτάνει τις 110.
Άνθρωποι σύγκριναν τα αντίγραφα με τα πρωτότυπα μέχρι να ταιριάξουν οι ροές και οι οθόνες. Παραγγελίες, προϋπολογισμοί και ταξιδιωτικά πλάνα διατηρούνται μεταξύ των συνεδριών και τα δεδομένα περνούν από εφαρμογή σε εφαρμογή μέσω πρόχειρου. Κάθε προσομοίωση επιστρέφει αυτόματα στην αρχική της κατάσταση. Ο agent βλέπει μόνο στιγμιότυπα οθόνης, όχι εσωτερικά δεδομένα.
Από αυτό το σύστημα βγήκαν περίπου 11.600 παραδείγματα ροών και πάνω από 2.000 εργασίες εξάσκησης με αυτόματο έλεγχο επιτυχίας. Δάσκαλος ήταν το Gemini 3.1 Pro της Google. Το ανοιχτό OpenMobile-2 μαθαίνει δηλαδή εν μέρει από ένα κλειστό σύστημα.
Τα νούμερα: ο μεγαλύτερος άλμα στα πραγματικά κινητά
Στο AndroidWorld, το μεγάλο μοντέλο ανεβαίνει από 67,1 σε 79,9 βαθμούς και το μικρό από 54,3 σε 74. Ο προκάτοχος OpenMobile-1 είχε 64,7. Στο δυσκολότερο MobileWorld, με μεγαλύτερες εργασίες σε πολλές εφαρμογές, το μεγάλο μοντέλο πάει από 35,9 σε 50,4.
Το μεγαλύτερο άλμα είναι σε πραγματικές συσκευές Android: από 31,9 σε 59,6 βαθμούς στο SPA-Bench, το υψηλότερο αποτέλεσμα ανάμεσα σε ανοιχτά μοντέλα, όπως λένε οι ίδιοι οι ερευνητές. Η ενισχυτική μάθηση από πάνω έφερε μικρά κέρδη, κυρίως σε περιβάλλοντα που έμοιαζαν με της εκπαίδευσης. Στο AndroidWorld το μεγάλο μοντέλο έπεσε ελαφρά, στους 79,9 από 80,8.
Συντομεύσεις αντί για λαβύρινθο μενού
Σε πάνω από 50 προσομοιωμένες εφαρμογές υπάρχουν και άμεσες εντολές, όπως «προσθήκη στο καλάθι», ώστε ο agent να μην περνά από μενού. Μπορεί να εναλλάσσεται ελεύθερα ανάμεσα σε αυτές και στο κλασικό πάτημα και σύρσιμο. Χωρίς ειδική εκπαίδευση, τα μοντέλα αγνοούν τις συντομεύσεις. Μετά, λύνουν έως 10,3 ποσοστιαίες μονάδες περισσότερες εργασίες με περίπου πέντε λιγότερα βήματα, και η ικανότητα μεταφέρεται σε εργαλεία που δεν είχαν δει. Οι συγγραφείς χαρακτηρίζουν οι ίδιοι την προσέγγιση πειραματική, καθώς τέτοιες διεπαφές υπάρχουν προς το παρόν μόνο στις προσομοιώσεις.
Μέρος των αποτελεσμάτων προέρχεται από δικό τους benchmark με 215 εργασίες, σχεδόν οι μισές σε πολλές εφαρμογές. Την επιτυχία δεν κρίνει γλωσσικό μοντέλο, αλλά πρόγραμμα που συγκρίνει τα δεδομένα της εφαρμογής πριν και μετά. Ο έλεγχος για επικάλυψη με τις εργασίες εκπαίδευσης έδειξε μόνο μικρές ομοιότητες.
Στον χώρο υπάρχουν και άλλες προσεγγίσεις. Η Oppo έχει τον ανοιχτό X-OmniClaw, που τρέχει σε πραγματικές συσκευές και επαναλαμβάνει διαδρομές μέσω deeplinks. Η Google έχει ενσωματώσει τον έλεγχο κινητού στο Gemini 3.5 Flash.
Πηγή: The Decoder
