Αλλάζεις το σύστημα που περιβάλλει το μοντέλο και ο coding agent λύνει τα ίδια προβλήματα, με έως τριπλάσιο κόστος. Αυτό βρήκαν δύο ερευνητές του Πανεπιστημίου Shandong, σύμφωνα με το The Decoder. Ο τίτλος της μελέτης τα λέει όλα: «What does a harness buy? Mostly tokens».
Ένας coding agent είναι ένα γλωσσικό μοντέλο μαζί με ένα harness: το system prompt, τα εργαλεία και τη διαχείριση του context που το βοηθούν να δουλεύει μέσα σε ένα αποθετήριο κώδικα. Κάθε εταιρεία παρουσιάζει κέρδη στα scores από το δικό της harness, όπως το Claude Code ή το OpenCode. Οι ερευνητές ρώτησαν πόσα από αυτά τα κέρδη είναι πραγματικά.
Η ίδια ρύθμιση, δύο φορές, δίνει διαφορετικό αποτέλεσμα
Παλαιότερες συγκρίσεις ανέφεραν διαφορές πάνω από 20 βαθμούς ανάμεσα σε harness, αλλά σχεδόν πάντα από μία μόνο εκτέλεση. Όμως και μια απλή επανεκτέλεση της ίδιας ρύθμισης αλλάζει το αποτέλεσμα έως και έξι βαθμούς στο SWE-bench Verified. Η Zhipu AI, για παράδειγμα, διαφημίζει το δικό της harness με προβάδισμα 2,4 βαθμών έναντι του Claude Code. Αυτό χωράει άνετα μέσα στον θόρυβο.
Οι ερευνητές δοκίμασαν πέντε μοντέλα (Qwen3.6, Qwen3.8, Deepseek-V4-Flash, GLM-5.3-Flash, HY4-Preview) σε τρία harness: Claude Code, OpenCode και mini-SWE-agent, που δίνει στο μοντέλο μόνο ένα εργαλείο Bash και καμία διαχείριση context. Το Claude Opus 5 έτρεξε μόνο στο Claude Code, ως σημείο αναφοράς. Χρησιμοποίησαν τα 45 δυσκολότερα προβλήματα του SWE-bench Verified και ακόμη 447.
Όλες οι δοκιμές έγιναν χωρίς πρόσβαση στο διαδίκτυο. Σε πρώιμα τεστ με web, το 71% των προσπαθειών μοντέλων Deepseek και Qwen τράβηξε τη σωστή διόρθωση απευθείας από το GitHub αντί να λύσει το πρόβλημα. Τα μοντέλα Claude σχεδόν ποτέ. Οι ερευνητές πέταξαν αυτά τα αποτελέσματα και δεν ισχυρίζονται ότι κάποια εταιρεία εκπαίδευσε το μοντέλο της πάνω στο τεστ.
Αλλαγή harness ή επανεκτέλεση: το ίδιο ποσοστό αλλαγών
Στα 447 προβλήματα, το βαρύτερο και το ελαφρύτερο harness (Claude Code και mini-SWE-agent) απέχουν λιγότερο από δύο βαθμούς. Στα 45 δύσκολα, τα harness διαφέρουν κατά δύο έως πέντε λυμένα προβλήματα ανά μοντέλο, ενώ μια απλή επανεκτέλεση αλλάζει το σύνολο έως και κατά τρία. Άλλοτε προηγείται το mini-SWE-agent, άλλοτε το Claude Code.
Ανάμεσα σε δύο επανεκτελέσεις, το αποτέλεσμα αλλάζει στο 13% των προβλημάτων. Ανάμεσα σε δύο διαφορετικά harness, επίσης 13%. Όταν αλλάζει το μοντέλο, το ποσοστό ανεβαίνει στο 22%. Οι συγγραφείς γράφουν ότι η διαφορά των harness μοιάζει με «νέα κλήρωση του ίδιου θορύβου».
Τα μικρά δείγματα περιορίζουν και το τι μπορεί να εντοπιστεί. Με 45 προβλήματα, ακόμη και διαφορά 13 βαθμών φαίνεται μόνο στις μισές περιπτώσεις. Με 447, διαφορές περίπου πέντε βαθμών γίνονται αξιόπιστα ορατές. Τα 2,4 της Zhipu πέφτουν κάτω και από τα δύο όρια.
Η μόνη μετρήσιμη διαφορά: το OpenCode μένει πίσω
Το OpenCode υστερεί σταθερά, έως εννέα βαθμούς στο μεγάλο σύνολο. Περίπου το μισό της διαφοράς οφείλεται σε όριο εξόδου. Όταν ένα μοντέλο το ξεπερνά στη μέση της σκέψης του, το Claude Code το παροτρύνει να συνεχίσει, ενώ το OpenCode αφήνει το βήμα να τελειώσει και η προσπάθεια συνήθως αποτυγχάνει. Για το υπόλοιπο οι συγγραφείς δεν έχουν εξήγηση, μόνο την παρατήρηση ότι στο OpenCode τα μοντέλα σταματούν νωρίτερα.
Το λογαριασμό τον ορίζει το system prompt
Με το ίδιο μοντέλο, τα ίδια προβλήματα και την ίδια τιμοκατάλογο, ένα πρόβλημα μπορεί να κοστίσει έως τρεις φορές περισσότερο ανάλογα με το harness. Τα αποτελέσματα των εργαλείων σχεδόν δεν εξηγούν τη διαφορά: και τα τρία επιστρέφουν παρόμοιο όγκο κειμένου.
Φταίνε το system prompt και οι περιγραφές των εργαλείων, που ξαναστέλνονται σε κάθε βήμα. Στο Claude Code φτάνουν περίπου 16.600 tokens, στο OpenCode περίπου 7.000 και στο mini-SWE-agent κάτω από 1.000. Το μέγεθός τους ορίζει το βασικό κόστος και ο αριθμός των βημάτων το πολλαπλασιάζει. Με το GLM-5.3-Flash το Claude Code κοστίζει σχεδόν διπλάσιο από το mini-SWE-agent. Με το Deepseek-V4-Flash, το mini-SWE-agent χρειάζεται τόσα επιπλέον βήματα που οι δύο ισοφαρίζουν.
Η σκέψη του μοντέλου είναι η εξαίρεση
Το harness της Deepseek δεν πάει καλύτερα με το δικό της μοντέλο, αλλά κοστίζει περισσότερο. Το Claude Opus 5 έδωσε ίδια αποτελέσματα ακόμη και όταν αφαιρέθηκαν εργαλεία από το Claude Code. Μια περσινή έκδοση λύνει παρόμοιο αριθμό προβλημάτων με λιγότερο από το μισό κόστος, επειδή τότε το Extended Thinking δεν ήταν ενεργό εξ ορισμού.
Η σκέψη ήταν η μόνη περίπτωση όπου το harness άλλαξε πραγματικά το αποτέλεσμα. Χωρίς αυτήν, το mini-SWE-agent με Qwen3.6 χάνει έντεκα βαθμούς, ενώ τα άλλα δύο μένουν εντός θορύβου. Το HY4-Preview χάνει επίσης έντεκα στο Claude Code. Οι συγγραφείς παραδέχονται ότι το πλέγμα των δοκιμών τους είναι πολύ μικρό για να εξηγήσει γιατί.
Η μελέτη στηρίζεται κυρίως σε ένα benchmark, αν και ένας μικρός διασταυρωτικός έλεγχος στο Terminal-Bench 2.1 έδειξε το ίδιο μοτίβο. Το συμπέρασμά τους: ένα harness αγοράζει «λιγότερους τρόπους να χάσεις ένα πρόβλημα, και έναν λογαριασμό, όχι ποσοστό επιτυχίας». Προτείνουν να συνοδεύεται κάθε σύγκριση από επανεκτέλεση της ίδιας ρύθμισης. Τα δεδομένα και τα scripts είναι διαθέσιμα στο GitHub.
Πηγή: The Decoder
