Το «4GB» στον τίτλο του νέου μοντέλου της Nvidia δεν είναι το μέγεθος του αρχείου. Είναι η μνήμη κάρτας γραφικών (VRAM) που στοχεύει να χρειάζεται το Nemotron 3.5 Bolt E4B όταν τρέχει τοπικά. Το ίδιο το συμπιεσμένο αρχείο στο Hugging Face ζυγίζει 6,18 GB, όπως επισημαίνει το MarkTechPost.
Το Bolt είναι ανοιχτό μικρό γλωσσικό μοντέλο για συνομιλητικούς agents, δηλαδή προγράμματα που μιλούν με τον χρήστη και καλούν εργαλεία. Η Nvidia το προορίζει για φωνητικούς βοηθούς σε συσκευές, χαρακτήρες σε παιχνίδια και διεπαφές ρομπότ. Τρέχει σε κάρτες GeForce RTX, σε Jetson και σε υπολογιστές Spark. Στις δοκιμές της εταιρείας, η συμπιεσμένη έκδοση Q4_K_M χρησιμοποίησε 3,1 έως 4,3 GB VRAM σε RTX.
Εκπαίδευση μόνο με ενισχυτική μάθηση
Το μοντέλο βγαίνει από το Gemma 4 E4B της Google. Έχει 8 δισεκατομμύρια παραμέτρους συνολικά, 4 δισεκατομμύρια ενεργές και παράθυρο context 64K, δηλαδή τον όγκο κειμένου που κρατά στη μνήμη του ταυτόχρονα.
Η Nvidia παρέλειψε εντελώς την εποπτευόμενη λεπτομερή εκπαίδευση (SFT). Σύμφωνα με την τεχνική αναφορά, αυτή βελτίωνε τις κλήσεις εργαλείων αλλά χαλούσε την ποιότητα της κουβέντας και έκανε τις απαντήσεις φλύαρες. Στη θέση της χρησιμοποίησε ενισχυτική μάθηση (RL) με τα εργαλεία NeMo-RL και NeMo-Gym. Τα δεδομένα και η συνταγή είναι δημόσια, με άδεια OpenMDW-1.1.
Το μοντέλο έχει και πρακτικά χαρακτηριστικά για φωνή: ειδική ρύθμιση για σύντομες απαντήσεις που ακούγονται φυσικά, επιλογή αν θα «σκέφτεται» και όριο στον χρόνο σκέψης, ώστε να μην καθυστερεί η απάντηση. Στο demo της εταιρείας, ένα ρομπότ Reachy Mini σε Jetson Orin Nano 8GB χρησιμοποιεί το Bolt για ομιλία και κλήσεις εργαλείων, ενώ το Cosmos 3 Edge αναλαμβάνει την όραση.
Πού κερδίζει και πού χάνει
Στα 21 benchmarks που ομαδοποίησε η Nvidia, το Bolt έχει την κορυφαία βαθμολογία σε 15, απέναντι στα Gemma 4 E4B, Qwen3.5-4B και Nemotron 3 Nano 4B. Οι βαθμολογίες είναι της ίδιας της εταιρείας, από δικό της σύστημα μετρήσεων. Η μεγαλύτερη διαφορά είναι στο IHEval: 84,8 έναντι 67,0 του Gemma 4 E4B και 60,6 του Qwen3.5-4B.
Δεν κερδίζει παντού. Στο Tau2-Bench παίρνει 55,1 και το Qwen3.5-4B 75,1, περίπου 20 μονάδες μπροστά. Το Qwen προηγείται και στα RULER 64K, LongBench v2 και BFCL-v3. Το Gemma 4 E4B κρατά μικρό προβάδισμα στο EQ-Bench v3, με 41,1 έναντι 39,4.
Η Nvidia μιλά ακόμη για περίπου 40% υψηλότερη μέση βαθμολογία από το Nemotron 3 Nano 4B και για έως 80% λιγότερα tokens εξόδου όταν είναι ενεργή η σκέψη. Ξεχωριστά, η Scale Labs κατέταξε το Bolt πρώτο ανάμεσα στα μικρά μοντέλα στο MultiChallenge με 56,03%, σύμφωνα με ανάρτηση στο X.
Ταχύτητα και διάθεση
Σε RTX 5070, με τον βοηθητικό μηχανισμό DFlash για πιο γρήγορη παραγωγή κειμένου, το Bolt έφτασε 272,6 tokens το δευτερόλεπτο. Το Gemma 4 E4B με τον δικό του μηχανισμό έφτασε 225,9, άρα το Bolt είναι 1,21 φορές ταχύτερο.
Το μοντέλο διατίθεται στα Hugging Face, Ollama, LM Studio, Unsloth και Jetson AI Lab, ως NVIDIA NIM και μέσω του SDK In-Game Inferencing. Για το πού στοχεύει η Nvidia με τα ανοιχτά μοντέλα, υπάρχει και η περίπτωση του δημόσιου τομέα που χτίζει AI σε ανοιχτά μοντέλα.
Πηγή: MarkTechPost
