Ένα μόνο cluster της DeepSeek εξυπηρετεί 155 τρισεκατομμύρια tokens την ημέρα. Tokens είναι τα μικρά κομμάτια κειμένου που διαβάζει και γράφει ένα γλωσσικό μοντέλο. Με τις χαμηλότερες τιμές της, εκτός ωρών αιχμής, κάθε κάρτα γραφικών αποδίδει 38 δολάρια την ώρα. Τα νούμερα τα δίνει η ίδια η κινεζική εταιρεία, στο υλικό που συνοδεύει το DeepInfer, το λογισμικό με το οποίο τρέχει τις υπηρεσίες της. Από χθες ο κώδικάς του είναι ανοιχτός στο GitHub, με άδεια Apache 2.0, που επιτρέπει και εμπορική χρήση.
Το DeepInfer είναι framework για inference, δηλαδή για τη φάση όπου ένα ήδη εκπαιδευμένο μοντέλο απαντά σε αιτήματα χρηστών. Η DeepSeek γράφει ότι το βασικό πρόβλημα που πρέπει να λύσει ένα τέτοιο σύστημα είναι να φτάσει σε τεράστιο κοινό με λογική τιμή. Προς το παρόν υποστηρίζει ένα μόνο μοντέλο, το DeepSeek-V4.1-Flash. Από προεπιλογή φορτώνει την έκδοση 1017, που κυκλοφόρησε το περασμένο Σαββατοκύριακο. Κώδικας για τα επόμενα μοντέλα θα μπαίνει στο ίδιο αποθετήριο.
Ένα μικρό μοντέλο μαντεύει, το μεγάλο ελέγχει
Η εξοικονόμηση έρχεται κυρίως από δύο τεχνικές. Η πρώτη λέγεται DSpark και βασίζεται στο speculative decoding: ένα μικρότερο, γρήγορο μοντέλο προτείνει πέντε tokens τη φορά και το κύριο μοντέλο τα επιβεβαιώνει ή τα απορρίπτει. Ένα επιπλέον εξάρτημα προβλέπει ποια από τα πέντε θα γίνουν δεκτά, ώστε η υπολογιστική ισχύς να πηγαίνει μόνο στα πιθανότερα. Έτσι ελέγχονται περίπου 30% λιγότερα tokens σε κάθε βήμα, και η DeepSeek υπολογίζει κέρδος 4% έως 7% στην απόδοση με το φορτίο που έχει στην παραγωγή.
Η δεύτερη αφορά το prefill, το στάδιο όπου το μοντέλο «διαβάζει» την ερώτηση πριν αρχίσει να απαντά. Το DeepInfer περνά ξανά από τα επίπεδα του αποκωδικοποιητή μόνο τα τελευταία 128 tokens κάθε ερώτησης. Σύμφωνα με την εταιρεία, αυτό μειώνει σχεδόν στο μισό τους συνολικούς υπολογισμούς του prefill.
Όλα τα benchmarks που δημοσιεύτηκαν είναι της ίδιας της DeepSeek και έτρεξαν σε chips της Nvidia, όπως γράφει το SiliconANGLE.
Nvidia Blackwell ή Huawei Ascend, τίποτα παλαιότερο
Το framework τρέχει σε κάρτες Blackwell της Nvidia (αρχιτεκτονική SM100) και στις νευρωνικές μονάδες Ascend 950 της Huawei. Οι Hopper και οι παλαιότερες γενιές της Nvidia μένουν εκτός. Δύο λειτουργίες που εξασφαλίζουν ότι το ίδιο αίτημα δίνει πάντα ακριβώς την ίδια απάντηση δουλεύουν μόνο σε υλικό Nvidia.
Η υποστήριξη της Huawei έχει συνέχεια. Στις 30 Σεπτεμβρίου η DeepSeek έφερε, με τη βοήθεια του κατασκευαστή, τη γλώσσα προγραμματισμού TileLang στα chips του. Τον ίδιο μήνα το Bloomberg ανέφερε ότι η εταιρεία σχεδιάζει να εγκαταστήσει τουλάχιστον 160.000 επιταχυντές Ascend 950DT σε νέο data center στην Εσωτερική Μογγολία.
Τα κομμάτια που λείπουν
Ο κώδικας δεν είναι ολόκληρος. Η DeepSeek κρατά τη διαχείριση της KV cache, της μνήμης όπου το μοντέλο φυλά όσα έχει ήδη επεξεργαστεί, καθώς και την κατανομή του φορτίου, επειδή όπως λέει είναι δεμένες με την εσωτερική της υποδομή. Εξηγεί πάντως πώς λειτουργούν σε ανάρτηση στην κινεζική πλατφόρμα Zhihu. Τον διαχωρισμό prefill και παραγωγής απάντησης σε διαφορετικά μηχανήματα πρέπει να τον στήσει όποιος χρησιμοποιήσει το DeepInfer, αν και το README σημειώνει ότι το μεγαλύτερο μέρος της δουλειάς υπάρχει ήδη. Η μικρότερη αποδοτική εγκατάσταση που περιγράφει η εταιρεία θέλει 64 κάρτες για το ένα στάδιο και άλλες 64 για το άλλο, μέγεθος που αφορά επιχειρήσεις και όχι ερασιτέχνες.
Τον Απρίλιο του 2025 η DeepSeek είχε αρνηθεί να δώσει τη μηχανή της για τον ίδιο λόγο. Τότε την περιέγραφε ως πρώιμη παραλλαγή του vLLM, του δημοφιλούς ανοιχτού λογισμικού για inference, και έγραφε ότι η συντήρηση ενός μεγάλου έργου ανοιχτού κώδικα ξεπερνούσε τις δυνάμεις «μιας μικρής ερευνητικής ομάδας που εστιάζει στην ανάπτυξη καλύτερων μοντέλων». Είχε δώσει όμως βιβλιοθήκες όπως οι FlashMLA, DeepGEMM και DeepEP, που τώρα χρησιμοποιεί το DeepInfer. Μαζί του κυκλοφορεί και το deepseek-recipe, που μετατρέπει τα αιτήματα σε tokens με την ίδια λογική που χρησιμοποιεί το επίσημο API της εταιρείας, ώστε μια ιδιωτική εγκατάσταση να συμπεριφέρεται όπως η υπηρεσία της.
Στο X η DeepSeek έγραψε ότι στόχος είναι να βοηθήσει την κοινότητα «να μειώσει το υπολογιστικό κόστος και την κατανάλωση ενέργειας και να κάνει την AI πιο προσιτή». Το The Decoder βλέπει και πρόσθετη πίεση στις τιμές δυτικών παρόχων όπως η OpenAI και η Anthropic, και δεν αποκλείει πολιτικό κίνητρο. Η κυκλοφορία ήρθε μία ημέρα αφότου το αμερικανικό υπουργείο Εσωτερικής Ασφάλειας διέταξε τις μη στρατιωτικές ομοσπονδιακές υπηρεσίες να αφαιρέσουν από τα συστήματά τους τα προϊόντα της DeepSeek, μαζί και υπηρεσίες τρίτων που βασίζονται στην τεχνολογία της.
