Η Mistral AI κυκλοφόρησε το Timestral, την πρώτη της οικογένεια θεμελιωδών μοντέλων για πρόβλεψη χρονοσειρών. Πρόκειται για τέσσερα μοντέλα με μέγεθος από 5 έως 209 εκατομμύρια παραμέτρους, τα οποία, σύμφωνα με την εταιρεία, λειτουργούν σε συνηθισμένους επεξεργαστές διακομιστών χωρίς να απαιτείται GPU. Τα βάρη και ο κώδικας είναι διαθέσιμα δημόσια.
Τι είναι ένα μοντέλο χρονοσειρών
Χρονοσειρά είναι κάθε σειρά μετρήσεων που καταγράφονται διαδοχικά στον χρόνο, όπως η κατανάλωση ρεύματος ανά τέταρτο, οι πωλήσεις ανά ημέρα ή το φορτίο ενός διακομιστή. Τα κλασικά στατιστικά εργαλεία, όπως το ARIMA, προσαρμόζονται σε μία σειρά κάθε φορά, ενώ πολλά μοντέλα βαθιάς μάθησης εκπαιδεύονται από την αρχή για κάθε σύνολο δεδομένων. Τα λεγόμενα θεμελιώδη μοντέλα (foundation models) ακολουθούν διαφορετική λογική: εκπαιδεύονται εκ των προτέρων σε μεγάλο και ποικίλο όγκο δεδομένων και στη συνέχεια κάνουν προβλέψεις «zero-shot», δηλαδή σε δεδομένα που δεν έχουν δει ποτέ, χωρίς επιπλέον εκπαίδευση.
Όπως μεταδίδει το MarkTechPost, το Timestral δεν δίνει μία μόνο τιμή ανά χρονική στιγμή αλλά 21 ποσοστημόρια, κάτι που επιτρέπει να εκτιμηθεί το εύρος της αβεβαιότητας της πρόβλεψης. Μπορεί να προβλέπει πολλές σχετιζόμενες σειρές μαζί και να αξιοποιεί βοηθητικές μεταβλητές, είτε γνωστές μόνο από το παρελθόν είτε γνωστές εκ των προτέρων για το μέλλον, όπως μια προγραμματισμένη αργία. Το παράθυρο ιστορικού φτάνει τα 32.768 χρονικά βήματα.
Πώς είναι φτιαγμένο
Τεχνικά, το Timestral είναι μοντέλο transformer που επεξεργάζεται τα δεδομένα σε τμήματα των 32 χρονικών βημάτων. Το μεγαλύτερο μοντέλο έχει 24 επίπεδα και σε ένα πέρασμα προβλέπει έως 1.024 βήματα, ενώ για μεγαλύτερους ορίζοντες συνεχίζει τμηματικά. Η Mistral αναφέρει ότι το μεγαλύτερο μέρος των δεδομένων εκπαίδευσης είναι συνθετικά, με τάσεις, εποχικότητα και θόρυβο, και ότι η εκπαίδευση έγινε σε δύο στάδια. Ο σχεδιασμός της προσοχής (attention) εξασφαλίζει ότι η πληροφορία ρέει μόνο από τις βοηθητικές μεταβλητές προς τις σειρές-στόχους, ώστε να μη «διαρρέουν» δεδομένα από το μέλλον.
Οι επιδόσεις, όπως τις δίνει η εταιρεία
Σύμφωνα με τη Mistral, το μοντέλο των 209 εκατομμυρίων παραμέτρων κατατάσσεται πρώτο ανάμεσα στα προεκπαιδευμένα μοντέλα zero-shot σε τρία benchmarks: GIFT-Eval, TIME και fev-bench. Στο fev-bench αναφέρει βαθμολογία 50,39 έναντι 48,99 για το TimesFM-3 της Google. Σε άλλες μετρήσεις η διαφορά είναι οριακή: στο GIFT-Eval το σφάλμα MASE είναι 0,658 έναντι 0,661 για το t0-gamma. Η εταιρεία υποστηρίζει επίσης ότι το μοντέλο των 28 εκατομμυρίων ξεπερνά το Chronos-2 της Amazon, που είναι περίπου τέσσερις φορές μεγαλύτερο. Οι συγκριτικοί αριθμοί προέρχονται από τη σελίδα του ίδιου του μοντέλου, ενώ η Google και η Amazon δεν δημοσιεύουν αντίστοιχα στοιχεία στις δικές τους σελίδες.
Ενδιαφέρον έχει ότι η αύξηση του μεγέθους αποφέρει πολύ μικρό κέρδος στην κορυφή: το μοντέλο των 123 εκατομμυρίων πετυχαίνει σχεδόν την ίδια βαθμολογία με εκείνο των 209 εκατομμυρίων.
Τι σημαίνει για εταιρείες και προγραμματιστές
Το βασικό πρακτικό πλεονέκτημα είναι το χαμηλό κόστος λειτουργίας. Σε δοκιμή της Mistral σε επεξεργαστή διακομιστή με 8 νήματα, η πρόβλεψη μιας ημέρας με βάση ιστορικό τριών εβδομάδων σε διαστήματα 15 λεπτών χρειάστηκε 10 χιλιοστά του δευτερολέπτου με το μικρότερο μοντέλο και 140 με το μεγαλύτερο. Τα βάρη του μεγαλύτερου μοντέλου καταλαμβάνουν 837 MB, ενώ του μικρότερου μόλις 21 MB.
Τα μοντέλα διανέμονται μέσω Hugging Face με τροποποιημένη άδεια MIT, η οποία επιτρέπει εμπορική χρήση, σε αντίθεση με την άδεια του TimesFM-3 που αποκλείει τις εμπορικές εφαρμογές. Οι επιχειρήσεις μπορούν να εκπαιδεύσουν περαιτέρω τα μοντέλα στα δικά τους δεδομένα μέσω της υπηρεσίας Mistral Forge και να τα εγκαταστήσουν στις δικές τους υποδομές, ακόμη και σε συστήματα πλήρως αποκομμένα από το διαδίκτυο. Στην τεκμηρίωση της Mistral, το Timestral 1.0 των 209 εκατομμυρίων παραμέτρων εμφανίζεται ακόμη σε στάδιο δημόσιας προεπισκόπησης.
