Προσαρμογή Θεμελιωδών Μοντέλων Χρονοσειρών σε τομείς με περιορισμένα δεδομένα

Summary

Η παρούσα διπλωματική εργασία διερευνά στρατηγικές προσαρμογής Θεμελιωδών Μοντέλων Χρονοσειρών σε τομείς με περιορισμένα δεδομένα. Το κεντρικό πρόβλημα που εξετάζεται είναι εάν η εξειδίκευση ενός προ-εκπαιδευμένου μοντέλου σε ένα υποπεδίο (Υποπεδίο 1) πλούσιο σε δεδομένα βελτιώνει την απόδοση κατά την επακόλουθη προσαρμογή σε ένα συναφές αλλά φτωχό σε δεδομένα υποπεδίο (Υποπεδίο 2), σε σύγκριση με την άμεση εξειδίκευση στον υποτομέα αυτό (Υποπεδίο 2) από την αρχή.

Η έρευνα χρησιμοποιεί ένα πλαίσιο προοδευτικής εξειδίκευσης δύο σταδίων. Στο πρώτο στάδιο, το θεμελιώδες μοντέλο MOIRAI (μια αρχιτεκτονική βασισμένη σε transformer με περίπου 13 εκατομμύρια παραμέτρους) εξειδικεύεται σε ένα υποπεδίο πλούσιο σε δεδομένα για να δημιουργηθεί ένα προσαρμοσμένο μοντέλο. Στο δεύτερο στάδιο, αυτό το προσαρμοσμένο μοντέλο υφίσταται σταδιακή εξειδίκευση στο υποπεδίο στόχο καθώς τα δεδομένα καθίστανται προοδευτικά διαθέσιμα σε μικρές δέσμες, προσομοιώνοντας συνθήκες έλλειψης δεδομένων. Αξιολογήθηκαν τρεις στρατηγικές σταδιακής εξειδίκευσης, εκ των οποίων επιλέχθηκε η πιο αποτελεσματική και υπολογιστικά αποδοτική.

Η μεθοδολογία δοκιμάστηκε σε τρία διαφορετικά ζεύγη πεδίων: δεδομένα ηλεκτρικού φορτίου Ελλάδας και Ιταλίας (ωριαίες παρατηρήσεις για περίπου 1,5 έτος), τιμές κρυπτονομισμάτων Bitcoin και Ethereum (ημερήσια δεδομένα που καλύπτουν πολλά έτη), και καταγραφές θερμοκρασίας από Αθήνα και Σμύρνη (ημερήσιες μετρήσεις σε 11 έτη). Η απόδοση του μοντέλου αξιολογήθηκε χρησιμοποιώντας το Μέσο Απόλυτο Ποσοστιαίο Σφάλμα (MAPE) για σημειακές προβλέψεις και την Μέση Σταθμισμένη Απώλεια Ποσοστημορίου (MWQL) για πιθανοτικές προβλέψεις.

Τα αποτελέσματα αποκαλύπτουν ότι η αποτελεσματικότητα της προοδευτικής εξειδίκευσης εξαρτάται σημαντικά από το εκάστοτε πεδίο. Όσον αφορά τα πεδία των κρυπτονομισμάτων και της θερμοκρασίας, η προτεινόμενη μέθοδος παρήγαγε σημαντικές βελτιώσεις, περίπου 7,6% στο MWQL για την πρόβλεψη κρυπτονομισμάτων και 11,5% για την πρόβλεψη θερμοκρασίας. Αντίθετα, το πεδίο του ηλεκτρικού φορτίου παρουσίασε σημαντική υποβάθμιση απόδοσης περίπου 30% στο MWQL, αναδεικνύοντας προκλήσεις κατά τη μεταφορά γνώσης μεταξύ πεδίων που διαφέρουν αρκετά.

Το κύριο συμπέρασμα είναι ότι η προοδευτική εξειδίκευση μπορεί να επιταχύνει την προσαρμογή του μοντέλου σε περιβάλλοντα με περιορισμένα δεδομένα, αλλά η επιτυχία της εξαρτάται σημαντικά από την ομοιότητα των εκάστοτε υποπεδίων.