Νευρο-Συμβολική Τεχνητή Νοημοσύνη

Στοχος

Το μάθημα εισάγει τις βασικές αρχές και μεθόδους της Νευροσυμβολικής Τεχνητής Νοημοσύνης (neuro-symbolic AI), δηλαδή της σύνθεσης νευρωνικής μηχανικής μάθησης με την αναπαράσταση γνώσης και τον λογικό συμπερασμό, με σκοπό την ανάπτυξη “υβριδικών” μοντέλων που συνδυάζουν τα πλεονεκτήματα των δύο αυτών θεμελιωδών κλάδων της TN και ξεπερνούν τις επιμέρους αδυναμίες τους. Το μάθημα καλύπτει τα μεθοδολογικά θεμέλια και σχεδιαστικά μοτίβα (design patterns) της νευροσυμβολικής ΤΝ, συμπεριλαμβανομένων των διαφορετικών ειδών νευροσυμβολικών αρχιτεκτονικών και τους τρόπους συνδυασμού και ενοποίησης (integration) της μάθησης και του συμπερασμού. Κατόπιν, το μάθημα επικεντρώνεται στις εφαρμογές της νευροσυμβολικής ΤΝ σε χρονικά εξελισσόμενα περιβάλλοντα, που χαρακτηρίζονται από ροές πολυτροπικών (multimodal) δεδομένων, εμφάνιση σύνθετων, κρίσιμων συμβάντων/καταστάσεων και αλληλεπιδράσεις μεταξύ πολλαπλών πρακτόρων. Ο στόχος είναι, με το πέρας του μαθήματος, οι φοιτητές/τριες να έχουν εξοικειωθεί με μεθόδους που συνδυάζουν τη νευρωνική μάθηση με προϋπάρχουσα ή ανακαλυπτόμενη γνώση, με σκοπό την ανάπτυξη αξιόπιστων μοντέλων για την κατανόηση και πρόβλεψη της εξέλιξης δυναμικών πεδίων, καθώς και για τη σχεδίαση αξιόπιστων πολυπρακτορικών συστημάτων ΤΝ που δρουν βάσει αντίληψης, συλλογισμού και επίγνωσης της κατάστασης (situational awareness).

Με την επιτυχή ολοκλήρωση του μαθήματος οι φοιτητές/φοιτήτριες θα είναι σε θέση να:

• Κατανοούν τα κίνητρα και τις βασικές αρχές της νευρο-συμβολικής ΤΝ.

• Διακρίνουν τις κύριες κατηγορίες νευρο-συμβολικών αρχιτεκτονικών και να αξιολογούν τα πλεονεκτήματα και τους περιορισμούς τους.

• Κατανοούν τους βασικούς μηχανισμούς διαφορίσιμου λογικοπιθανοτικού συμπερασμού και τη χρήση του ως θεμελίου για την ανάπτυξη ενοποιημένων νευρο-συμβολικών συστημάτων.

• Υλοποιούν νευρο-συμβολικά συστήματα όπου η συμβολική γνώση και οι λογικοί περιορισμοί μπορούν να καθοδηγήσουν τη μάθηση.

• Κατανοούν τις αρχές της αναγνώρισης και πρόβλεψης σύνθετων γεγονότων σε δυναμικά, πολυτροπικά και πολυπρακτορικά περιβάλλοντα.

• Γνωρίζουν εφαρμογές της νευρο-συμβολικής ΤΝ σε τομείς υψηλής κρισιμότητας, που απαιτούν αξιόπιστα συστήματα ΤΝ, όπως η παρακολούθηση/διαχείριση κρίσιμων υποδομών, οι δυναμικές βιοϊατρικές εφαρμογές, τα αυτόνομα συστήματα κ.α.

• Είναι σε θέση να διαμορφώνουν και να αξιολογούν τρόπους με τους οποίους ο συνδυασμός μάθησης και τυπικού (formal) συμπερασμού μπορεί να συμβάλει στην ανάπτυξη αξιόπιστων λύσεων σε αναδυόμενες τεχνολογίες αιχμής, όπως η παραγωγική (generative) και η πρακτορική (agentic) ΤΝ.

Περιεχομενα

Διάλεξη 1: Εισαγωγή στη νευροσυμβολική ΤΝ και στις τεχνικές πτυχές της αξιόπιστης ΤΝ - ερμηνευσιμότητα, ευρωστία (robustness), διαχείριση αβεβαιότητας, γενίκευση εκτός κατανομής. Παρουσίαση ενδεικτικών εφαρμογών της νευροσυμβολικής ΤΝ σε αντίληψη, χρονικό συλλογισμό, αναγνώριση και πρόβλεψη γεγονότων, επίγνωση κατάστασης και agentic συστήματα. Επισκόπηση της δομής και των θεματικών αξόνων του μαθήματος.

Διάλεξη 2: Διαφορίσιμος λογικός συμπερασμός I. Fuzzy τελεστές και παραδείγματα fuzzy νευροσυμβολικών συστημάτων. Εισαγωγή στον πιθανοτικό λογικό συμπερασμό και τα πιθανοτικά γραφικά μοντέλα. 

Διάλεξη 3: Διαφορίσιμος λογικός συμπερασμός II. Θεωρητικά θεμέλια του πιθανοτικού λογικού συμπερασμού, Weighted Model Counting, Knowledge Compilation και διαφορίσιμα κυκλώματα. Εκπαιδεύσιμες λογικές αρχιτεκτονικές και ενδεικτικές υλοποιήσεις.

Διάλεξη 4: Μελέτη νευροσυμβολικών αρχιτεκτονικών και σχεδιαστικών μοτίβων (design patterns). Αρχιτεκτονικές για λογικό συμπερασμό πάνω σε αισθητηριακά δεδομένα. Αρχιτεκτονικές για επιβολή περιορισμών στη συμπεριφορά νευρωνικών δικτύων. Semantic Loss Functions, εκπαίδευση με έμμεση επίβλεψη μέσω συμβολικής γνώσης. Reasoning shortcuts και τρόποι αντιμετώπισης.

Διάλεξη 5: Εισαγωγή στην αναγνώριση σύνθετων γεγονότων από ροές δεδομένων. Βασικές έννοιες: πρωτογενή και σύνθετα γεγονότα, χρονικοί περιορισμοί, σύνθεση γεγονότων και εξαγωγή υψηλού επιπέδου καταστάσεων από ροές χαμηλού επιπέδου παρατηρήσεων. Επισκόπηση εφαρμογών σε επιτήρηση κρίσιμων υποδομών, ναυτιλιακή επίγνωση κατάστασης, βιοϊατρική παρακολούθηση κ.α. Συμβολικές προσεγγίσεις στην αναγνώριση σύνθετων γεγονότων. Χρονικές λογικές και αποδοτικές τεχνικές χρονικού συμπερασμού με εγγυήσεις ορθότητας.

Διάλεξη 6: Πιθανοτικές προσεγγίσεις στην αναγνώριση σύνθετων γεγονότων. Πιθανοτικές χρονικές λογικές με εφαρμογή σε πολυτροπικές ροές δεδομένων. Ανάλυση απόδοσης σχετικά με την ορθότητα και πολυπλοκότητα της αναγνώρισης γεγονότων.

Διάλεξη 7: Νευρο-συμβολικές τεχνικές αναγνώρισης σύνθετων γεγονότων. Πιθανοτική χρονική λογική με αλγεβρικές πράξεις. Διαφορίσιμη πιθανοτική λογική. Τεχνικές βελτίωσης πολυπλοκότητας.

Διάλεξη 8: Εισαγωγή στη μοντελοποίηση ακολουθιών και την πρόβλεψη μελλοντικής συμπεριφοράς. Βασικά στοιχεία πιθανοτικής μοντελοποίησης ακολουθιών, Μαρκοβιανές αλυσίδες και μοντέλα, αυτόματα πεπερασμένων καταστάσεων ως ερμηνεύσιμα μοντέλα ακολουθιών και ως μοτίβα σύνθετων γεγονότων.

Διάλεξη 9: Πρόβλεψη σύνθετων γεγονότων (complex event forecasting) σε ροές δεδομένων ως εφαρμογή της μοντελοποίησης ακολουθιών, επισκόπηση νευρωνικών, στατιστικων και συμβολικών τεχνικών, και νευροσυμβολικές προσεγγίσεις. Ο ρόλος της έγκαιρης πρόβλεψης γεγονότων/καταστάσεων στη λήψη αποφάσεων. 

Διάλεξη 10: Μετάφραση χρονικών λογικών σε αυτόματα πεπερασμένων καταστάσεων και διαφορίσιμος χρονικός συμπερασμός. Νευροσυμβολικές τεχνικές εκμάθησης λογικής δομής από πολυτροπικά χρονικά δεδομένα. Εισαγωγή στην εκμάθηση “μοντέλων του κόσμου” (world models) και στη χρήση νευροσυμβολικών εκδοχών τέτοιων μοντέλων για την αποδοτική, ελεγχόμενη και αξιόπιστη λήψη αποφάσεων.  

Διάλεξη 11: Ενδεικτικά ερευνητικά θέματα και επισκόπηση ερευνητικών κατευθύνσεων αιχμής στη νευροσυμβολική ΤΝ.

Ενδεικτικη βιβλιογραφια

• Hitzler, P., & Sarker, M. K. (Eds.), Neuro-Symbolic Artificial Intelligence: The State of the Art, IOS Press, 2022

• Marra, G., Dumančić, S., Manhaeve, R., & De Raedt, L., From Statistical Relational to Neurosymbolic Artificial Intelligence: A survey. Artificial Intelligence, 2024.

• Shakarian, P., Baral, C., Simari, G. I., Xi, B., & Pokala, L, Neuro-Symbolic Reasoning and Learning, Springer, 2023

• Barber, D., Bayesian Reasoning and Machine Learning, Cambridge University Press, 2012

• Wooldridge, M., An Introduction to Multiagent Systems, John wiley & sons, 2009

• Hopcroft, J. E., Motwani, R., & Ullman, J. D.,  Introduction to Automata Theory, Languages, and Computation, 3rd Edition, Addison-Wesley, 2007

• Darwiche, A., & Marquis, P. (2002). A Knowledge Compilation Map. Journal of Artificial Intelligence Research, 17, 229-264.

• Gallager, Robert G. Stochastic processes: theory for applications. Cambridge University Press, 2013.

• Hyndman, Rob J., and George Athanasopoulos. Forecasting: principles and practice. OTexts, 2018.

• Giatrakos, Nikos, et al. "Complex event recognition in the big data era: a survey." The VLDB Journal 29.1 (2020): 313-352.

• Selected research articles related to the lectures

Σχετικά MSc courses:

• University of California, Berkeley: Neurosymbolic AI

• Carnegie Mellon University: Neuro-Symbolic AI

• TU Wien, Master in Logic and Artificial Intelligence: Neurosymbolic Reasoning module

• University of Liverpool: Neuro-Symbolic AI and Knowledge Engineering

• Chalmers University of Technology (Sweden): Neuro-symbolic AI