Στοχος
Με την επιτυχή ολοκλήρωση του μαθήματος ο φοιτητής / η φοιτήτρια θα είναι σε θέση να:
- Κατανοεί την πολυπλοκότητα των βασικών μεθόδων της τεχνητής νοημοσύνης (συμπερασμός, μηχανική μάθηση), σε συνδυασμό με τις ανάγκες των σύγχρονων εφαρμογών, που απαιτούν τη διαχείριση όγκων δεδομένων σε πολλαπλές κλίμακες
- Επιλέγει την καταλληλότερη μέθοδο ΤΝ (αλλά και προ-επεξεργασίας των δεδομένων) αναλόγως των απαιτήσεων του εκάστοτε προβλήματος, βάσει του όγκου των διαθέσιμων δεδομένων και της αφθονίας (ή σπάνης) υπολογιστικών πόρων
- Κατανοεί και να εντοπίζει τις πηγές σφαλμάτων και μεροληπτικών αποφάσεων ενός συστήματος ΤΝ, καθώς και να παρέχει μία ποσοτικοποιημένη αξιολόγησή του ως προς τον όγκο δεδομένων που απαιτεί και τις επιπτώσεις που η αύξηση/μείωση του όγκου έχει στην ακρίβεια, το (υπολογιστικό) κόστος, την αξιοπιστία και την ερμηνευσιμότητά του
- Κατανοεί και να χρησιμοποιεί φορμαλισμούς της τεχνητής νοημοσύνης που επιτρέπουν τη συνέργεια ανθρώπου και μηχανής για την επίλυση προβλημάτων τεχνητής νοημοσύνης, μέσω της κατασκευής ερμηνεύσιμων, επαληθεύσιμων και αξιόπιστων μοντέλων μηχανικής μάθησης (interpretable vs. black-box models)
Περιεχομενα
Οι πρόσφατες εξελίξεις στο πεδίο της παραγωγικής ΤΝ (Generative AI - GenAI) έχουν αναδείξει, με τρόπο εντονότερο από ποτέ, προβληματισμούς σχετικά με το ρόλο της κλιμακωσιμότητας στην ανάπτυξη συστημάτων ΤΝ, αλλά και την αξιοπιστία τέτοιων συστημάτων. Από την μία πλευρά τα τεράστια μεγέθη των δεδομένων εκπαίδευσης και το πλήθους των παραμέτρων ευθύνονται σε μεγάλο βαθμό για τις πρόσφατες εντυπωσιακές επιτυχίες στην ΤΝ. Από την άλλη πλευρά, οι συγκεκριμένες προσεγγίσεις εμφανίζουν σοβαρά προβλήματα αξιοπιστίας, που περιορίζουν σημαντικά τη χρησιμότητά τους σε κρίσιμες εφαρμογές.
Στόχος του μαθήματος είναι η εξοικείωση των φοιτητών με τους σχετικούς προβληματισμούς και την τρέχουσα συζήτηση σχετικά με το ρόλο της κλιμακωσιμότητας και της αξιοπιστίας στην ΤΝ. Παράλληλα, η εξοικείωση με “υβριδικές” τεχνικές ΤΝ, που επιδιώκουν το συνδυασμό μεθόδων από διαφορετικές περιοχές της ΤΝ, με στόχο την ανάπτυξη αξιόπιστων συστημάτων ΤΝ, κλιμακώσιμων σε πολλαπλά επίπεδα (π.χ. τόσο σε μεγάλα, όσο και σε μικρά σύνολα δεδομένων). Οι τεχνικές αυτές διατρέχουν σχεδόν ολόκληρο το "οπλοστάσιο" της ΤΝ, συμπεριλαμβάνοντας τη (βαθιά) μηχανική μάθηση, την αναπαράσταση γνώσης και το συμπερασμό, τη βελτιστοποίηση και τις τυπικές μεθόδους. Ως εκ τούτου, το μάθημα προσφέρει επίσης μια επισκόπηση αυτών των διαφορετικών πεδίων της ΤΝ και των συνδυασμών τους σε εφαρμογές με ιδιαίτερες απαιτήσεις κλιμακωσιμότητας και αξιοπιστίας.
Περιεχόμενο μαθήματος (αναλόγως του διαθέσιμου χρόνου):
- Εισαγωγή: προβλήματα κλιμακωσιμότητας και αξιοπιστίας στην ΤΝ. Μέχρι πού μπορούμε να φτάσουμε με τα “μεγάλα δεδομένα” και πώς μπορούμε να εμπιστευτούμε τη συμπεριφορά ενός συστήματος ΤΝ που έχει εκπαιδευτεί σε αυτά; Αξιόπιστη ΤΝ (Trustworthy AI) και η διεθνής προτυποποίησή της. Διαφάνεια (transparency), ευρωστία (robustness), αξιοπιστία (reliability), αμεροληψία (fairness) κ.α. Επισκόπηση σύνθετων συστημάτων ΤΝ και εφαρμογές με αυξημένες απαιτήσεις κλιμακωσιμότητας και αξιοπιστίας (π.χ. αυτόνομα συστήματα, συστήματα υποστήριξης λήψης ιατρικών αποφάσεων κα).
- Κλιμακωσιμότητα σε μεγάλους όγκους δεδομένων (scale-out, scale-up). Μέθοδοι ΤΝ πραγματικού χρόνου. Χειρισμός Big Data και αναγνώριση προτύπων σε ροές δεδομένων. Κατανεμημένη αναγνώριση προτύπων. Χειρισμός concept drift.
- Κλιμακωσιμότητα σε μικρούς όγκους δεδομένων (scale-in) και σε συνθήκες σπάνης υπολογιστικών πόρων. Εισαγωγή στη μηχανική μάθηση μικρής κλίμακας (Frugal ML). Αξιολόγηση μεθόδων ΤΝ λαμβάνοντας υπόψη περιορισμούς ως προς τον όγκο των διαθέσιμων δεδομένων και των υπολογιστικών πόρων.
- Επισκόπηση συμβολικών τεχνικών. Λογική, αναπαράσταση γνώσης και συμπερασμός, τυπικές γλώσσες και αυτόματα. SAT-based τεχνικές και συνδυαστική βελτιστοποίηση, τυπικές μέθοδοι. Κλιμακωσιμότητα συμβολικών τεχνικών και ο ρόλος τους στην Αξιόπιστη ΤΝ.
- Ερμηνευσιμότητα μοντέλων (interpretable ML) και επεξηγησιμότητα προβλέψεων (explainable AI - ΧΑΙ). Επισκόπηση βασικών XAI μεθόδων (LIME, SHAP, logic-based), παραδείγματα και εφαρμογές. Κλιμακωσιμότητα επεξηγητικών τεχνικών.
- Επισκόπηση μηχανικής μάθησης (νευρωνική, στατιστική, συμβολική) και προβλήματα κλιμακωσιμότητας και αξιοπιστίας. Προβλήματα ευρωστίας στη (βαθιά) μηχανική μάθηση. Τυπική επαλήθευση (formal verification) νευρωνικών μοντέλων. Ευρωστοποίηση (robustification) μέσω εκπαίδευσης με αντιπαραδείγματα επαλήθευσης.
- Τεχνικές συνδυασμού μάθησης και λογικο-πιθανοτικού συμπερασμού, Εισαγωγή στη νευρο-συμβολική ΤΝ (neuro-symbolic AI). Αλγεβρική θεώρηση του λογικού συμπερασμού και διαφορίσιμος συμπερασμός. End-to-end εκπαίδευση νευρωνικών μοντέλων με συμβολική γνώση.
- Νευρο-συμβολικές τεχνικές για την εκμάθηση από λιγότερα δεδομένα και την επιβολή περιορισμών αξιοπιστης συμπεριφοράς σε νευρωνικά μοντέλα. Παραδείγματα λειτουργικών περιορισμών ορθότητας, ασφάλειας και αμεροληψίας.
- Νευρο-συμβολικές τεχνικές και Παραγωγική ΤΝ (Generative AI). Κλιμακωσιμότητα, ερμηνευσιμότητα και ορθή συμπεριφορά.
- Τυπική επαλήθευση νευρο-συμβολικών μοντέλων και σύνθετων συστημάτων. Από την αξιοπιστία των επί μέρους συστατικών στην αξιοπιστία συστήματος. Τυπική επαλήθευση ιδιοτήτων υψηλού επιπέδου (verification of system-level properties).
Ενδεικτικη βιβλιογραφια
- Kaur, D., Uslu, S., Rittichier, K. J., & Durresi, A., Trustworthy Artificial Intelligence: A Review. ACM computing surveys (CSUR), 2022
- Darwiche, A. Three Modern Roles for Logic in AI. ACM SIGMOD-SIGACT-SIGAI Symposium on Principles of Database Systems, 2020.
- Marques-Silva J. and Ignatiev A., Delivering Trustworthy AI through Formal XAI, AAAI, 2022
- Albarghouthi, A. Introduction to neural network verification. Foundations and Trends in Programming Languages, 2021.
- Hitzler, P., & Sarker, M. K. (Eds.), Neuro-Symbolic Artificial Intelligence: The State of the Art, IOS Press 2022
- Marra, G., Dumančić, S., Manhaeve, R., & De Raedt, L. From statistical relational to neurosymbolic artificial intelligence: A survey. Artificial Intelligence, 2024.
-Συναφή επιστημονικά περιοδικά:
- Journal of Artificial Intelligence Research (JAIR), ISSN: 1076-9757
- Journal of Machine Learning Research (JMLR), ISSN 1533-7928
- Artificial Intelligence, Springer, ISSN: 0269-2821
- Neurosymbolic Artificial Intelligence, 2949-8732
- Machine Learning, Springer, ISSN: 0885-6125
- Συναφή συνέδρια:
- Όλα τα συνέδρια τεχνητής νοημοσύνης και μηχανικής μάθησης: AAAI, IJCAI, KR, ECAI, ICML, ECML, NeurIPS.
