Εγγενώς Ερμηνεύσιμη Q-Μάθηση

Summary

Οι αλγόριθμοι Ενισχυτικής Μάθησης (Reinforcement Learning), ειδικά αυτοί που χρησιμοποιούν Βαθιά Νευρωνικά Δίκτυα (Deep Neural Networks), έχουν επιτύχει σημαντικά και πολλές φορές εντυπωσιακά αποτελέσματα στην επίλυση προβλημάτων σε ένα ευρύ φάσμα εφαρμογών. Δεδομένου ότι οι περισσότερες υλοποιήσεις και αρχιτεκτονικές μοντέλων βασίζονται σε Νευρωνικά Δίκτυα (Neural Networks), τα οποία είναι μη ερμηνεύσιμα εκ κατασκευής, υπάρχει μια αυξανόμενη ανάγκη για ανάπτυξη μεθόδων Ερμηνεύσιμης Ενισχυτικής Μάθησης, προς τη βελτίωση της παρακολούθησης των αποφάσεων του αλγορίθμου και την αύξηση της εμπιστοσύνης προς τα συστήματα Τεχνητής Νοημοσύνης (ΤΝ), καθώς και της συνεργασίας μεταξύ των ευφυών πρακτόρων και του ανθρώπου. Μια πολλά υποσχόμενη προσέγγιση για ερμηνεύσιμες μεθόδους περιλαμβάνει τη χρήση εγγενώς ερμηνεύσιμων μεθόδων όπως τα Δέντρα Αποφάσεων (Decision Trees). Η παρούσα διπλωματική διερευνά την ερμηνευσιμότητα στην Ενισχυτική Μάθηση εισάγοντας τον αλγόριθμο Stochastic Gradient Trees ως βάση για την ανάπτυξη ευφυών πρακτόρων. Για το σκοπό αυτό, προτείνουμε πράκτορες που βασίζονται σε Stochastic Gradient Trees για την εκτέλεση Q-Μάθησης (Q-Learning) και την εκμάθηση αποτελεσματικών πολιτικών σε διάφορα εικονικά περιβάλλοντα. Επιπλέον, γίνεται σύγκριση των ερμηνεύσιμων και των αντίστοιχων μη ερμηνεύσιμων μεθόδων τους σε παρόμοιες συνθήκες για να μελετηθεί συγκριτικά η αποτελεσματικότητά τους στην επίλυση προβλημάτων. Ακόμη, σαν ένα πρώτο βήμα στο πεδίο της συνεργασίας ανθρώπου - ΤΝ χρησιμοποιώντας εγγενώς ερμηνεύσιμες μεθόδους, διεξήχθησαν πειράματα εκπαίδευσης πρακτόρων με στόχο τη δημιουργία μιας μεθόδου όπου η ‘διαφάνεια’ παίζει σημαντικό ρόλο στη βελτίωση της συνεργασίας κατά την επίλυση προβλημάτων.