Knowledge transfer in human-artificial intelligence collaboration / Η μεταφορά γνώσης στη συνεργασία ανθρώπου-τεχνητής νοημοσύνης

Summary

Socially aware AI agents should be able, among other things, to collaborate fluently with a human in tasks that require interdependent action in order to be solved. Towards enhancing mutual performance, collaborative AI agents should be equipped with adaptation and learning capabilities. However, co-learning requires long training intervals so that both partners learn and adapt to each other. To alleviate this, transfer learning methods could be explored to shorten training and improve performance. In the current thesis, we studied the experience and performance of human-agent teams in a task where a human and a Deep Reinforcement Learning (DRL) Soft-Actor-Critic (SAC) agent needs to learn in real-time how to collaborate in order to achieve a common goal.

To test the benefits of transfer learning, a Learning from Demonstration method was used that utilized demonstration data from a human-agent expert team to facilitate the co-learning procedure. The proposed methods were evaluated through a study with 8 different human-agent teams, half of which played the game without transfer learning, while the rest with transfer learning. The results indicate that applying transfer learning in scenarios where the agent needs to collaborate with different humans has the potential to shorten training duration and improve the overall experience.

Περίληψη

Οι κοινωνικά ευαισθητοποιημένοι πράκτορες τεχνητής νοημοσύνης θα πρέπει να είναι ικανοί, μεταξύ άλλων, να συνεργάζονται με έναν άνθρωπο σε καθήκοντα που απαιτούν αλληλεξαρτώμενες ενέργειες για την επίλυσή τους. Για την ενίσχυση της αμοιβαίας απόδοσης, οι συνεργατικοί πράκτορες τεχνητής νοημοσύνης θα πρέπει να διαθέτουν ικανότητες προσαρμογής και μάθησης. Ωστόσο, η συνεκπαίδευση απαιτεί μεγάλα χρονικά διαστήματα εκπαίδευσης, προκειμένου οι δύο εταίροι να μάθουν και να προσαρμοστούν ο ένας στον άλλον. Για την ανακούφιση από αυτό, θα μπορούσαν να εξεταστούν μέθοδοι μεταφοράς μάθησης προκειμένου να μειωθεί ο χρόνος εκπαίδευσης και να βελτιωθεί η απόδοση. Στην παρούσα διατριβή, μελετήσαμε την εμπειρία και την απόδοση των ομάδων ανθρώπου-πράκτορα σε μια εργασία όπου ένας άνθρωπος και ένας πράκτορας Βαθιάς Ενισχυτικής Μάθησης (Deep Reinforcement Learning, DRL) τύπου Soft-Actor-Critic (SAC) πρέπει να μάθουν σε πραγματικό χρόνο πώς να συνεργάζονται για την επίτευξη ενός κοινού στόχου.

Για να δοκιμαστούν τα οφέλη της μεταφοράς μάθησης, χρησιμοποιήθηκε μια μέθοδος Μάθησης από Επίδειξη (Learning from Demonstration), η οποία χρησιμοποίησε δεδομένα επίδειξης από μια ομάδα ειδικών ανθρώπου-πράκτορα για να διευκολύνει τη διαδικασία συνεκπαίδευσης. Οι προτεινόμενες μέθοδοι αξιολογήθηκαν μέσω μιας μελέτης με 8 διαφορετικές ομάδες ανθρώπου-πράκτορα, εκ των οποίων οι μισές έπαιξαν το παιχνίδι χωρίς μεταφορά μάθησης, ενώ οι υπόλοιπες με μεταφορά μάθησης. Τα αποτελέσματα δείχνουν ότι η εφαρμογή της μεταφοράς μάθησης σε σενάρια όπου ο πράκτορας πρέπει να συνεργαστεί με διαφορετικούς ανθρώπους έχει τη δυνατότητα να μειώσει τη διάρκεια εκπαίδευσης και να βελτιώσει τη συνολική εμπειρία.