Few shot learning: an overview of methods, applications and benchmarks / Μάθηση με λίγα παραδείγματα: μια επισκόπηση μεθόδων, εφαρμογών και δοκιμαστικών συνόλων

Summary

Few-Shot Learning (FSL) is an emerging research trend in the field of neural networks, as it enables algorithms and models to rapidly adapt to previously unseen data using only a limited number of examples. This efficiency is crucial, serving as a key enabler for Green AI and edge device computing within the Internet of Things, where algorithms must operate under limited computational and data resources. This thesis examines the fundamental principles of FSL and its early experimental developments, which were conducted primarily on computer vision tasks, before extending to the audio and natural language processing (NLP) domains and their most recent advancements.

The architectures, methods, and datasets relevant to these domains are explained in detail. Furthermore, the applications of the explored methods are analyzed within each domain, illustrating their use in specific problems such as object detection. An implementation report-replicating the aforementioned experimentspresents experiments conducted on audio and image datasets using the most prominent few-shot learning architectures. Finally, experimental results from various works and benchmarks are presented, along with an exploration of the main challenges and potential future research directions in the field.

Περίληψη

Η Μάθηση με Λίγα Παραδείγματα (Few-Shot Learning, FSL) αποτελεί μια αναδυόμενη ερευνητική τάση στον χώρο των νευρωνικών δικτύων, καθώς επιτρέπει σε αλγορίθμους και μοντέλα να προσαρμόζονται γρήγορα σε άγνωστα δεδομένα χρησιμοποιώντας μόνο έναν περιορισμένο αριθμό δειγμάτων. Η αποδοτικότητα αυτή είναι κρίσιμη και λειτουργεί ως βασικός παράγοντας για την ανάπτυξη “Πράσινης Τεχνητής Νοημοσύνης” (Green AI) και για υπολογιστικά συστήματα σε συσκευές αιχμής στο Διαδίκτυο των Πραγμάτων (IoT), όπου οι αλγόριθμοι πρέπει να λειτουργούν με περιορισμένους υπολογιστικούς πόρους και δεδομένα. Η παρούσα διπλωματική εργασία εξετάζει τα θεμελιώδη στοιχεία του FSL και τις πρώιμες πειραματικές εφαρμογές του, οι οποίες πραγματοποιήθηκαν κυρίως σε προβλήματα υπολογιστικής όρασης, προτού επεκταθούν στα πεδία του ήχου και της επεξεργασίας φυσικής γλώσσας (NLP) και στις πιο πρόσφατες εξελίξεις τους.

Οι αρχιτεκτονικές, οι μέθοδοι και τα σύνολα δεδομένων που σχετίζονται με αυτά τα πεδία αναλύονται διεξοδικά.Επιπλέον, παρουσιάζονται οι εφαρμογές των μεθόδων που εξετάζονται σε κάθε τομέα, δείχνοντας τη χρήση τους σε συγκεκριμένα προβλήματα, όπως η ανίχνευση αντικειμένων. Μια έκθεση υλοποίησης - που αναπαράγει τα προαναφερθέντα πειράματα - παρουσιάζει πειράματα σε σύνολα δεδομένων ήχου και εικόνας χρησιμοποιώντας τις πιο σημαντικές αρχιτεκτονικές Few-Shot Learning. Τέλος, παρατίθενται πειραματικά αποτελέσματα από διάφορες εργασίες και benchmarks, μαζί με μια ανάλυση των βασικών προκλήσεων και των πιθανών μελλοντικών κατευθύνσεων έρευνας στον τομέα.