Investigating the generalization abilities of bottom-up visual saliency models in task-specific scenarios using transfer learning

Summary

In this thesis, we combine knowledge from two different topics: the first is computational models of attention and free-viewing fixation prediction, and the second is transfer learning and the generalization ability of deep learning models. Inspired by human transfer learning abilities, we hypothesized that a fixation model trained on fixation maps representing human free-viewing behavior would have increased generalization abilities compared to a task-optimized model.

To test this hypothesis, we created different experimental scenarios that aimed to extensively compare the generalization abilities of these two models or agents. In these scenarios, we introduced two animal image segmentation tasks between the agents: one similar and one dissimilar to that of the task-optimized agent.

We concluded that, for our experimental conditions, the fixation agent did exhibit increased generalization abilities, both when direct training was applied to each task separately and when retraining was performed successively.

Περίληψη

Στη διπλωματική αυτή, συνδυάζουμε γνώσεις από δύο διαφορετικά πεδία: το πρώτο αφορά τα υπολογιστικά μοντέλα προσοχής και την πρόβλεψη της εστίασης της όρασης κατά την ελεύθερη παρατήρηση, ενώ το δεύτερο σχετίζεται με τη μεταφορά γνώσης και την ικανότητα γενίκευσης των μοντέλων βαθιάς μάθησης. Εμπνευσμένοι από τις ικανότητες μεταφοράς γνώσης των ανθρώπων, υποθέσαμε πως ένα μοντέλο εστίασης εκπαιδευμένο σε χάρτες που αναπαριστούν τη συμπεριφορά της ανθρώπινης εστίασης της όρασης κατά την ελεύθερη παρατήρηση θα παρουσίαζε αυξημένες ικανότητες γενίκευσης σε σύγκριση με ένα εξειδικευμένο μοντέλο.

Για να ελέγξουμε αυτή την υπόθεση, δημιουργήσαμε διάφορα πειραματικά σενάρια που στόχευαν να αξιολογήσουν εκτενώς τις ικανότητες των δύο αυτών μοντέλων ή πρακτόρων. Σε αυτά τα σενάρια, παρουσιάσαμε στους πράκτορες δύο δοκιμασίες κατάτμησης ζώων: μία παρόμοια με αυτή του εξειδικευμένου πράκτορα και μία διαφορετική.

Συμπεράναμε ότι, για τις πειραματικές μας συνθήκες, ο πράκτορας με τα χαρακτηριστικά της ανθρώπινης οπτικής εστίασης παρουσίασε αυξημένες ικανότητες γενίκευσης, τόσο όταν εφαρμόστηκε απευθείας εκπαίδευση σε κάθε δοκιμασία ξεχωριστά, όσο και όταν η επανεκπαίδευση πραγματοποιήθηκε διαδοχικά.