Investigating the generalization abilities of bottom-up visual saliency models in task-specific scenarios using transfer learning

Summary

Στη διπλωματική αυτή, συνδυάζουμε γνώσεις από δύο διαφορετικά πεδία: το πρώτο αφορά τα υπολογιστικά μοντέλα προσοχής και την πρόβλεψη της εστίασης της όρασης κατά την ελεύθερη παρατήρηση, ενώ το δεύτερο σχετίζεται με τη μεταφορά γνώσης και την ικανότητα γενίκευσης των μοντέλων βαθιάς μάθησης. Εμπνευσμένοι από τις ικανότητες μεταφοράς γνώσης των ανθρώπων, υποθέσαμε πως ένα μοντέλο εστίασης εκπαιδευμένο σε χάρτες που αναπαριστούν τη συμπεριφορά της ανθρώπινης εστίασης της όρασης κατά την ελεύθερη παρατήρηση θα παρουσίαζε αυξημένες ικανότητες γενίκευσης σε σύγκριση με ένα εξειδικευμένο μοντέλο.

Για να ελέγξουμε αυτή την υπόθεση, δημιουργήσαμε διάφορα πειραματικά σενάρια που στόχευαν να αξιολογήσουν εκτενώς τις ικανότητες των δύο αυτών μοντέλων ή πρακτόρων. Σε αυτά τα σενάρια, παρουσιάσαμε στους πράκτορες δύο δοκιμασίες κατάτμησης ζώων: μία παρόμοια με αυτή του εξειδικευμένου πράκτορα και μία διαφορετική.

Συμπεράναμε ότι, για τις πειραματικές μας συνθήκες, ο πράκτορας με τα χαρακτηριστικά της ανθρώπινης οπτικής εστίασης παρουσίασε αυξημένες ικανότητες γενίκευσης, τόσο όταν εφαρμόστηκε απευθείας εκπαίδευση σε κάθε δοκιμασία ξεχωριστά, όσο και όταν η επανεκπαίδευση πραγματοποιήθηκε διαδοχικά.