Ευπάθειες και ανθεκτικότητα στην υπολογιστική όραση

Summary

Η παρούσα διπλωματική εργασία εξετάζει προς την ευρωστία και τις ευπάθειες αρχιτεκτονικές μοντέλων που χρησιμοποιούνται στην υπολογιστική όραση. Η προσέγγιση ως προς την μοντελοποίηση αυτή του προβλήματος, περιλαμβάνει την συλλογή ενος φάσματος αρχιτεκτονικών εκπαιδευμένων μοντέλων που χρησιμοποιούνται ευρέως στην υπολογιστική όραση και συγκεκριμένα τον τομέα του Image classification με μνεία την στροφή του τομέα απο τα CNN στην χρήση των Transformers. Τα μοντέλα αυτά ειναι το Resnet, το Cvt , το Swin transformer, το Vision transfomrer και το Convnext, όπου εξακριβώνουμε την αποδοτικότητά τους στο dataset που έχουν εκπαιδευτει Imagenet-1k και την εφαρμογή τους σε ιδιόμορφο dataset που περιέχει παρόμοιες κλάσεις όπου χρησιμοποιήθηκε το Objectnet.

Αφού παρατηρήσουμε τη μη επάρκειά τους να κρατήσουν τις αρχικές τους μετρικές και μεγάλη απόκλιση εξετάζουμε πιθανές αιτίες που πιθανώς επηρεάζουν. Έπειτα αφού διαχωρίζουμε σε κατηγορίες τις κυριότερες ευπάθειες στον τομέα της υπολογιστικής όρασης εκτελούμε μια untargeted white box και μια targeted black box επίθεση στα μοντέλα μας , την FGSM και έναν γενετικό αλγόριθμο αντίστοιχα, αναλύουμε τα αποτελέσματα μας με βάση την αρχιτεκτονική των μοντέλων αυτών. Εξάγουμε συμπεράσματα για το ότι η ευρωστία είναι ενας πολυδιάστατος τομέας που έχουμε ακόμα αρκετό δρόμο μπροστά μας για να τον διασφαλίσουμε και παραθέτουμε τα αποτελέσματα μας σχετικά με το ποιές αρχιτεκτονικες απο αυτές ήταν πιο ανθεκτικές ως προς την ακρίβεια τους στα εκάστοτε πειράματα.