Face anti-spoofing detection methods / Εντοπισμός πλαστογραφίας προσώπου από κανάλια RGB

Summary

We have entered an era of misinformation, fake news and impersonation fuelled by Ar- tificial Intelligence (AI). Visual content have been jeopardized by malicious entities in an attempt to fool security systems by pretending someone else’s identity. Such entities, usually seek elevated access to critical infrastructures like online banking, government administration services and any KYC system. A Biometric’s system task, is to deploy security checks and measures to verify someones identity and authenticity(liveness).

Given the societal impact of such commodification of impersonation, our research pro- poses learning-based methods with focus on learning to perform well on a significantly different target distributions a.k.a Domain Adaptation and Domain Generalization. In Deep Learning (DL), model performance depends heavily on the presence of high vari- ation within training examples and usually, Machine Learning practitioners aim to collect data in such way that will guide model’s ability to generalize. However, even with enormous amount of data there is no guarantee that a model would perform equally well to unseen data in the same domain. In our research, we explore and evaluate different deep and machine learning methods in an attempt to learn discriminative features that could generalize to several academic datasets and datasets in-the-wild.

We define a classic binary classification problem which is used as a baseline model. We use Deep Convolutional Neural Networks(CNN) and two commonly used backbones, Resnet18 and EfficientNetb4. Then, we transform the task into a multi-task learning with auxiliary fully-connected heads and explore the impact in generalization and adaptation, and use different deep metric losses such Cen- ter Loss and Triplet Loss and Gradients Orthogonality. Finally, we investigate hand- crafted features such Histogram of Oriented Gradients(HOG) and Local Binary Pat- terns(LBP) and train classic machine learning classifier (eg. Support Vector Machine).

Περίληψη

Έχουμε εισέλθει σε μια εποχή παραπληροφόρησης, ψευδών ειδήσεων και απομίμησης που ενισχύεται από την Τεχνητή Νοημοσύνη (AI). Το οπτικό περιεχόμενο έχει τεθεί σε κίνδυνο από κακόβουλους φορείς, οι οποίοι προσπαθούν να παραπλανήσουν τα συστήματα ασφαλείας, προσποιούμενοι την ταυτότητα άλλων. Αυτοί οι φορείς συνήθως επιδιώκουν αυξημένη πρόσβαση σε κρίσιμες υποδομές, όπως η διαδικτυακή τραπεζική, οι υπηρεσίες κυβερνητικής διοίκησης και οποιοδήποτε σύστημα KYC (Γνώρισε τον Πελάτη Σου). Ο στόχος ενός συστήματος βιομετρίας είναι να αναπτύξει ελέγχους ασφαλείας και μέτρα για να επαληθεύσει την ταυτότητα και την αυθεντικότητα (ζωντάνια) ενός ατόμου.

Δεδομένου του κοινωνικού αντίκτυπου αυτής της εμπορευματοποίησης της απομίμησης, η έρευνά μας προτείνει μεθόδους βασισμένες στη μάθηση με έμφαση στην εκμάθηση για καλή απόδοση σε σημαντικά διαφορετικές κατανομές στόχου, γνωστές και ως Προσαρμογή Τομέα (Domain Adaptation) και Γενίκευση Τομέα (Domain Generalization). Στην Βαθιά Μάθηση (Deep Learning, DL), η απόδοση του μοντέλου εξαρτάται σε μεγάλο βαθμό από την ύπαρξη υψηλής ποικιλίας στα παραδείγματα εκπαίδευσης και συνήθως οι επαγγελματίες της Μηχανικής Μάθησης επιδιώκουν να συλλέξουν δεδομένα με τρόπο που να καθοδηγεί την ικανότητα του μοντέλου να γενικεύει. Ωστόσο, ακόμη και με τεράστιες ποσότητες δεδομένων, δεν υπάρχει εγγύηση ότι το μοντέλο θα αποδώσει εξίσου καλά σε δεδομένα που δεν έχουν ξαναδεί, στον ίδιο τομέα. Στην έρευνά μας, εξετάζουμε και αξιολογούμε διάφορες μεθόδους βαθιάς και μηχανικής μάθησης προσπαθώντας να μάθουμε διακριτικά χαρακτηριστικά που θα μπορούσαν να γενικεύσουν σε διάφορα ακαδημαϊκά σύνολα δεδομένων και σύνολα δεδομένων στον πραγματικό κόσμο.

Ορίζουμε το κλασικό πρόβλημα δυαδικής ταξινόμησης το οποίο χρησιμοποιείται ως μοντέλο αναφοράς. Χρησιμοποιούμε Βαθιά Συνελικτικά Νευρωνικά Δίκτυα (CNN) και δύο ευρέως χρησιμοποιούμενα υποκείμενα (backbones), το ResNet18 και το EfficientNetb4. Στη συνέχεια, μετατρέπουμε το έργο σε μάθηση πολλαπλών καθηκόντων με βοηθητικά πλήρως συνδεδεμένα κεφάλια και εξετάζουμε την επίδραση στη γενίκευση και την προσαρμογή, χρησιμοποιώντας διαφορετικές βαθιές μετρικές απώλειες, όπως η Απώλεια Κέντρου (Center Loss), η Απώλεια Τριπλέτας (Triplet Loss) και η Ορθογωνιότητα των Γρανάντων (Gradients Orthogonality). Τέλος, ερευνούμε χαρακτηριστικά χειροποίητης εξαγωγής, όπως το Ιστογράφημα Στραμμένων Γρανάντων (HOG) και τα Τοπικά Δυαδικά Μοτίβα (LBP), και εκπαιδεύουμε κλασικούς ταξινομητές μηχανικής μάθησης (π.χ. Υποστηρικτική Μηχανή Διανυσμάτων - Support Vector Machine, SVM).