Neurο-symbolic answer set programming for human activity recognition in videos / Νευροσυμβολικός προγραμματισμός απαντήσεων για την αναγνώριση ανθρώπινων δραστηριοτήτων σε βίντεο

Summary

Machine / Deep Learning and Machine Reasoning are considered two different subfields of Artificial Intelligence. With machine learning methods we can build models with low level perceptual capabilities and with logic based methods we can extract information and perform reasoning at a higher level. Combining neural learning methods with logic-based techniques could help create systems that are able to perceive their environment and infer the data given as input.

In this thesis, we will focus on neurosymbolic computation, where the combination of deep learning and reasoning is achieved through an existing framework called NeurAsp. We will go through simple examples that demonstrate NeurAsp’s capabilities and show how it works and integrates internally with traditional deep learning methods. The main goal of this thesis is to apply this method to the task of detecting human activity in videos with the usage of Complex Event Recognition (CER) techniques. Finally, we will show the benefits of integrating logic-based techniques with neural methods by presenting three different experimental setups in which we compare the performances of pure traditional deep learning methods and those proposed by the NeurAsp framework.

Περίληψη

Η μηχανική μάθηση (Machine / Deep learning) και ο συλλογισμός μέσω ανα- παράστασης γνώσης (Machine reasoning) θεωρούνται δυο διαφορετικά πεδία της Τεχνητής Νοημοσύνης. Μέσω της μηχανικής μάθησης επιτυγχάνουμε τη δημιουρ- γία μοντέλων που έχουν αντιληπτικές δυνατότητες χαμηλού επιπέδου όπως ταξι- νόμηση και πρόβλεψη ενώ μέσω του συλλογισμού με τη χρήση κατάλληλων ανα- παραστάσεων και τεχνικών λογικής (logic based reasoning) επιτυγχάνουμε την εξαγωγή συμπερασμάτων και πληροφορίων σε υψηλότερο επίπεδο. Ο συνδυασμός αυτών των δυο διαφορετικών πεδίων (neural-based learning , logic-based reason- ing) θα μπορούσε να συμβάλει στη δημιουργία νέων συστημάτων τα οποία θα είναι ικανά να έχουν αντίληψη του περιβάλλοντος και να μπορούν να εξάγουν συμπεράσματα πάνω στα δεδομένα που τους έχουν δοθεί.

Στην παρούσα διπλωματική θα επικεντρωθούμε στο Neural-symbolic computation με το οποίο επιτυγχάνεται ο συνδυασμός deep-learning και συλλογισμού μέσω μιας υπάρχουσας μεθόδου και λογισμικού με το όνομα NeurAsp. Αρχικά μέσω απλών παραδειγμάτων θα παρου- σίασουμε τις δυνατότητες αυτής της μεθόδου και πως αυτή λειτουργεί εσωτερικά και ενσώματώνεται με τις παραδοσιακές μεθόδους μηχανικής μάθησης και στην συνέχεια θα έφαρμόσουμε την μέθοδο αυτή στην αναγνώριση δραστηριοτήτων σε βίντεο μεταξύ ανθρώπων χρησιμοποιοώντας παράλληλα τεχνικές αναγνώρησης πε- ρίπλοκων γεγονότων Complex Event Recognition (CER). Συγκεκρίμενα μέσω τριών πειραμάτων στα οποία συγκρίνουμε τόσο τις παραδοσιακές μεθόδους βαθιάς μηχανικής μάθησης όσο και αυτές του NeurAsp θα επιχειρήσουμε να αναδείξουμε τα ωφέλη των μεθόδων που συνδυάζουν μηχανισμούς λογικής μαζί με την βαθιά μηχανική μάθηση.