Neuro-symbolic Complex Event Recognition in Autonomous Driving / Νευρο-συμβολική Αναγνώριση Σύνθετων Συμβάντων στην Αυτόνομη Οδήγηση

Summary

Complex Event Recognition (CER) aims to efficiently recognize temporal events and respond accordingly. Sometimes, these events need to be recognized from other modalities rather than simple numerical data, with video being a common modality. One example is in the autonomous driving domain, where different events must be recognized from the perspective of an autonomous vehicle. However, most deep learning methods that solve computer vision tasks function as black boxes, a characteristic unsuitable for such high-risk applications. Also, they cannot use existing domain knowledge, e.g. known patterns to be recognized. In this work, we proposed a neuro-symbolic approach that recognizes complex road events by combining existing explainable CER technology with computer vision methods. We applied our method to the prediction of ‘overtake' incidents and evaluated it on both this complex event and the simpler events it comprises of, comparing it to a purely neural approach. While our proposed method performed better overall, the key finding in our research was its ability to yield good results with smaller and simpler networks, as compared to neural baselines, which required significantly larger networks to achieve the same performance.

Περίληψη:

Η αναγνώριση σύνθετων συμβάντων (CER) στοχεύει στην αποδοτική αναγνώριση χρονικών συμβάντων και την αντίδραση σε αυτά. Μερικές φορές, αυτά τα συμβάντα πρέπει να αναγνωριστούν από άλλες μορφές δεδομένων πέρα από απλά αριθμητικά δεδομένα, με το βίντεο να αποτελεί μια συνηθισμένη μορφή. Ένα παράδειγμα είναι ο τομέας της αυτόνομης οδήγησης, όπου πρέπει να αναγνωρίζονται διάφορα συμβάντα από την οπτική γωνία ενός αυτόνομου οχήματος. Ωστόσο, οι περισσότερες μέθοδοι βαθιάς μάθησης που επιλύουν προβλήματα υπολογιστικής όρασης λειτουργούν ως «μαύρα κουτιά», ένα χαρακτηριστικό ακατάλληλο για τέτοιες εφαρμογές υψηλού κινδύνου. Επιπλέον, δεν μπορούν να αξιοποιήσουν την υπάρχουσα γνώση του τομέα, π.χ. γνωστά μοτίβα που πρέπει να αναγνωριστούν. Σε αυτή την εργασία, προτείνουμε μια νευρο-συμβολική προσέγγιση που αναγνωρίζει σύνθετα οδικά συμβάντα συνδυάζοντας την υπάρχουσα εξηγήσιμη τεχνολογία CER με μεθόδους υπολογιστικής όρασης. Εφαρμόσαμε τη μέθοδό μας στην πρόβλεψη συμβάντων «προσπέρασης» και την αξιολογήσαμε τόσο για αυτό το σύνθετο συμβάν όσο και για τα απλούστερα συμβάντα από τα οποία αποτελείται, συγκρίνοντάς τη με μια προσέγγιση βαθειας μάθησης. Παρόλο που η προτεινόμενη μέθοδός μας είχε καλύτερη απόδοση συνολικά, το κύριο εύρημα της έρευνάς μας ήταν η ικανότητά της να παράγει καλά αποτελέσματα με μικρότερα και απλούστερα δίκτυα, σε σύγκριση με την κλασική νευρωνική προσέγγιση, η οποία απαιτούσε σημαντικά μεγαλύτερα δίκτυα για να επιτύχει την ίδια απόδοση.