The DeepProbCEP system for Neuro-Symbolic Complex Event Recognition / Το DeepProbCEP σύστημα για Νευροσυμβολική Αναγνώριση Σύνθετων Γεγονότων

Summary

This research delves into the intersection of neural networks and symbolic reasoning, particularly focusing on the application of neural-symbolic learning and reasoning in Complex Event Recognition (CER). Central to this study is the exploration of DeepProbLog, a cutting-edge neuralsymbolic framework. DeepProbLog distinguishes itself by adeptly integrating logical expressiveness with the statistical strength of neural networks and probabilistic programming. While the Neuroplex framework also offers a robust blend of neural networks and logical programming, DeepProbLog was chosen for its enhanced ability to model uncertainty directly and to learn efficiently from sparse data. The strength of DeepProbLog lies in its ability to reason over high-level concepts and relationships using probabilistic logic programming, combined with its proficiency in handling sparse data through probabilistic reasoning. This framework enables the declarative definition of complex event patterns, facilitating nuanced CER by directly modeling and reasoning across diverse data representations. This thesis presents a thorough evaluation of DeepProbCEP, an extension of DeepProbLog, across various CER tasks in MNIST dataset. It includes a detailed comparative analysis against models rooted exclusively in either neural or symbolic approaches, highlighting their intrinsic strengths and limitations. The research offers valuable insights into potential future advancements in CER, focusing on the utilization of DeepProbCEP. While the primary focus of this research is on DeepProbCEP due to its capabilities in modeling uncertainty and learning from sparse data, the potential of Neuroplex within the CER domain is also acknowledged. This study contributes to the field by not only substantiating the promise of DeepProbCEP as a framework for CER but also by setting a foundation for future explorations and advancements in neural-symbolic learning and reasoning.

Περίληψη

Αυτή η έρευνα εξερευνά τη συμβολή των νευρωνικών δικτύων και της συμβολικής συλλογι- στικής, επικεντρώνοντας ιδιαίτερα στην εφαρμογή της νευρο-συμβολικής μάθησης και συλλογι- στικής στην Αναγνώριση Σύνθετων Συμβάντων (CER). Κεντρικό στοιχείο αυτής της μελέτης είναι η εξερεύνηση του DeepProbLog, ενός κορυφαίου νευρο-συμβολικού πλαισίου. Το DeepProbLog διακρίνεται από την επιδέξια ενσωμάτωση της λογικής εκφραστικότητας με τη στατιστική δύναμη των νευρωνικών δικτύων και του προγραμματισμού πιθανοτήτων. Ενώ το πλαίσιο Neuroplex προ- σφέρει επίσης έναν αξιόπιστο συνδυασμό νευρωνικών δικτύων και λογικού προγραμματισμού, το DeepProbLog επιλέχθηκε για τη βελτιωμένη του ικανότητα να μοντελοποιεί απευθείας την αβε- βαιότητα και να μαθαίνει αποτελεσματικά από σπάνια δεδομένα. Η δύναμη του DeepProbLog βρίσκεται στην ικανότητά του να συλλογίζεται πάνω σε υψηλού επιπέδου έννοιες και σχέσεις χρησιμοποιώντας πιθανοτικό λογικό προγραμματισμό, σε συνδυασμό με την επάρκειά του στο χειρισμό σπάνιων δεδομένων μέσω πιθανοτικού συλλογισμού. Αυτό το πλαίσιο επιτρέπει τον δη- λωτικό ορισμό πολύπλοκων μοτίβων συμβάντων, διευκολύνοντας την περίπλοκη CER μέσω του άμεσου μοντελοποιητικού και συλλογιστικού εργαστηρίου πάνω σε διάφορες αναπαραστάσεις δεδομένων. Αυτή η διατριβή παρουσιάζει μια λεπτομερή αξιολόγηση του DeepProbCEP, μιας επέκτασης του DeepProbLog, σε διάφορες εργασίες CER στο σύνολο δεδομένων MNIST. Περι- λαμβάνει μια λεπτομερή συγκριτική ανάλυση έναντι μοντέλων που βασίζονται αποκλειστικά σε νευρικές ή συμβολικές προσεγγίσεις, επισημαίνοντας τα εγγενή τους πλεονεκτήματα και περιορι- σμούς. Η έρευνα προσφέρει πολύτιμες πληροφορίες για πιθανές μελλοντικές προόδους στη CER, επικεντρωμένες στη χρήση του DeepProbCEP. Ενώ το κύριο επίκεντρο αυτής της έρευνας είναι το DeepProbCEP λόγω των ικανοτήτων του στη μοντελοποίηση της αβεβαιότητας και της μάθησης από σπάνια δεδομένα, αναγνωρίζεται επίσης το δυναμικό του Neuroplex εντός του τομέα CER. Αυτή η μελέτη συμβάλλει στον τομέα όχι μόνο επιβεβαιώνοντας την υπόσχεση του DeepProbCEP ως πλαισίου για την CER αλλά και θέτοντας τα θεμέλια για μελλοντικές εξερευνήσεις και προό- δους στη νευρο-συμβολική μάθηση και συλλογιστική.

Keywords

Neural-symbolic learning ; Complex event recognition ; DeepProbLog ; DeepProb- CEP ; Neural networks ; Symbolic inference ; Temporal reasoning ; Knowledge representation ; Deep learning ; MNIST