A comparative study on explainable machine learning models for fact checking / Μια συγκριτική μελέτη πάνω σε εξηγήσιμα μοντέλα μηχανικής μάθησης για διαταύρωση ισχυρισμών

Summary

Fact checking, as the task of assessing the validity of a claim or a piece of news, is a very important process for both journalists and public, especially in the era of social media. A huge amount of research has been addressed towards finding automated solutions for this problem. The recent advancements on Artificial Intelligence and Machine Learning have provided tools and frameworks with very good results. Especially with the recent enhancements of hardware, the development of state-of-the-art algorithms and mostly the availability of high quality data, tremendous progress has been made.

With the broader use of such methods the request for reliability has began to emerge. That means that models should not appear as black boxes but their actions should be clear and understandable by humans. The two terms which describe that need are interpretability and explainability. Interpretability can be viewed as the ability of a machine learning model’s actions to be transparent, while explainability is the ability of the model to use human understandable means of providing explanations about it’s actions.

Different approaches have been proposed in order to achieve such models, and discussions have risen on the usefulness of certain methods. In this thesis we study two different explanation approaches. One uses a set of words that helped the most in in the fact checking process, and the other uses short summaries extracted from ruling articles. Then we propose a new high level taxonomy of claim justifications which can serve as an evaluation method for the aforementioned approaches as well as for a new means of explanation.

Περίληψη:

Η διασταύρωση ισχυρισμών, η οποία ορίζεται ως η διαδικασία αξιολόγησης της εγκυρότητας ενός ισχυρισμού ή μίας είδησης, είναι μια πολύ σημαντική διαδικασία τόσο για τους δημοσιογράφους όσο και για το κοινό, ιδιαιτέρως στην εποχή των μέσων κοινωνικής δικτύωσης. Μεγάλο κομμάτι έρευνας έχει ως στόχο του την δημιουργία αυτοματοποιημένων λύσεων και εργαλείων που αφορούν στη διασταύρωση ισχυρισμών. Η πρόσφατη πρόοδος στον τομέα της Τεχνητής Νοημοσύνης και ιδιαίτερα της Μηχανικής Μάθησης βοήθησαν στη δημιουργία τέτοιον εργαλείων και μάλιστα με πολύ καλά αποτελέσματα.

Οι βελτιώσεις στον τομέα του υλικού των ηλεκτρονικών υπολογιστών, η ανάπτυξη μοντέρνων αλγορίθμων αλλά κυρίως η συγκέντρωση και δημόσια διάθεση υψηλής ποιότητας δεδομένων, βοήθησαν ιδιαίτερα σε αυτή την πρόοδο. Βέβαια, με την διάδωση της χρήση τέτοιων μεθόδων ανέκυψε και το ζητούμενο της αξιοπιστίας. Τα μοντέλα που αναπτύσσονται γι’ αυτό τον σκοπό θα πρέπει να εγκαταλείψουν την κλασική δομή του ’μαύρου κουτιού’ και να υιοθετήσουν πιο διαφανείς μεθόδους έτσι ώστε οι δράσεις και οι επιλογές τους να μπορούν να γίνουν εύκολα αντιληπτές από τον άνθρωπο. Οι δύο έννοιες που περιγράφουν αυτή η ανάγκη είναι, η ερμηνευσιμότητα και η εξηγησιμότητα. Η ερμηνευσιμότητα περιγράφει την ικανότητα ενός συστήματος να παρέχει διαφάνεια ως προς τις δράσεις του, ενώ η εξηγησιμότητα περιλαμβάνει το μέσο που χρησιμοποιείται για να γίνουν αντιληπτοί ο λόγοι οι οποίοι οδήγησαν σε αυτές τις δράσεις.

Οι ερευνητές έχουν προτείνει διαφορετικούς τρόπους για να δημιουργήσουν μοντέλα που περιλαμβάνουν αυτές τις ιδιότητες, ενώ ταυτόχρονα γίνονται συζητήσεις ως προς την χρησιμότητα κάποιων εξ αυτών. Στην παρούσα εργασία μελετάμε δυο διαφορετικές μεθόδους. Η μία χρησιμοποιεί ως μέσο εξήγησης ένα σύνολο από λέξεις που βοήθησαν περισσότερο το μοντέλο να καταλήξει στο συμπέρασμα της διασταύρωσης του ισχυρισμού, και η άλλη χρησιμοποιεί μικρές περιλήψεις από άρθρα διασταύρωσης ισχυρισμών. Στο πλαίσιο αυτής της μελέτης προτείνουμε τη δημιουργία μιας νέας ταξονομίας τόσο για την αξιολόγηση των παραπάνω μεθόδων αλλά και ως ένα νέο μέσο εξηγησιμότητας.