Argumentative sentence classification using transfer learning across languages / Ταξινόμηση επιχειρηματολογικών προτάσεων με χρήση μάθησης μεταφοράς σε διάφορες γλώσσες

Summary

Transfer learning is one practice that is commonly being used for making machine learning tasks quicker and more successful. This practice can be also useful for text analysis and machine learning. “Argument mining” is one of the natural language processing tasks that “Transfer Learning” can be used. Most of the research and development for machine learning tasks happens in English language and this phenomenon can help for taking that kind of knowledge to use it for other languages in machine learning and deep learning tasks using “Transfer Learning”. Transfer Learning practices is also going to be used in this work.

Making argument identification in sentences by applying transfer learning technics. A sentence is going to be argumentative when contains a claim or premise.The main idea is that the contextual embeddings which have been trained in English language are going to be aligned to the Greek model embeddings in order to make the predictions in Greek sentences. This technique is called Language Distillation [1] and in this related work has been used with a variety of embeddings. Parallel corpus dataset that contains sentences from source language (English) and target language (Greek) is the main weapon in order to make that kind of transfer learning.

Datasets that were used are the Essays corpus in the original and its translated form in Greek as well as the parallel sentences from TEDex 2020 talks. Data preparation was also one important step in order to transform the data into a sentence form with label of argumentative or not. Data augmentation practice was also used since volume of classes was imbalanced. The transformer based approach that took place in that thesis uses BERT [3], SBERT [4] and XLM-Roberta [5] models in relation of a deep learning model in order to produce the final prediction.

Περίληψη

H Μεταφορά μάθησης (“Transfer Learning”) είναι μια πρακτική που χρησιμοποιείται συνήθως για να γίνουν οι εργασίες μηχανικής μάθησης γρηγορότερες και πιο επιτυχημένες. Αυτή η πρακτική μπορεί επίσης να είναι χρήσιμη για ανάλυση κειμένου και τη μηχανική μάθηση. Το “Argument Mining” η αλλιώς ‘Εξόρυξη Επιχειρηματολογίας’ είναι μια κατηγορία επεξεργασίας φυσικής γλώσσας που μπορεί να χρησιμοποιηθεί η ‘Μεταφορά μάθησης’ (“Transfer Learning”). Το μεγαλύτερο μέρος της έρευνας και της ανάπτυξης συμβαίνει συνήθως στην αγγλική γλώσσα και αυτό το φαινόμενο μπορεί να βοηθήσει στη λήψη γνώσης από την Αγγλική γλώσσα για να χρησιμοποιηθεί για άλλες γλώσσες σε πρακτικές μηχανικής μάθησης και βαθιάς μάθησης. Αυτή είναι μια πρακτική που θα χρησιμοποιηθεί για τη σχετική εργασία.

Η αναγνώριση επιχειρήματος σε προτάσεις με την εφαρμογή τεχνικών μεταφοράς μάθησης. Μια πρόταση πρόκειται να περιέχει επιχείρημα όταν ένας ισχυρισμός, προκείμενη η συμπέρασμα είναι επιχειρήματα. Η κύρια ιδέα της μελέτης μας, βασίζετε στα contectual embeddings τα οποία έχουν εκπαιδευτεί στην αγγλική γλώσσα και πρόκειται να ευθυγραμμιστούν με την χρήση παράλληλου dataset με στόχο την δημιουργία ελληνικών embeddings για να κάνουν τις προβλέψεις σε ελληνικές προτάσεις. Αυτή η τεχνική που ονομάζεται “Language Distillation” (Απόσταξη Γλώσσας) [1] και σε αυτή τη σχετική εργασία χρησιμοποιείται με μια ποικιλία από embeddings . Το σύνολο δεδομένων των παράλληλων προτάσεων από τη γλώσσα πηγής (Αγγλικά) και τη γλώσσα στόχο (Ελληνικά) είναι το κύριο όπλο για να γίνει αυτό το είδος της μεταφοράς μάθησης.

Τα σύνολα δεδομένων που χρησιμοποιήθηκαν είναι το Essays corpus στην πρωτότυπη και τη μεταφρασμένη του μορφή στα ελληνικά, καθώς και οι παράλληλες προτάσεις που αναφέρθηκαν από τις ομιλίες TEDex 2020. Η προετοιμασία των δεδομένων ήταν επίσης ένα σημαντικό βήμα προκειμένου να μετατραπούν τα δεδομένα σε μορφή πρότασης με την κλάση επιχειρήματος ή μη επιχειρήματος. Χρησιμοποιήθηκε επίσης πρακτική αύξησης δεδομένων, δεδομένου ότι ο όγκος των κλάσεων δεν ήταν όμοιος. Η προσέγγιση μας βασίζεται στους Transformers[2] και χρησιμοποιεί τα μοντέλα BERT [3], SBERT [4] και XLM-Roberta [5] σε συνδιασμό με μοντέλα βαθιάς μάθησης που παράγει την τελική πρόβλεψη.