Στοχος
Με την επιτυχή ολοκλήρωση του μαθήματος ο φοιτητής / η φοιτήτρια θα είναι σε θέση να
- Κατανοεί τα επίπεδα ανάλυσης και Επεξεργασίας Φυσικής Γλώσσας (ΕΦΓ)
- Αναγνωρίζει και κατανοεί τις τεχνικές ΕΦΓ σε συνδυασμό με αντίστοιχες εφαρμογές
- Επισημαίνει την ιδιαιτερότητα των επιμέρους προβλημάτων ΕΦΓ, την επιλογή και την προσαρμογή σε αυτά των κατάλληλων τεχνικών
- Σχεδιάζει την αποτίμηση των μεθόδων σε σύγκριση μεταξύ τους, να αναγνωρίζει τις δυνατότητες και περιορισμούς της κάθε μεθόδου ΕΦΓ.
- Να επικοινωνεί ιδέες που αφορούν στην εφαρμογή τεχνικών ΕΦΓ με καθαρό, σαφή και τυπικό τρόπο.
Με στόχο να σχεδιάζει, κατασκευάζει και να αποτιμά συστήματα ΕΦΓ για την επίλυση πραγματικών προβλημάτων, και να εξηγεί τη λειτουργία τους
Περιεχομενα
- Εισαγωγή στην επεξεργασία φυσικής γλώσσας: βασικές έννοιες, επίπεδα γλωσσικής ανάλυσης, παραδείγματα εφαρμογών.
- Μορφολογική ανάλυση, διαχωρισμός κειμένου σε προτάσεις και λέξεις, subword tokenization, κανονικές εκφράσεις, κανονικοποίηση κειμένου, στατιστικές ιδιότητες κειμένου.
- Επισημείωση ακολουθιών, αναγνώριση μερών του λόγου και ανίχνευση ονοματικών οντοτήτων.
- Γλωσσικά μοντέλα: μοντέλα ν-γραμμάτων, μοντέλα νευρωνικών δικτύων, αξιολόγηση μοντέλων, τεχνικές εξομάλυνσης.
- Διανυσματική αναπαράσταση λέξεων και κειμένων, topic models, static embeddings, ανάκτηση πληροφορίας.
- Συντακτική ανάλυση: γραμματικές χωρίς συμφραζόμενα, πιθανοτικές γραμματικές, γραμματικές εξαρτήσεων, πλήρης και μερική ανάλυση.
- Σημασιολογική ανάλυση, αποσαφήνιση εννοιών λέξεων, αναγνώριση σημασιολογικών ρόλων, επίλυση συναναφορών.
- Προ-εκπαιδευμένα γλωσσικά μοντέλα και βαθιά μάθηση, contextualized embeddings.
- Ταξινόμηση κειμένων: μέθοδοι και εφαρμογές.
- Εξαγωγή πληροφορίας: εξαγωγή σχέσεων, χρονικών εκφράσεων και γεγονότων.
Ενδεικτικη βιβλιογραφια
- Κωνσταντίνος Τ. Φράγγος, Αναστάσιος Π. Κουτσούκος, «Η τεχνολογία της πληροφορίας στην επεξεργασία φυσικής γλώσσας – προβλήματα επεξεργασίας φυσικής γλώσσας», εκδόσεις ΜΥΡΜΙΔΟΝΕΣ, 2010, ISBN: 978-960-992790-1.
- Jurafsky, Daniel, and James H. Martin. "Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition." (2009). https://web.stanford.edu/~jurafsky/slp3/
- Manning, Christopher D., Christopher D. Manning, and Hinrich Schütze. Foundations of statistical natural language processing. MIT press, 1999. https://nlp.stanford.edu/fsnlp/
