Επεξεργασία Φυσικής Γλώσσας

Εξάμηνο μαθήματος
2ου εξαμήνου
Κατηγορία μαθήματος
Επιλογής
Πιστωτικές Μονάδες
7,5
Διδάσκοντες

Β. Ρεντούμη

Στοχος

Με την επιτυχή ολοκλήρωση του μαθήματος ο φοιτητής / η φοιτήτρια θα είναι σε θέση να

  • Κατανοεί τα επίπεδα ανάλυσης και Επεξεργασίας Φυσικής Γλώσσας (ΕΦΓ)
  • Αναγνωρίζει  και κατανοεί τις τεχνικές ΕΦΓ  σε συνδυασμό με αντίστοιχες εφαρμογές
  • Επισημαίνει την ιδιαιτερότητα των επιμέρους προβλημάτων ΕΦΓ,  την επιλογή και την προσαρμογή σε αυτά των κατάλληλων  τεχνικών
  • Σχεδιάζει την αποτίμηση των μεθόδων σε σύγκριση μεταξύ τους, να αναγνωρίζει τις δυνατότητες και περιορισμούς της κάθε μεθόδου ΕΦΓ.
  • Να επικοινωνεί ιδέες που αφορούν στην εφαρμογή τεχνικών ΕΦΓ με καθαρό, σαφή και τυπικό τρόπο.

Με στόχο να σχεδιάζει, κατασκευάζει και να αποτιμά  συστήματα ΕΦΓ για την επίλυση πραγματικών προβλημάτων, και να εξηγεί τη λειτουργία τους

Περιεχομενα

  • Εισαγωγή στην επεξεργασία φυσικής γλώσσας (ΕΦΓ): βασικές έννοιες της ΕΦΓ, επίπεδα  γλωσσικής ανάλυσης, παραδείγματα εφαρμογών Επεξεργασίας Φυσικής Γλώσσας, σύγχρονα προβλήματα Επεξεργασίας Φυσικής Γλώσσας. Εισαγωγή στα μοντέλα και στους αλγόριθμους Επεξεργασίας Φυσικής Γλώσσας. Αξιολόγηση Εφαρμογών Επεξεργασίας Φυσικής Γλώσσας. Σύνολα χαρακτήρων – Μορφότυπα Κωδικοποίησης.
  • Μορφολογική  Ανάλυση: κύριες εφαρμογές μορφολογικής ανάλυσης (εύρεση θέματος, λημματοποίηση, αναγνώριση μερών του λόγου, αναγνώριση λέξεων/προτάσεων),  προσεγγίσεις μορφολογικής ανάλυσης (χρήση λεξικού, κανόνων, λεξικού και κανόνων, πιθανοτικές προσεγγίσεις). Υπολογιστικά εργαλεία μορφολογικής ανάλυσης, πλαίσια επισημείωσης  και μεταδεδομένα, επισημείωση και εφαρμογές στην ΕΦΓ,  βασικές στατιστικές μέθοδοι ανάλυσης/επεξεργασίας λόγου (κειμένων), κανονικοποίηση κειμένων.
  • Συντακτική ανάλυση: αρχές συντακτικής ανάλυσης, προσεγγίσεις συντακτικές ανάλυσης (bottom up, top down), συντακτική αμφισημία, είδη συνακτικής ανάλυσης (επιφανειακή vs βαθειά συντακτική ανάλυση). Μέθοδοι συντακτικής ανάλυσης (με μηχανική μάθηση, dependency parsing).
  • Σημασιολογική ανάλυση: αρχές σημασιολογικής ανάλυσης,  αναπαράσταση σημασίας (βασικά κριτήρια-προϋποθέσεις). Ανάλυση δομής γλωσσικής σημασίας (σχέσεις κατηγορημάτων-ορισμάτων, συνθετικές σημασίες). Σημασιολογικές αναπαραστάσεις (σημασιολογικά λεξικά, θησαυροί). Σημασιολογικές συσχετίσεις (οργάνωση σημασιών στο πλαίσιο οντολογιών/σημασιολογικών και λεξικών/θησαυρών). Ανάλυση πραγματείας.
  • Επεξεργασία Φυσικης Γλώσσας και Μηχανική Μάθηση – Διανύσματα. Χρήση διανυσμάτων  για την αναπαράσταση γλωσσικών δομών (λέξεων, κειμένων).  Βασικοί τύποι διανυσματικής αναπαράστασης -  τιμές χαρακτηριστικών διανυσμάτων (π.χ. σακούλι λέξεων με tf-idf τιμές).
  • Αποσαφήνιση εννοιών λέξεων (ΑΕΛ): σημασιολογική ομοιότητα, είδη σημασιολογικής ομοιότητας, μετρικές σημασιολογικής ομοιότητας. Εφαρμογές αποσαφήνισης εννοιών λέξεων.
  • Εξαγωγή Περιλήψεων (ΕΠ):  μέθοδοι εξαγωγής περιλήψεων, αξιολόγηση περιλήψεων.
  • Ανάλυση συναισθήματος/άποψης: εφαρμογές ανάλυσης άποψης (ανάλυση άποψης σε κριτικές ταινιών/tweets). Η χρήση υπολογιστικών λεξικών στην ανάλυση άποψης και στην εξαγωγή συναισθήματος. Χρήση μεθόδων μηχανικής μάθησης (ημι-επιβλεπόμενη, επιβλεπόμενη μάθηση)  για την ανάλυση άποψης. Η ανάλυση άποψης ώς πρόβλημα ταξινόμησης λέξεων/προτάσεων/κειμένων.
  • Ανάκτηση Πληροφορίας- Εφαρμογές  και  Εξαγωγή Πληροφορίας: Αναγνώριση και εξαγωγή ονομάτων οντοτήτων, αναγνώριση χρονικών εκφράσεων, επίλυση συναναφοράς. Αναγνώριση ονομάτων οντοτητων με χρήση ακολουθιακών μοντέλων.
  • Η επεξεργασία Φυσικής Γλώσσας στην αυτόματη ανάλυση παθολογικού λόγου: Σύγχρονες Προσεγγίσεις.

Ενδεικτικη βιβλιογραφια

  • Κωνσταντίνος Τ. Φράγγος, Αναστάσιος Π. Κουτσούκος, «Η τεχνολογία της πληροφορίας στην επεξεργασία φυσικής γλώσσας – προβλήματα επεξεργασίας φυσικής γλώσσας», εκδόσεις ΜΥΡΜΙΔΟΝΕΣ, 2010, ISBN: 978-960-992790-1.
  • Jurafsky, Daniel, and James H. Martin. "Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition." (2009). https://web.stanford.edu/~jurafsky/slp3/
  • Manning, Christopher D., Christopher D. Manning, and Hinrich Schütze. Foundations of statistical natural language processing. MIT press, 1999. https://nlp.stanford.edu/fsnlp/