Automatic Web Information Extraction / Αυτοματοποιημένη εξαγωγή πληροφοριών από ιστοσελίδες

Summary

The continuous growth of the world wide web (WWW) has resulted in enormous amounts of information. Specific data, contained in webpages, can be extracted and leveraged in numerous applications. A semi-automatic/automatic approach to retrieving data from webpages is needed since manual extraction is very timeconsuming and does not scale well. However, because of the heterogeneity and semistructured nature of webpages, the automatic extraction of data is a non-trivial task. The task of web information extraction (WIE) is most commonly addressed with wrapper induction (WI). In WI, the goal is to learn a set of extraction rules by using manually labelled examples.

The primary issue with WI is that the learned rules are frequently incapable of dealing with even slight variations in a webpage's template, and cannot generalize to other websites. In this thesis, the WIE problem is reframed as an object detection task. For this purpose, a dataset was built, with news articles that were collected and annotated. A state-of-the-art detector, YOLOv5, was used to extract specific attributes such as the news articles’ title, metadata, author, date, main image, text, and keywords. The model yielded 90% mAP (over all classes) in stratified (based on website domain) 5-fold cross-validation.

One-shot learning capabilities of the model were also explored by using transfer learning to fine-tune the model to unseen news websites in English but also in another language (Greek) achieving 79% mAP and 90% mAP respectively. A dataset with books’ product details from Amazon.in, with extracting targets the books’ title, author, and price was used to compare our approach with a state-of-the-art approach where a previous version of YOLO (version 2) was utilized. The mAP of our approach yielded 95% mAP compared to the state-of-art approach which yielded 74% mAP.

Περίληψη:

Η συνεχής ανάπτυξη του παγκόσμιου ιστού (WWW) έχει οδηγήσει σε τεράστιες ποσότητες πληροφοριών. Συγκεκριμένα δεδομένα, που περιέχονται σε ιστοσελίδες, μπορούν να εξαχθούν και να αξιοποιηθούν σε πολλές εφαρμογές. Απαιτείται μια ημιαυτόματη/αυτόματη προσέγγιση για την ανάκτηση δεδομένων από ιστοσελίδες, καθώς η χειροκίνητη εξαγωγή είναι πολύ χρονοβόρα και δεν κλιμακώνεται καλά. Ωστόσο, λόγω της ετερογένειας και της ημιδομημένης φύσης των ιστοσελίδων, η αυτόματη εξαγωγή δεδομένων είναι μια μη τετριμμένη εργασία. Το έργο της εξαγωγής πληροφοριών ιστού (WIE) αντιμετωπίζεται συνήθως με την επαγωγή περιτυλίγματος (WI). Στο WI, ο στόχος είναι να μάθετε ένα σύνολο κανόνων εξαγωγής χρησιμοποιώντας παραδείγματα με χειροκίνητη επισήμανση.

Το πρωταρχικό πρόβλημα με το WI είναι ότι οι κανόνες που μάθαμε είναι συχνά ανίκανοι να αντιμετωπίσουν ακόμη και μικρές παραλλαγές στο πρότυπο μιας ιστοσελίδας και δεν μπορούν να γενικευτούν σε άλλους ιστότοπους. Σε αυτή τη διατριβή, το πρόβλημα WIE επαναπλαισιώνεται ως εργασία ανίχνευσης αντικειμένων. Για το σκοπό αυτό, δημιουργήθηκε ένα σύνολο δεδομένων, με άρθρα ειδήσεων που συγκεντρώθηκαν και σχολιάστηκαν. Ένας υπερσύγχρονος ανιχνευτής, το YOLOv5, χρησιμοποιήθηκε για την εξαγωγή συγκεκριμένων χαρακτηριστικών, όπως ο τίτλος, τα μεταδεδομένα, ο συγγραφέας, η ημερομηνία, η κύρια εικόνα, το κείμενο και οι λέξεις-κλειδιά των άρθρων ειδήσεων. Το μοντέλο απέδωσε 90% mAP (σε όλες τις κατηγορίες) σε στρωματοποιημένη (με βάση τον τομέα ιστότοπου) 5-πλάσια διασταυρούμενη επικύρωση.

Οι δυνατότητες εκμάθησης μιας λήψης του μοντέλου διερευνήθηκαν επίσης με τη χρήση της εκμάθησης μεταφοράς για τη λεπτομέρεια του μοντέλου σε μη εμφανείς ειδησεογραφικούς ιστότοπους στα αγγλικά αλλά και σε άλλη γλώσσα (ελληνική) επιτυγχάνοντας 79% mAP και 90% mAP αντίστοιχα. Ένα σύνολο δεδομένων με λεπτομέρειες προϊόντων βιβλίων από το Amazon.in, με εξαγωγή στόχων του τίτλου, του συγγραφέα και της τιμής των βιβλίων χρησιμοποιήθηκε για να συγκριθεί η προσέγγισή μας με μια προσέγγιση αιχμής, όπου μια προηγούμενη έκδοση του YOLO (έκδοση 2) χρησιμοποιήθηκε. Το mAP της προσέγγισής μας απέδωσε 95% mAP σε σύγκριση με την προσέγγιση αιχμής που απέδωσε 74% mAP.