Creation of a chatbot using language models and deep learning for customer question answering / Δημιουργία chatbot με χρήση γλωσσικών μοντέλων και βαθιάς μάθησης για την απάντηση ερωτήσεων πελατών

Summary

This thesis project concerns the creation of an AI-powered chatbot for answering customer questions. The project is based on a Retrieval-Augmented Generation (RAG) architecture, leveraging language models (LLMs) to deliver accurate responses enriched by relevant context retrieved from external, user-provided knowledge sources. The RAG chatbot utilizes a history-aware retriever with an LLM to reformulate user queries, thus ensuring meaningful and accurate retrieval from the context database, which includes scraped documents and pre-processed knowledge chunks.

The current implementation employs modern techniques in LLMs, such as Langchain, Groq, and embedding models from HuggingFace for efficient vector representation. A dynamic document retrieval chain is combined with a conversational interface to deliver responses tailored to user input. Evaluation of the RAG chatbot's LLMs was conducted using the RAGAS library, focusing on various relevant metrics provided by the framework. The results demonstrate that the proposed RAG-based chatbot can effectively balance retrieval precision and generative capabilities, providing a robust solution for customer question answering.

Περίληψη

Η παρούσα διπλωματική εργασία αφορά τη δημιουργία ενός chatbot που βασίζεται σε τεχνητή νοημοσύνη για την απάντηση ερωτήσεων πελατών. Το έργο βασίζεται σε μια αρχιτεκτονική τύπου Retrieval-Augmented Generation (RAG), αξιοποιώντας μεγάλα γλωσσικά μοντέλα (LLMs) για την παροχή ακριβών απαντήσεων, εμπλουτισμένων με σχετικό περιεχόμενο που αντλείται από εξωτερικές, παρεχόμενες από τον χρήστη, πηγές γνώσης. Το chatbot RAG χρησιμοποιεί έναν μηχανισμό ανάκτησης που λαμβάνει υπόψη το ιστορικό συνομιλίας, σε συνδυασμό με ένα LLM, για τη διατύπωση αναδιατυπωμένων ερωτημάτων από τον χρήστη. Αυτό διασφαλίζει ουσιαστική και ακριβή ανάκτηση πληροφοριών από τη βάση συμφραζομένων, η οποία περιλαμβάνει αποδελτιωμένα έγγραφα και προεπεξεργασμένες ενότητες γνώσης.

Η παρούσα υλοποίηση εφαρμόζει σύγχρονες τεχνικές στα LLMs, όπως το Langchain, το Groq και μοντέλα ενσωμάτωσης (embeddings) από το HuggingFace, για την αποδοτική αναπαράσταση με διανύσματα. Μια δυναμική αλυσίδα ανάκτησης εγγράφων συνδυάζεται με διαλογική διεπαφή, ώστε να παρέχει απαντήσεις προσαρμοσμένες στην εισαγωγή του χρήστη. Η αξιολόγηση των LLMs του chatbot RAG πραγματοποιήθηκε με τη χρήση της βιβλιοθήκης RAGAS, εστιάζοντας σε ποικίλες σχετικές μετρικές που παρέχει το εν λόγω πλαίσιο. Τα αποτελέσματα καταδεικνύουν ότι το προτεινόμενο chatbot, βασισμένο στην αρχιτεκτονική RAG, μπορεί να επιτυγχάνει αποτελεσματικά ισορροπία μεταξύ της ακρίβειας ανάκτησης και των δημιουργικών δυνατοτήτων, προσφέροντας μια αξιόπιστη λύση για την απάντηση ερωτήσεων πελατών.