Automated free speech to SQL transcription

Summary

Speech-to-SQL is an innovative approach designed to bridge the gap between nontechnical users and technical ones in terms of database querying. Τhe project presents an end-to-end application that transforms natural language commands into SQL queries, with the ability to export the results into flat files for further business analysis. To evaluate the effectiveness of this approach, multiple open-source commercial Large Language Models (LLMs), as well as models hosted locally (Hugging Face), were evaluated and compared. The goal was to identify the most suitable model for the given use case, and at the same time create a user friendly web application to record or upload these commands and receive the output. While no single model consistently outperformed the others across all scenarios, the findings revealed that performance was strongly influenced by the complexity of the query and the different way of writing the same query. OpenAI, Gemini, and Claude emerged as the top-performing models in terms of query prediction accuracy, while their latency measurements were found to be relatively similar. We concluded that additional steps are required before delivering a concise and productionready application. These include implementing connections to multiple database types and performing model optimization to reduce operational costs.

Περίληψη

Η προσέγγιση Speech-to-SQL αποτελεί μια καινοτόμο μέθοδο που έχει σχεδιαστεί για να γεφυρώσει το χάσμα μεταξύ μη τεχνικών χρηστών και της διαδικασίας εκτέλεσης ερωτη- μάτων σε βάσεις δεδομένων. Το έργο παρουσιάζει μια ολοκληρωμένη εφαρμογή, η οποία μετατρέπει εντολές από φυσική γλώσσα σε ερωτήματα SQL, με δυνατότητα εξαγωγής των αποτελεσμάτων σε αρχεία τύπου flat για επιχειρηματική ανάλυση. Για την αξιολόγηση της αποτελεσματικότητας της προσέγγισης, δοκιμάστηκαν και συγκρίθηκαν μοντέλα ανοικτού κώδικα και εμπορικά Μοντέλα Μεγάλης Κλίμακας (LLMs), καθώς και τοπικά φιλοξενού- μενα μοντέλα. Στόχος ήταν να εντοπιστεί το πλέον κατάλληλο μοντέλο για τη συγκεκριμένη περίπτωση χρήσης, ενώ ταυτόχρονα να δημιουργηθεί μια φιλική προς τον χρήστη διαδικτυ- ακή εφαρμογή που να επιτρέπει την ηχογράφηση ή τη μεταφόρτωση εντολών. Αν και κανένα μοντέλο δεν υπερείχε σταθερά έναντι των υπολοίπων σε όλα τα σενάρια, τα ευρήματα έδειξαν ότι η απόδοση επηρεάστηκε σημαντικά από την πολυπλοκότητα του ερωτήματος και τις δι- αφορετικές διατυπώσεις του ίδιου ερωτήματος. Τα μοντέλα OpenAI, Gemini και Claude αναδείχθηκαν ως τα πιο αποδοτικά ως προς την ακρίβεια πρόβλεψης των ερωτημάτων, ενώ ο χρόνος απόκρισής τους βρέθηκε να είναι σχετικά παρόμοιος. Καταλήξαμε ότι απαιτούν- ται επιπλέον βήματα πριν από την παράδοση μιας συμπαγούς και έτοιμης για παραγωγή εφαρμογής. Αυτά περιλαμβάνουν την υλοποίηση συνδέσεων με πολλαπλούς τύπους βάσεων δεδομένων και τη βελτιστοποίηση των μοντέλων, ώστε να μειωθεί το λειτουργικό κόστος.