Unsupervised temporal analysis of mouse vocalizations

Summary

Mice communicate using ultrasonic vocalizations (USVs) that vary according to parameters such as sex, genetic background, and environmental stimuli. The study of USVs production provides useful models of the underlying neurobiology mechanisms of human speech and therefore many methods exist to detect USVs in mice recordings.

In order to achieve a temporal analysis of these vocalizations, one must first group them into categories. The grouping of USVs is challenging due to the high volume of vocalizations present even in small recordings, which requires sophisticated analysis techniques. However, most existing tools can only recognize a predefined number of categories and do not offer temporal analysis capabilities, which limits their effectiveness in comprehensive USV analysis.

In this work, we used the open-source software Analysis of Mouse VOcal Communication (AMVOC) for USVs detection and proposed an unsupervised learning approach based on features extracted from a Convolutional Autoencoder (CAE). For the evaluation of the CAE approach, we built a benchmark dataset with the help of domain experts. We utilize USVs transition matrices to propose three metrics that quantify differences in the temporal structure between different recordings. Transition matrices are tools that map the likelihood of transitions between different USV categories over time. We evaluated these metrics using a dataset consisting of mice that carry a FoxP2 mutation, a gene involved in speech function. The effects of this mutation on mice are thoroughly studied and provide a solid ground for testing our method.

The proposed approach allows researchers to perform batch comparisons of the temporal structure of recordings, enabling them to extract insights and identify differences in syntax composition. Using these insights, researchers can then guide more detailed analyses by emphasizing specific areas of interest or anomalies.

Περίληψη

Τα ποντίκια επικοινωνούν μεταξύ τους χρησιμοποιώντας υπερήχους (στην βιβλιογραφία αναφέρονται ως ultrasonic vocalizations - USVs), οι οποίοι ποικίλουν ανάλογα με παράγοντες όπως το φύλο, το γενετικό υπόβαθρο αλλά και τα περιβαλλοντικά ερεθίσματα. Η μελέτη των μηχανισμών παραγωγής των υπερήχων αυτών έχει οδηγήσει στη δημιουργία χρήσιμων μοντέλων για την κατανόηση της νευροβιολογίας της ανθρώπινης ομιλίας. Για το λόγο αυτό έχουν αναπτυχθεί διάφορα εργαλεία και μέθοδοι για την ανίχνευση των USVs σε ηχογραφήσεις ποντικιών, αλλά και την περαιτέρω ανάλυσή τους.

Η χρονική ανάλυση των USVs προϋποθέτει την ομαδοποίηση τους σε κατηγορίες, μια αρκετά απαιτητική διαδικασία εξαιτίας του μεγάλου πλήθους τους, ακόμα και σε μικρής διάρκειας ηχογραφήσεις ποντικιών. Τα δεδομένα αυτά απαιτούν τη χρήση εξειδικευμένων και επιβλεπόμενων τεχνικών ανάλυσης, καθώς τα περισσότερα από τα υπάρχοντα εργαλεία είτε αναγνωρίζουν μόνο έναν προκαθορισμένο αριθμό κατηγοριών είτε δεν υποστηρίζουν χρονική ανάλυση, περιορίζοντας έτσι την αποτελεσματικότητά τους στην ολοκληρωμένη μελέτη των USVs.

Στην παρούσα εργασία χρησιμοποιήσαμε το λογισμικό ανοικτού κώδικα Analysis of Mouse VOcal Communication (AMVOC), που ειδικεύεται στην ανίχνευση και ομαδοποίηση των USVs. Καταφέραμε να βελτιώσουμε την διαδικασία ομαδοποίησης, η οποία βασίζεται σε λανθάνουσες αναπαραστάσεις που προκύπτουν από τα φασματογραφήματα των USVs και εξάγονται μέσω ενός Συνελικτικού Αυτόματου Κωδικοποιητή (Convolutional Autoencoder, CAE). Για την αξιολόγηση του αποτελέσματος της ομαδοποίησης, δημιουργήσαμε, με την βοήθεια ειδικών του πεδίου, ένα σύνολο από δεδομένα αξιολόγησης. Στη συνέχεια, βασιζόμενοι σε μήτρες μετάβασης μεταξύ των USVs, προτείνουμε τρεις μετρικές που ποσοτικοποιούν τις διαφορές στη χρονική δομή μεταξύ διαφορετικών ηχογραφήσεων. Οι μήτρες μετάβασης καταγράφουν την πιθανότητα μετάβασης μεταξύ διαφορετικών κατηγοριών USV με την πάροδο του χρόνου. Οι προτεινόμενες μετρικές αξιολογήθηκαν σε ένα σύνολο δεδομένων με ηχογραφήσεις ποντικιών που φέρουν μετάλλαξη στο γονίδιο FoxP2, ένα γονίδιο το οποίο σχετίζεται με τη λειτουργία της ανθρώπινης ομιλίας. Οι επιπτώσεις της μετάλλαξης αυτής έχουν μελετηθεί εκτενώς και προσφέρουν ένα αξιόπιστο πλαίσιο για τη δοκιμή της αποτελεσματικότητας της μεθόδου.

Η προτεινόμενη προσέγγιση επιτρέπει στους ερευνητές να πραγματοποιούν μαζικές συγκρίσεις μεταξύ ηχογραφήσεων ποντικιών, διευκολύνοντας τον εντοπισμό διαφορών και ομοιοτήτων στη δομή και τη σύνταξη των USVs. Χρησιμοποιώντας αυτά τα ευρήματα, οι ερευνητές μπορούν στη συνέχεια να προχωρήσουν σε εκτενέστερες αναλύσεις, εστιάζοντας σε συγκεκριμένες περιοχές που εμφανίζουν ενδιαφέρον.