Structure-Guided Learning for Audio Analysis under Low Supervision

Abstract

Pour de nombreuses tâches d'analyse audio, l'apprentissage supervisé s'avère soit inadéquat, soit inefficace. Pour opérer dans un régime de faible supervision au sein des cadres modernes axés sur les données, il est nécessaire d'intégrer avec soin les connaissances expertes du domaine afin de guider le processus d'apprentissage et de restreindre l'ensemble des solutions possibles. Dans cette thèse, trois contributions qui structurent l'apprentissage sous la forme de priors de signal (ou physiques) ou de contraintes géométriques sont présentées. La première contribution s'appuie sur une compréhension géométrique de l'espace fréquentiel de Fourier, fondée sur le transport optimal. Sur cette base, un objectif d'apprentissage sensible à la fréquence pour les tâches audio, appelé Spectral Optimal Transport (SOT), est proposé. Le SOT est évalué sur des données synthétiques afin d'estimer les paramètres harmoniques en analyse et synthèse non supervisées, et comparé aux pertes spectrales traditionnelles basées sur les normes Lp. La deuxième contribution présente une évaluation approfondie d'un estimateur de hauteur entraîné par apprentissage auto-supervisé équivariant dans divers scénarios inter-corpus, ainsi que des améliorations pratiques fondées sur la connaissance du domaine. Il est démontré que ces améliorations augmentent sensiblement les performances, permettant à un modèle léger d'égaler ou de dépasser celles des modèles de référence supervisés, tout en assurant une inférence en temps réel. La troisième et dernière partie aborde la tâche peu explorée consistant à séparer les différents instruments de batterie d'un mélange composé uniquement de batterie. La nature événementielle des enregistrements de percussions, dans lesquels chaque son résulte d'un coup distinct et discret, est modélisée comme un a priori dans un modèle de synthèse. Cela permet d'entraîner un modèle de séparation modulaire qui égale les performances de modèles plus volumineux et entièrement supervisés, sans nécessiter de pistes séparées en s'appuyant plutôt sur des annotations de transcription. Ensemble, ces trois contributions démontrent qu'il est bénéfique de fournir une structure de signal et des contraintes géométriques aux modèles d'apprentissage fondés sur les données, en particulier pour les tâches d'analyse de l'audio musical à faible supervision.