Comment faire le Labeling d’une voicebank DiffSinger

Pour la création de voicebanks pour DiffSinger, un processus de configuration nommé “labeling” (anglais “label”: étiquette) est nécessaire. On peut comparer le labeling au processus d’oto d’UTAU classique car c’est ce qui permet à l’IA d’apprendre quel son (fréquence audio) correspond à quel phonème. Ce tutoriel montrera comment créer un projet de labeling dans le logiciel vlabeler et comment labeler ses fichiers audios.

Avant de commencer le labeling de zéro, vous pouvez consulter le tutoriel sur l’utilisation de LabelMakr ci-dessous qui vous permettra de créer des auto-labels qui pourront vous servir de base et vous faire gagner du temps !

Logiciel(s)

Ce tutoriel utilise le logiciel open source vLabeler développé par sdercolin. D’autres logiciels, comme Audacity et Wavesurfer peuvent également servir à créer le labeling de votre corpus mais ce tutoriel ne parlera que du processus dans vLabeler.

Création d’un projet

Avant de créer le fichier de projet avec vLabeler, une certaine structure de fichier est nécessaire. Un projet doit contenir un dossier nommé “wav” avec vos enregistrements (en format .wav), ainsi qu’un dossier “lab” vide, pour la future sauvegarde des fichier .lab contenant les détails du labeling. Note: les fichiers .lab peuvent être ouverts et lus en clair avec le bloc-note de Windows sans problème, ils s’apparentent à des .txt.

Pour le setup du projet .lbp, choisir “New Project” et spécifier le dossier parent contenant les dossiers wav et lab, puis vous pouvez nommer le projet.

Sur la fenêtre suivante, il vous faut choisir “NNSVS”.
DiffSinger fonctionne avec le même principe que NNSVS(ENUNU) au niveau du labeling!

Après cela, aucune autre modification n’est nécessaire, votre projet devrait s’ouvrir et présenter un onglet par fichier audio: nous pouvons procédér au labeling!

Astuce

vLabeler génère un rendu visuel, le spectrogramme et le waveform, de chaque enregistrement. Si vos fichiers sont très longs, ceci peut durer quelques minutes. Pour éviter des grandes pauses d’attente pendant le processus de labeling, vous pouvez faire un prérendu sous Tools > Prerender All Charts…

Le labeling

La liste des .wavs présents dans le projet se trouve en haut de la fenêtre, chaque onglet correspondant au fichier du même nom. En ouvrant le premier wav, un premier label avec le nom du .wav est généralement présent à la toute fin du fichier audio. S’il ne l’est pas, vous pouvez cliquer sur la ligne du label et le glisser jusqu’à la fin.

Dans un premier temps, il est nécessaire de le renommer en “pau” (qui correspond à « pause » c’est comme cela que l’ont désigne un silence); le nom d’une entrée peut être modifié avec CTRL+R.

Chaque fichier doit commencer et finir par un label « pau ».

Nous allons utiliser les outils de curseur ([1 ou &] sur le clavier) et les ciseaux ([2 ou é] sur le clavier).

En mode ciseaux (2), une ligne jaune indique la position visée avec la souris.

Avec un clic, un label est placé sur la position jaune visée et une case de label s’ouvre et vous pouvez y écrire le son correspondant. Une fois le bon phonème mis, le mouvement de la souris suffit pour valider l’input, et le nouveau label est enregistré dans le panneau de droite.

Nous allons répéter ceci pour chaque consonne/voyelle/etc. présent sur l’enregistrement.

Le système Millefeuille utilise la notation Petit Mot (avec quelques modifications pour accomoder le système phonétique). Prière de consulter le tableau ci-dessous pour une vue d’ensemble des phonèmes disponibles.

Astuce

vLabeler fait des sauvegardes automatiques régulièrement, mais le raccourci pour sauvegarder est CTRL+S 🙂 C’est une bonne habitude à avoir !

Dans le contexte de DiffSinger, chaque spécialité vocale reçoit son propre phonème – nous avons déjà rencontré la première avec « pau »! D’autres sont utilisées pour les « glottal stops », des inspirations, etc.

Le mini-tableau suivant explique ces phonèmes spéciaux:

Astuce

Une pause peut contenir des longs silences et des inspirations/expirations.

Pour les consonnes en début de phrase, il est conseillé d’inclure un peu de silence avant le début du son. De même pour les voyelles mais dans une moindre mesure (mettre trop de silence avant les voyelles de début de phrase peut fausser leur timing une fois dans OpenUtau).

“ctrash”/”vtrash” sont utilisées pour ignorer des mauvaises consonnes et voyelles lors de l’entraînement que l’on n’a pas pu enlever lors de la phase de nettoyage de l’audio (quand elles sont au milieu d’une ligne chantée par exemple.

Le curseur (1) peut être utilisé pour cliquer et glisser les lignes des labels, afin de corriger le timing.

Tableau des phonèmes