Nvidia Corp. a publié aujourd'hui un modèle d'intelligence artificielle ouvert, lauréat du classement, pour la transcription et la traduction audio multilingues, ainsi qu'un pipeline de données ouvert pour affiner Nemotron 3.5 Transcribe.
Les modèles d'IA de transcription traditionnels suivent un flux de travail qui détecte la parole, la transcrit, identifie et étiquete les différents locuteurs, puis répond aux questions sur la transcription. Transcribe fait tout cela en un seul modèle et est capable de digérer et de répondre à des questions sur environ 100 heures d'audio, dans 40 langues et peut étiqueter jusqu'à huit locuteurs.
Il s'agit d'un modèle ouvert composé d'un mélange d'experts de 30 milliards de paramètres et de 4 milliards de paramètres actifs. Cela signifie qu'il peut s'adapter à un matériel raisonnablement petit, bien qu'un matériel plus puissant lui permette de transcrire plus rapidement.
Pour sa taille, Transcribe dépasse largement son poids et peut fonctionner n'importe où, de la périphérie au centre de données, en fonction de la compression. Le modèle fonctionne sur une seule unité de traitement graphique Nvidia, depuis un Jetson AGX Thor, un cerveau de robot informatique de pointe, ou DGX Spark, un superordinateur d'IA de bureau, jusqu'à un GPU de centre de données Blackwell. Nvidia a déclaré qu'un GPU Blackwell Server Edition avec une précision NVFP4 et une compression d'un quart de modèle traite 100 heures d'audio en moins de trois minutes.
Selon la société, Transcribe atteint un niveau de précision élevé en matière de mots corrects, avec des taux d'erreur de 30,8 %, qui peuvent être réduits à 20,8 % avec des invites minutieuses. Affiné pour des travaux spécialisés, par exemple sur le benchmark médical indien Eka Care, le modèle a atteint un taux d'erreur de mot de 11,8 %, soit une réduction substantielle.
Les utilisateurs peuvent guider l'analyse de la transcription ou poser des questions avec des invites. Le même point de contrôle peut transformer un enregistrement en différentes sorties avec des invites distinctes.
Par exemple, un utilisateur pourrait demander au modèle « Transcrire l'enregistrement et étiqueter chaque locuteur » ou « Traduire cet audio en anglais » ou « Quelles décisions ont été prises lors de cette réunion ? ou une combinaison. Les utilisateurs peuvent également fournir au modèle un jargon ou un dialogue important pour l'aider à mieux comprendre la conversation avant de la transcrire, améliorant ainsi la précision.
Pour construire le modèle, Nvidia a étendu Granary v1 dans Granary v2, l'énorme ensemble de données d'IA vocale multilingue publique open source de la société. Construite avec Nvidia NeMo Curator, la v2 s'étend considérablement par rapport à la génération précédente de Granary, qui couvre désormais 843 579 heures dans 48 langues et 19 corpus sources, contre environ 643 000 heures et 25 langues.
Granary v2 génère trois transcriptions pour chaque enregistrement dans des styles verbatim clairs qui peuvent être demandés à Transcribe avec une invite. On fournit tout, y compris les « euh » et les « ah ». Un autre réduit les formulations complètes à des chiffres, comme les nombres épelés à des symboles. Un troisième élimine les mots de remplissage.
Tout cela permet aux développeurs d'adapter la transcription de différentes langues en utilisant les données du pipeline dans des formats lisibles et d'affiner les sorties du modèle.
Nvidia a déclaré que les chiffres représentent la publication de l'ensemble de données, et non le mélange complet d'entraînement de Transcribe ou ses poids d'échantillonnage. Cependant, Granary v2 a été utilisé en production pour le rendre aussi adaptable que possible à la traduction, à la transcription et à la compréhension du monde réel.
Transcribe est disponible sous forme de démo Hugging Face, où les développeurs peuvent télécharger un point de contrôle et l'adapter à l'expertise du domaine avec un réglage fin.
