La formation aux modèles d’IA peut permettre aux startups de gérer l’infrastructure parallèlement aux produits qu’elles tentent de créer.
Willow Care Inc., la société à l'origine de l'application de dictée IA Willow Voice, a choisi CoreWeave Inc. pour son support déployé vers l'avant plutôt que pour le calcul seul. L'application combine la reconnaissance vocale et le traitement du langage, selon Lawrence Liu (photo), co-fondateur et directeur technologique de Willow.
« L'avantage de l'infrastructure (d'apprentissage par renforcement) de CoreWeave est que nous n'avons à nous soucier de rien sous le capot », a déclaré Liu. « La seule chose sur laquelle nous devons vraiment nous concentrer à ce stade est l'alignement de l'évaluation. »
Liu s'est entretenu avec Dave Vellante et John Furrier de theCUBE Research lors de l'événement Fully Connected, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté de l'infrastructure RL de CoreWeave, de la reconnaissance vocale associée à un grand modèle de langage compact de post-traitement et de l'objectif de rendre les claviers obsolètes. (* Divulgation ci-dessous.)
La formation du modèle d'IA prend en charge une interface vocale spécialisée
Willow affine son propre modèle de reconnaissance vocale sur un son silencieux et réel, comme un utilisateur chuchotant dans un café. Reconnaissant que la parole fait partie de la production d'un texte utilisable, a expliqué Liu.
« Je pense que la partie principale de notre sauce secrète est que nous avons ce très, très petit LLM qui post-traite tout ce que vous dites », a déclaré Liu. « Maintenant, il est capable de tout formater correctement, de prendre vos entrées et de les modifier exactement comme vous auriez écrit. »
La majeure partie du travail de Willow se concentre sur la formation, mais l'inférence croît plus rapidement à mesure que la demande de dictées augmente, a noté Liu. Ce changement s'aligne sur la poussée d'inférence plus large de CoreWeave.
« D'ici deux ans, nous voulons que vous n'ayez même plus besoin de claviers », a-t-il déclaré. « Vous pouvez simplement parler et votre ordinateur comprend. »
Voici l'interview vidéo complète, faisant partie de la couverture par SiliconANGLE et theCUBE de l'événement Fully Connected :
(* Divulgation : TheCUBE est un partenaire média payant pour l'événement Fully Connected. Ni CoreWeave, le sponsor de la couverture de l'événement theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
