La startup chinoise d'intelligence artificielle Hangzhou DeepSeek Artificial Intelligence Basic Technology Research Co. Ltd. publie aujourd'hui DeepInfer en open source, le cadre d'inférence derrière ses propres services de production.
La version prend en charge le coût de la diffusion de grands modèles au public. DeepSeek appelle atteindre une base d’utilisateurs massive à un prix raisonnable « le problème principal qu’un cadre d’inférence doit résoudre » dans une séance de questions-réponses sur le déploiement publiée avec le code. Un cluster dessert désormais 155 000 milliards de jetons par jour, selon le même document, et les revenus hors pointe s'élèvent à 38 dollars par unité de traitement graphique et par heure.
Pour l'instant, DeepInfer prend en charge un seul modèle, DeepSeek-V4.1-Flash, et charge par défaut la version 1017 mise à jour de DeepSeek publiée ce week-end. Les GPU SM100 Blackwell de Nvidia Corp. peuvent exécuter le framework, tout comme les unités de traitement neuronal Ascend 950 de Huawei Technologies Co. Ltd. Hopper et d'autres architectures Nvidia plus anciennes ne figurent pas sur la liste.
Deux fonctionnalités qui maintiennent les sorties identiques d’une exécution à l’autre ne fonctionnent que sur le matériel Nvidia. Tous les tests de performances publiés ont également fonctionné sur des puces Nvidia, et les chiffres sont ceux de DeepSeek.
Le décodage spéculatif dans DeepInfer s'effectue via DSpark, un système dans lequel un projet de modèle propose cinq jetons à la fois et un responsable de confiance prédit lesquels d'entre eux le modèle principal acceptera. Le calcul de vérification s'adresse uniquement aux candidats les plus probables. Cela réduit d'environ 30 % le nombre de brouillons de jetons vérifiés par étape, et DeepSeek a estimé un gain de débit de 4 à 7 % à sa charge de production. Une deuxième technique, qui, selon la société, réduit de près de moitié le calcul total de pré-remplissage, fait passer uniquement les 128 derniers jetons de chaque invite à travers les couches de décodeur du modèle.
DeepSeek n'a pas encore publié son code de gestion du cache clé-valeur et d'équilibrage de charge, affirmant que les deux sont étroitement liés à l'infrastructure interne. Un article de blog publié par la société sur Zhihu explique comment les deux fonctionnent. La répartition du pré-remplissage et du décodage sur des machines distinctes est également laissée aux opérateurs, le README notant que la plupart du travail du moteur est déjà en place. Le plus petit déploiement que DeepSeek décrit comme efficace utilise 64 GPU pour le pré-remplissage et 64 autres pour le décodage.
Le même couplage a empêché DeepSeek de publier son moteur complet en avril 2025, lorsqu'il a décrit le logiciel comme un des premiers fork de vLLM construit autour de ses outils de gestion de cluster. Maintenir un grand projet open source était également plus que « une petite équipe de recherche concentrée sur le développement de meilleurs modèles » avait de la bande passante, écrivait la société à l’époque.
DeepSeek avait déjà publié des composants tels que les bibliothèques de noyau FlashMLA, DeepGEMM et DeepEP, que DeepInfer utilise désormais. Le nouveau README nomme vLLM comme sa base d'origine.
La prise en charge d'Ascend par DeepInfer fait suite à une version du 30 septembre dans laquelle DeepSeek a apporté le langage de programmation du noyau TileLang aux puces de Huawei avec l'aide du fabricant de puces. La startup prévoit de déployer au moins 160 000 accélérateurs Ascend 950DT dans un nouveau centre de données en Mongolie intérieure, a rapporté Bloomberg en septembre.
Le cadre est arrivé un jour après que le département américain de la Sécurité intérieure a ordonné aux agences civiles fédérales de supprimer les produits DeepSeek de leurs systèmes, y compris les services tiers basés sur sa technologie.
DeepInfer est disponible sur GitHub sous la licence Apache 2.0, et la bibliothèque de recettes deepseek associée convertit les requêtes en séquences de jetons en utilisant la même logique que l'interface de programmation d'application officielle de DeepSeek. DeepSeek a déclaré que le code d'inférence pour les futurs modèles sera placé dans le même référentiel.
