Alibaba Group Holding Ltd. a présenté aujourd'hui Qwen4-Max, son modèle de langage étendu le plus récent et le plus performant.
L’algorithme génère non seulement une sortie de meilleure qualité que son prédécesseur, mais coûte également moins cher. Ces améliorations sont le résultat d'une nouvelle architecture, Qwen4, qui a rendu la formation du LLM plus efficace. De plus, Alibaba a équipé le modèle d'un mécanisme d'attention amélioré.
L'épine dorsale de Qwen4-Max, la partie d'un LLM qui fonctionne comme son principal moteur de traitement, comprend 2,4 billions de paramètres. Le modèle n’en active que 71 milliards à un moment donné. Le backbone est soutenu par 328 milliards de paramètres dits N-gram, qui fonctionnent comme une sorte de cache. Ils enregistrent les résultats de calculs souvent répétés et éliminent ainsi le besoin de les calculer à partir de zéro à chaque fois.
Les neurones artificiels d'un LLM sont organisés en ensembles appelés couches. Lorsque le modèle apprend quelque chose de nouveau pendant la formation, une donnée appelée gradient parcourt les couches et affine leur sortie. Le dégradé les parcourt un par un à partir du dernier calque, qui finalise et affiche des réponses rapides.
Qwen4-Max inclut une fonctionnalité qui permet au dégradé d'ignorer certains calques. Cette fonctionnalité, ou résiduel, est en fait un raccourci à l'intérieur du LLM. Son objectif est de réduire les erreurs lors du flux de travail de formation, ce qui réduit les coûts et améliore la qualité des résultats.
Les résidus peuvent également être trouvés dans de nombreux autres LLM. Historiquement, le mécanisme a été mis en œuvre comme un canal de transport à gradient unique. La mise en œuvre de la technologie par Qwen4-Max comprend quatre canaux. De plus, ces canaux disposent d'une « porte » qui peut ajuster le mouvement des gradients pour améliorer encore le processus de formation.
Le mécanisme d'attention de Qwen4-Max, un module qui l'aide à comprendre les invites des utilisateurs, propose deux personnalisations clés. La première est une technologie appelée Gated DeltaNet qui réduit la quantité de matériel nécessaire au traitement des invites volumineuses. La deuxième optimisation, QSA, ignore les éléments de données dont le LLM n'a pas besoin pour répondre à une invite. Cet arrangement réduit encore les coûts d’infrastructure.
Alibaba a comparé Qwen4-Max à son prédécesseur, Qwen3.8-Max, à l'aide d'un benchmark interne qui inclut des tâches de travail de connaissances. L’ancien modèle obtenait un score plus élevé et utilisait jusqu’à 35 % de jetons en moins pour accomplir les tâches. Ces économies ont atteint 49 % lorsque les modèles ont été testés à l'aide de la suite de défis de codage Terminal-Bench 4.0.
Qwen4-Max est disponible via la plateforme cloud d'Alibaba. La société prévoit d’ouvrir ultérieurement une collection de modèles plus petits basés sur les mêmes technologies. Il s'agit également du Qwen-Live-Delivery-Plugin open source, une extension qui permet à Qwen4-Max de mieux effectuer des tâches chronophages.
Lorsqu'un LLM se voit confier un projet à long terme, les utilisateurs doivent souvent attendre que le modèle termine son travail avant de pouvoir examiner les résultats. Le plugin d'Alibaba raccourcit l'attente. Il permet à Qwen4-Max de fournir rapidement une première ébauche, puis d'ajouter des améliorations de manière itérative. Les utilisateurs peuvent donner leur avis sur le modèle tout au long du processus pour affiner son travail.