Anthropic PBC a révélé aujourd'hui son intention de développer une puce d'intelligence artificielle personnalisée.
Un porte-parole a déclaré Business Insider que l'entreprise co-concevra le processeur avec ses futurs grands modèles de langage. Habituellement, les initiatives de co-conception se concentrent sur l’adaptation d’une puce à une charge de travail spécifique. Une telle personnalisation peut augmenter considérablement l’efficacité du matériel.
Les spécifications des puces IA disponibles dans le commerce ne correspondent souvent pas aux modèles qu'elles exécutent. Par exemple, un accélérateur peut contenir un peu plus de mémoire que ce dont un LLM a besoin, ou un peu moins. La co-conception des processeurs avec les logiciels qu’ils exécutent supprime ces inefficacités.
Selon Business Insider, Anthropic est en train de constituer une équipe interne de développement de puces pour diriger sa campagne de semi-conducteurs. La société rencontrerait des concepteurs de processeurs et des experts en vérification. La vérification est le processus permettant de garantir qu'une conception de puce fonctionnera comme prévu.
UN offre d'emploi indique qu'Anthropic prévoit d'automatiser certaines tâches de vérification à l'aide de l'IA. Selon la liste, la société prévoit de développer des simulations dans lesquelles Claude pourra apprendre à tester les nouvelles conceptions de puces. L'effort mettra particulièrement l'accent sur une méthode d'évaluation appelée évaluation formelle. Il vérifie la conception d'une puce pour détecter les défauts en simulant chaque combinaison de conditions de fonctionnement dans lesquelles elle fonctionnera.
Les ingénieurs en semi-conducteurs utilisent également diverses autres méthodes de vérification. Au cours de la phase initiale du processus de test, ils exécutent une version virtuelle de leur puce dans une simulation. Ils l'implémentent ensuite dans un FPGA, ou réseau de portes programmable sur site. Un FPGA est une puce capable d'imiter d'autres processeurs au niveau matériel, ce qui lui permet de fournir une télémétrie plus détaillée qu'une simulation.
OpenAI Group utilise également l’IA pour accélérer ses efforts de conception de puces. En juin, il a fait ses débuts un accélérateur d'inférence personnalisé appelé Jalapeño qui a été développé grâce à une collaboration avec Broadcom Inc. La conception de la puce n'a pris que neuf mois car les entreprises ont automatisé un certain nombre de tâches manuelles avec l'IA.
Il est probable que la puce d'Anthropic sera optimisée pour les charges de travail d'inférence, un peu comme celles de Jalapeño. L'inférence, ou la tâche consistant à exécuter des LLM en production une fois la formation terminée, représente souvent la plus grosse dépense d'infrastructure pour les fournisseurs d'IA. Le silicium personnalisé peut être beaucoup plus rentable que les cartes graphiques disponibles dans le commerce.
Les rumeurs concernant les efforts de conception de puces d'Anthropic sont apparues pour la première fois en avril. Début juin, The Information signalé que l'entreprise pourrait s'associer à Samsung Electronics Co. pour fabriquer son processeur.
Samsung détient une part beaucoup plus petite du marché de la fabrication de puces sous contrat que Taiwan Semiconductor Manufacturing Co. Cependant, récemment, introduit une technologie appelée zHBM qui pourrait augmenter considérablement l’efficacité des puces IA. Un partenariat avec Samsung pourrait permettre à Anthropic d'intégrer zHBM dans son prochain accélérateur.
Les cœurs logiques d'une carte graphique et la mémoire HBM sont placés les uns à côté des autres sur une couche de base partagée, ou substrat. Samsung affirme que sa technologie zHBM permet de placer la mémoire directement au-dessus des cœurs logiques. Cet agencement réduit la distance que les données doivent parcourir entre la mémoire et les circuits logiques, ce qui réduit la consommation d'énergie.
