Unconventional AI Inc. a développé une architecture d'intelligence artificielle qui pourrait améliorer l'efficacité énergétique des modèles de génération d'images.
La technologie est à la base d'une nouvelle série de réseaux neuronaux, Un-1, que l'entreprise libéré jeudi.
L'IA non conventionnelle est dirigée par le PDG Naveen Rao (photo, deuxième à gauche), ancien vice-président du groupe de plates-formes d'IA d'Intel. En décembre, la société soulevé 475 millions de dollars d'un consortium comprenant le fondateur d'Amazon.com Inc., Jeff Bezos. Il développe des puces capables d'exécuter des modèles d'IA en utilisant beaucoup moins d'énergie que les cartes graphiques actuelles.
Tous les processeurs ne sont pas basés sur des transistors au silicium standard. Plusieurs startups développent des dispositifs informatiques dits en mémoire qui utilisent un mélange de transistors et de condensateurs, de minuscules dispositifs de stockage d'énergie. Les processeurs quantiques, quant à eux, remplacent souvent le silicium par des matériaux tels que le saphir.
La série de modèles Un-0 fait partie d'un effort de Unconventional AI visant à développer des architectures de puces IA plus efficaces. Selon la société, Un-0 est optimisé pour fonctionner non pas sur des circuits à transistors standard mais plutôt sur des oscillateurs. Un oscillateur est un appareil qui émet un signal tel qu'une impulsion électrique à intervalles de temps réguliers.
L'IA non conventionnelle suggère qu'un grand nombre d'oscillateurs miniatures pourraient être assemblés dans un accélérateur d'apprentissage automatique. L'industrie des semi-conducteurs produit déjà en masse de tels composants car ils sont utilisés dans des puces telles que les unités centrales de traitement. En particulier, les processeurs s'appuient sur des oscillateurs pour définir le rythme auquel leurs autres circuits effectuent des calculs.
Un-0 ne fonctionne pas sur une puce d'oscillateur physique. Au lieu de cela, il génère des images à l’aide de plusieurs milliers d’oscillateurs simulés. Les oscillateurs sont liés entre eux, ce qui signifie que les signaux produits par un appareil virtuel affectent la sortie des autres et vice versa.
Il existe six modèles Un-0 qui varient en taille et en qualité de sortie. Le plus petit comprend 1 024 oscillateurs virtuels tandis que le plus grand en comporte 1 6384. L'IA non conventionnelle a formé les modèles à l'aide de deux ensembles de données open source, CIFAR-10 et ImageNet-64, qui contiennent des milliers d'images optimisées pour les projets d'apprentissage automatique.
Le processus de formation s’est déroulé différemment de celui d’un projet d’IA standard. Habituellement, les développeurs accomplissent cette tâche en optimisant les composants du modèle d’IA tels que les poids. En revanche, Unconventional a calibré la manière dont les oscillateurs simulés de Un-0 s'influencent les uns les autres ainsi que la fréquence à laquelle ils génèrent des signaux.
Le flux de travail par lequel un modèle d'IA standard génère des fichiers multimédias commence par une image contenant du bruit aléatoire. Un-0 lance le processus de la même manière, mais les étapes suivantes diffèrent.
Tout d’abord, un petit groupe d’oscillateurs génère une instruction qui indique au modèle le type d’image qu’il doit créer. L'instruction invite les autres oscillateurs de Un-0 à interagir les uns avec les autres. Selon Unconventional AI, les interactions produisent une série de nombres qui peuvent être assemblés en une image.
La société a effectué une série de tests de référence pour évaluer la qualité de sortie de l'Un-0. Il a déterminé que le modèle peut égaler « la qualité des principales méthodes conventionnelles de génération d’images lors de leur première publication ». En conséquence, Unconventional AI estime que les progrès futurs pourraient permettre d’améliorer considérablement l’efficacité énergétique des applications d’IA.
