Mirendil Inc., une startup développant des modèles d'intelligence artificielle pour les scientifiques, a levé 200 millions de dollars pour une valorisation d'un milliard de dollars.
Le tour de table était dirigé par Andreessen Horowitz. Mirendil a déclaré dans son annonce de financement de mercredi que Kleiner Perkins, Nvidia Corp. et plusieurs autres investisseurs avaient également contribué.
Mirendil est dirigé par le PDG Behnam Neyshabur et le directeur de la technologie Harsh Mehta. Neyshabur est co-inventeur de SAMun algorithme populaire pour améliorer la qualité de sortie des modèles d'IA. Mehta a contribué au lancement des efforts d'Anthropic PBC pour automatiser certaines parties de son programme de recherche interne à l'aide d'outils d'IA personnalisés.
Construire un modèle frontière implique une quantité importante de travail manuel. Mirendil prévoit de développer des réseaux de neurones capables d'automatiser une grande partie de ce travail. Selon l’entreprise, l’objectif est de créer un système d’IA capable de se mettre à niveau de manière autonome pour augmenter la qualité du résultat. L’espoir est qu’une telle IA auto-améliorée sera capable de faire progresser l’apprentissage automatique plus rapidement que les initiatives de recherche manuelles.
Mirendil prévoit de mettre son IA auto-améliorée à la disposition des scientifiques dans des domaines tels que la chimie, la médecine et la robotique. La société voit des clients utiliser le logiciel pour créer des modèles frontières optimisés pour des tâches de recherche spécifiques.
Le site Web de Mirendil ne contient aucune information sur sa technologie. Cependant, un des offres d'emploi de l'entreprise indiquent qu'elle prévoit de développer de nouvelles variantes des architectures de réseaux neuronaux existantes. L'ouverture indique que l'effort donnera la priorité à l'architecture du transformateur, qui est utilisée pour créer de grands modèles de langage.
L'une des priorités de Mirendil sera de développer de nouveaux mécanismes d'attention. Un mécanisme d'attention est un module que les LLM utilisent pour analyser les invites des utilisateurs et identifier les points de données les plus importants.
Les chercheurs ont développé plusieurs versions de cette technologie au cours de la dernière décennie. Certaines variantes populaires, telles que l'attention multi-requêtes groupées, sont conçues pour réduire l'utilisation considérable de la RAM des LLM. D'autres améliorent la capacité des modèles à traiter les invites contenant une grande quantité de données.
Une deuxième offre d'emploi indique que Mirendil développera son IA auto-améliorée à l’aide de bacs à sable d’apprentissage par renforcement. Il s’agit de simulations dans lesquelles les réseaux de neurones perfectionnent leurs compétences en interagissant les uns avec les autres. Google LLC a utilisé une approche similaire pour former son système AlphaGo Zero, l'une des avancées les plus médiatisées en matière d'apprentissage automatique de la dernière décennie.
Mirendil construira des outils d'IA personnalisés pour accélérer ses efforts de développement de modèles. La société espère pour automatiser plus d'une demi-douzaine de tâches, notamment la préparation des données et le débogage.
« Appelez ça de la recherche sur les vibrations » Les investisseurs d'Andreessen Horowitz, Matt Bornstein et Malika Aubakirova, ont écrit dans un article de blog. « Si cela fonctionne, cela pourrait changer la façon dont l'écosystème de l'IA est structuré et soutenir les experts dans de nombreux domaines. »
