La startup de gouvernance de l'intelligence artificielle nFOX Lab a lancé aujourd'hui une plate-forme de gestion de grands modèles de langage détenus et a annoncé son intention d'ouvrir Blockhouse en open source, un bac à sable de sécurité conçu pour restreindre ce à quoi les charges de travail d'IA peuvent accéder et faire.
L'entreprise, qui est sortie du mode furtif cette semaine, vise à aider les entreprises à adopter des modèles ouverts en toute sécurité sur les infrastructures qu'elles contrôlent tout en limitant les dommages qu'une charge de travail compromise ou se comportant mal pourrait causer. Blockhouse supprime les privilèges par défaut et permet aux administrateurs de restaurer délibérément l'accès via des politiques appliquées au niveau du noyau Linux.
L'approche de l'entreprise s'inspire des principes de sécurité Zero Trust en limitant fortement l'accès et en permettant aux administrateurs de restaurer les privilèges de manière sélective. « Chaque modèle a le potentiel d'être hostile », a déclaré Gordon Allott, fondateur et directeur général de nFOX. « Nous présumons simplement l'hostilité. »
Cela répond à un dilemme pour les entreprises qui souhaitent des capacités d’IA mais hésitent à envoyer des informations sensibles à des fournisseurs externes. L'exécution de modèles en interne donne aux entreprises le contrôle de leurs données, mais cela les rend également responsables de la sécurisation des logiciels et de l'infrastructure qui prennent en charge ces modèles.
Blockhouse fonctionne sous la couche application, en utilisant les mécanismes de sécurité Linux pour restreindre les charges de travail des modèles. Plutôt que de s'appuyer sur des instructions indiquant à un modèle ce qu'il doit éviter, le système supprime les fonctionnalités qui pourraient permettre des activités non autorisées, selon Allott.
« En fait, vous supprimez la possibilité de le faire », a-t-il déclaré.
Les communications transitent par Porthole, un canal surveillé qui permet d'examiner les demandes avant qu'elles ne soient satisfaites. Les informations d’identification d’exécution et les contrôles d’audit restent en dehors du processus de modèle. Les administrateurs peuvent restreindre l'accès aux fichiers et approuver les destinations que les charges de travail peuvent contacter à l'aide d'une liste blanche.
Même si l’approche est globale, elle n’exclut pas le risque d’erreur humaine. Allott a reconnu qu'un administrateur pouvait autoriser par erreur une destination malveillante.
Blockhouse vérifie également l'intégrité du modèle. Les fichiers approuvés sont scellés avec des hachages SHA-256 avant d'être diffusés, et les contrôles intégrés arrêtent la diffusion si ces fichiers changent. Le logiciel enregistre les événements de confinement et signale lorsqu'un hôte ne peut pas fournir la protection attendue.
Le bac à sable prend en charge les moteurs d'inférence vLLM, SGLang et llama.cpp. La plate-forme nFOX qui l'accompagne fournit une console pour évaluer, déployer et surveiller des modèles sur des machines virtuelles cloud, des hôtes d'unités de traitement graphique loués et des serveurs Linux sur site équipés de GPU Nvidia Corp.
Les équipes peuvent vérifier les configurations des modèles, vérifier les fichiers et tester les modèles avec des invites contradictoires avant le déploiement. Les charges de travail de production reçoivent des points de terminaison compatibles OpenAI Group PLC, tandis que les preuves opérationnelles peuvent alimenter les systèmes existants de détection des points de terminaison et de gestion des informations de sécurité. Les enregistrements d'audit utilisent les formats JavaScript Object Notation et Parquet.
Allott a déclaré que nFOX prévoyait de publier Blockhouse sous la licence Apache 2.0, tout en facturant une licence annuelle pour sa plate-forme de gestion de flotte. Il a déclaré que l'open source du bac à sable invite le public à l'examen minutieux dont les logiciels de sécurité ont besoin.
« La meilleure sécurité vient d’un très grand nombre d’yeux et de personnes intelligentes qui y travaillent », a-t-il déclaré.
Allott a souligné OpenShell de Nvidia comme une technologie similaire axée sur la sécurisation des agents et a déclaré que nFOX avait l'intention de l'intégrer. La feuille de route de la startup l'étend au fil du temps à la protection des agents.
La start-up est autofinancée mais a l'intention de lever du capital-risque. Allott a déclaré que nFox avait des clients pilotes bêta payants, bien que ce ne soit pas encore rentable.
La plateforme nFOX est disponible dès maintenant. Blockhouse est disponible en version bêta pour des évaluations d'entreprise qualifiées. La plate-forme commerciale ajoute le déploiement et la surveillance au bac à sable open source, les deux composants étant axés sur le maintien de l'IA exploitée en privé sous le contrôle de l'entreprise.
