La startup d'optimisation de l'intelligence artificielle Refiant Inc. a lancé aujourd'hui Protea, une suite de modèles d'IA à contexte long dirigée par une fenêtre contextuelle de 10 millions de jetons qui, selon la société, se classe parmi les plus grandes jamais rendues publiques.
Les fenêtres contextuelles déterminent la quantité d'informations qu'un modèle peut contenir simultanément dans la mémoire de travail. La plupart des principaux modèles ne gèrent que quelques centaines de milliers de jetons avant que les performances ne se dégradent, obligeant les développeurs à recourir à des solutions de contournement qui divisent les grands ensembles de données en fragments.
Refiant dit que Protea élève ce plafond. Une base de code d’entreprise entière peut être insérée en même temps. Il en va de même pour des archives réglementaires complètes ou des années de données d’essais cliniques qui étaient auparavant découpées et introduites dans un modèle pièce par pièce.
Une fenêtre de 10 millions de jetons équivaut à environ 7,5 millions de mots, soit 15 000 pages. Refiant le dit en termes plus directs : jusqu'à cinq ans de courrier électronique et de messages Slack d'une personne, ou des décennies de ses rapports et fichiers. Une équipe d’ingénieurs pourrait charger une base de code complète et exécuter son analyse en une journée. Un assureur pourrait passer au crible des années de réclamations sans d’abord diviser les données en morceaux.
La société a déclaré que Protea s'attaque également au problème de la « perte au milieu », une faiblesse documentée des grandes fenêtres contextuelles dans lesquelles les modèles restent précis au début et à la fin d'une entrée mais perdent la trace du contenu enfoui entre les deux.
Refiant a été fondée en 2025 par Viroshan Naicker, Siddharth Gutta et Mathew Haswell. Naicker est un mathématicien quantique ; les autres proviennent de la finance et du commerce. Ils soutiennent que les modèles d’IA modernes sont profondément inefficaces et que de meilleures méthodes existent déjà dans la nature. L'approche de Refiant emprunte à la recherche évolutive et au comportement en essaim.
Refiant a d'abord appliqué l'approche de compression de modèle, en réduisant le GPT-OSS-120B d'OpenAI Group PBC pour qu'il fonctionne sur un MacBook Pro avec 12 Go de RAM. Ces résultats ont permis d'établir des partenariats de recherche avec l'Imperial College London et le Sargent Centre for Process Systems Engineering de l'University College London.
« On parle d'IA à contexte long depuis plus d'un an maintenant, mais elle n'est pas vraiment disponible dans le commerce », a déclaré le directeur général Viroshan Naicker. Le co-fondateur et directeur des produits, Mathew Haswell, a ajouté que les clients veulent des modèles avec lesquels ils peuvent tester et créer plutôt que davantage de listes d'attente.
Refiant a déclaré avoir déjà exécuté un prototype interne de 100 millions de jetons. Comment comparer cela et en faire un produit reste une question ouverte. Le lancement est la première des trois étapes prévues. Il a indiqué que davantage d’informations seraient disponibles d’ici trois mois.
Les modèles sont désormais disponibles sur refiant.ai, avec des versions couvrant 1 million, 5 millions et 10 millions de jetons et sans liste d'attente ni processus d'approbation pour y accéder.
