L'outil de gestion de la mémoire de supercomputing rend le stockage des données plus efficace

Des chercheurs du Laboratoire national Oak Ridge du ministère de l'Énergie ont développé une nouvelle application pour accroître l'efficacité des systèmes de mémoire pour l'informatique haute performance.

Plutôt que de permettre aux données de s'enrouler les systèmes de mémoire traditionnels dans les superordinateurs et d'impact les performances, l'équipe d'ORNL, ainsi que des chercheurs de l'Université du Tennessee, Knoxville, ont créé un cadre pour gérer plus efficacement les données avec des systèmes de mémoire qui utilisent des structures plus complexes. Des documents de recherche détaillant leur travail ont été récemment acceptés Transactions ACM sur l'architecture et l'optimisation du code et le Journal international des applications informatiques hautes performances.

Travaillant dans le cadre du projet informatique Exascale, ou ECP, un projet de recherche, de développement et de déploiement de logiciels pluriannuel géré par DOE, chercheur principal en informatique ORNL, Terry Jones et son équipe intitulé leur travail, le projet «ECP Simplified Interface to Complex Memories», ou SICM, Project.

« Notre travail consiste à mettre automatiquement les objets fréquemment utilisés au bon emplacement dans le niveau de mémoire plus rapide et à mettre les objets moins utilisés, les choses qui ne sont pas accessibles aussi souvent, dans la mémoire plus lente », a déclaré Jones. « Notre travail montre qu'il fonctionne mieux que les stratégies précédentes. »

Pour optimiser les grandes quantités de données stockées sur des ordinateurs haute performance comme la frontière d'Ornl, le premier supercalculateur exascale du monde, les scientifiques ont besoin de moyens de structurer des systèmes de mémoire en fonction de la nécessité des informations stockées. Les systèmes de mémoire qui fonctionnent plus rapidement pour la récupération d'informations peuvent être coûteux en calcul en ce qu'ils nécessitent plus de puissance de calcul, tandis que les systèmes contenant plus de données fonctionnent souvent à des vitesses plus lentes.

Jones a également déclaré que, conventionnellement, les systèmes de mémoire ont fonctionné sur un principe « First Touch », où les données sont stockées dans le stockage de mémoire le plus rapide jusqu'à ce qu'il atteigne la capacité. Cependant, dans de nombreux cas, les étapes initiales d'un programme comprennent des éléments qui ne seront utilisés que lorsque le programme sera lancé, remplissant les zones de mémoire les plus rapides avec des éléments qui ne seront plus nécessaires.

« First Touch est une approche moins idéale pour ces types d'applications », a déclaré Jones. « Notre approche utilise des techniques plus sophistiquées pour déterminer si certaines données ont besoin de mémoire plus rapide ou non et peuvent vous donner de bien meilleures performances que la première touche. »

En utilisant le système SICM, les informations sont automatiquement triées et stockées en fonction des besoins, ce qui rend la récupération beaucoup plus efficace et permet aux développeurs d'écrire des programmes qui utilisent mieux la pleine capacité des systèmes de supercalcul. À l'avenir, cet outil permettra plusieurs programmes avec différents besoins de stockage pour fonctionner dans un seul rack de supercalcul via une nouvelle technologie appelée CXL.

« Imaginez que dans un rack d'un supercalculateur, il y a beaucoup de mémoire, et tous les nœuds à l'intérieur de ce même rack pourraient obtenir tout ce dont ils ont besoin de cette mémoire », a déclaré Jones. « Donc, si à l'intérieur d'un rack, il existe plusieurs programmes, comme une application AI et un calcul complexe sur un petit ensemble de données, le programme d'IA aura besoin de beaucoup de mémoire, mais le calcul complexe n'aura pas besoin d'autant de mémoire. Dynamiquement à l'intérieur de ce rack, nous pourrions faire bouger cette mémoire pendant que ces deux codes fonctionnent. »

Newsletter

Rejoignez notre newsletter pour des astuces chaque semaine