Meta (anciennement Facebook) a construit un supercalculateur IA qui, selon lui, sera le plus rapide au monde lorsqu’il sera entièrement prêt à la mi-2022. Appelée AI Research SuperCluster (RSC), la machine est déjà utilisée par les ingénieurs de Meta pour former de grands modèles au traitement du langage naturel (en anglais NLP : Natural Language Processing).
Les superordinateurs (ou supercalculateurs) sont des machines extrêmement rapides et puissantes conçues pour effectuer des calculs complexes impossibles avec un ordinateur ordinaire.
RSC aidera les chercheurs en IA de Meta à créer de nouveaux modèles d’IA qui peuvent apprendre à partir de milliards d’exemples ; travailler dans des centaines de langues différentes ; analyser ensemble de manière transparente du texte, des images et des vidéos ; développer de nouveaux outils de réalité augmentée ; et bien plus encore.
Kevin Lee et Shubho Sengupta (ingénieurs Méta)
Un superordinateur pour construire le Métavers
Le supercalculateur de Meta sera capable de traiter d’énormes quantités de données et sera utilisé dans des applications en lien avec métavers.
Le travail effectué avec RSC ouvrira la voie à la création de technologies pour la prochaine plate-forme informatique majeure – le métavers.
Communiqué Méta
Meta travaille à la création de nouveaux systèmes d’IA qui peuvent, par exemple, alimenter des traductions vocales en temps réel pour de grands groupes de personnes, chacun parlant une langue différente, afin qu’ils puissent collaborer de manière transparente. Cela pourrait faire progresser des domaines tels que le traitement du langage naturel pour des tâches telles que l’identification de contenu préjudiciable en temps réel.
Une collaboration avec Nvidia
Les superordinateurs, qui comportent de nombreux processeurs interconnectés regroupés dans ce que l’on appelle des nœuds, sont utilisés pour la recherche sur l’IA.
Meta a déclaré que ke RSC comprend un total de 760 systèmes NVIDIA DGX A100 comme nœuds de calcul, pour un total de 6 080 GPU – chaque GPU A100 étant plus puissant que le V100 utilisé dans son précédent système.
Les supercalculateurs IA sont en effet construits en combinant plusieurs GPU dans des nœuds de calcul, qui sont ensuite connectés par une structure réseau haute performance pour permettre une communication rapide entre ces GPU.
Cela signifie qu’un modèle avec des dizaines de milliards de paramètres peut terminer l’entraînement en trois semaines, contre neuf semaines auparavant.
Communiqué Méta
Pour sa part, Nvidia a déclaré :
Une fois entièrement déployé, le RSC de Meta devrait être la plus grande installation client de systèmes NVIDIA DGX A100.
Pour mémoire, Meta est impliqué dans la recherche sur l’IA depuis plus d’une décennie. Il a créé le laboratoire Facebook AI Research lab (FAIR) en 2013. Meta a lancé son premier supercalculateur dédié à l’IA en 2017, construit avec 22 000 GPU Nvidia V100.
Contrairement à son superordinateur précédent, qui n’utilisait que des ensembles de données open source et accessibles au public, la nouvelle machine de Meta exploitera des données de formation réelles obtenues directement auprès des utilisateurs des plates-formes de l’entreprise.
Meta n’a pas révélé où se trouve l’ordinateur ni combien il en coûte pour le construire.
