Instances Amazon EC2 P4

Avec la dernière génération de GPU NVIDIA A100 Tensor Core, chaque instance P4d fournit en moyenne des performances de DL 2,5 fois supérieures à celles des instances P3 de la génération précédente. Les UltraClusters EC2 des instances P4d aident les développeurs, les scientifiques des données et les chercheurs à exécuter au quotidien leurs charges de travail ML et HPC les plus complexes grâce à des performances de type supercalculateur sans coûts initiaux ni engagements à long terme. La réduction du temps d'entraînement avec les instances P4d augmente la productivité, ce qui aide les développeurs à se concentrer sur leur mission principale, à savoir intégrer l'intelligence ML dans les applications métier.

Les développeurs peuvent passer aisément à des milliers de GPU avec les UltraClusters EC2 des instances P4d. La mise en réseau à haut débit et à faible latence avec prise en charge de la mise en réseau d'instances à 400 Gbit/s, ainsi que des technologies Elastic Fabric Adapter (EFA) et GPUDirect RDMA, permettent d'accélérer l'entraînement des modèles ML à l'aide de techniques de montée en puissance/distribuées. EFA utilise la bibliothèque de communications collectives NVIDIA (NCCL) pour mettre à l'échelle des milliers de GPU. La technologie GPUDirect RDMA permet quant à elle une communication GPU à GPU à faible latence entre les instances P4d.

Les instances P4d permettent de réduire jusqu'à 60 % le coût d'entraînement des modèles ML par rapport aux instances P3. En outre, les instances P4d sont disponibles à l'achat en tant qu'instances Spot. Les instances Spot tirent parti de la capacité d'instance EC2 inutilisée et peuvent réduire significativement vos coûts EC2 jusqu'à 90 % par rapport aux prix à la demande. Grâce à la réduction des coûts d'entraînement ML offerte par les instances P4d, les budgets peuvent être réaffectés pour intégrer davantage d'intelligence ML dans les applications métier.

Les AWS Deep Learning AMI (DLAMI) et les Amazon Deep Learning Containers facilitent le déploiement d'environnements de DL P4d en quelques minutes, car ils contiennent les bibliothèques et les outils nécessaires au cadre DL. Vous pouvez également ajouter vos propres bibliothèques et outils plus facilement à ces images. Les instances P4d prennent en charge les cadres ML les plus populaires, tels que TensorFlow, PyTorch et MXNet. D'autre part, les instances P4d sont prises en charge par les principaux services AWS pour le ML, la gestion et l'orchestration, tels que Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS Batch et AWS ParallelCluster.

Les GPU NVIDIA A100 Tensor Core offrent une accélération sans précédent à grande échelle pour le ML et le HPC. La troisième génération des Tensor Cores de NVIDIA A100 accélère toutes les charges de travail de précision, ainsi que le temps d'accès aux informations et de mise sur le marché. Chaque GPU A100 offre des performances de calcul plus de 2,5 fois supérieures à celles de la génération GPU V100 précédente et est fournie avec 40 Go HBM2 (dans les instances P4d) ou 80 Go HBM2e (dans les instances P4de) de mémoire GPU haute performance. La plus grande quantité de mémoire GPU profite particulièrement aux charges de travail qui s'entraînent sur des jeux de données volumineux haute résolution. Les GPU NVIDIA A100 utilisent le débit d'interconnexion des GPU NVSwitch pour que chaque GPU puisse communiquer avec tous les autres GPU dans la même instance au même débit bidirectionnel de 600 Go/s et avec une latence à un seul saut.

Les instances P4d assurent une mise en réseau à 400 Gbit/s pour aider les clients à mieux monter en puissance leurs charges de travail distribuées, telles que l'entraînement multinœuds, et de manière plus efficace grâce à un débit de mise en réseau élevé entre les instances P4d ainsi qu'entre une instance P4d et des services de stockage, tels qu'Amazon Simple Storage Service (Amazon S3) et FSx pour Lustre. EFA est une interface réseau personnalisée conçue par AWS pour faciliter la mise à l'échelle des applications ML et HPC vers des milliers de GPU. Pour réduire davantage la latence, EFA est couplée à NVIDIA GPUDirect RDMA pour permettre une communication GPU à GPU à faible latence entre les serveurs avec contournement du système d'exploitation.

Les clients peuvent accéder à un stockage à haut débit et à faible latence à l'échelle du pétaoctet avec FSx pour Lustre ou à un stockage abordable pratiquement illimité avec Amazon S3, à des vitesses de 400 Gbit/s. Pour les charges de travail nécessitant un accès rapide à de grands jeux de données, chaque instance P4d comprend également 8 To de stockage SSD basé sur NVMe avec un débit de lecture de 16 Go/s.

Les instances P4d reposent sur l'AWS Nitro System, qui est un ensemble étendu de composants qui décharge de nombreuses fonctions de virtualisation traditionnelles sur du matériel et des logiciels dédiés afin d'offrir des niveaux élevés de performances, de disponibilité et de sécurité, tout en réduisant les frais de virtualisation.

Amazon SageMaker est un service entièrement géré qui permet de créer, de former et de déployer des modèles de machine learning. Lorsque ces derniers sont utilisés avec les instances P4d, les clients peuvent facilement mettre à l'échelle des dizaines, des centaines ou des milliers de GPU pour entraîner rapidement un modèle à n'importe quelle échelle sans se soucier de la mise en place de clusters et de pipelines de données.

DLAMI fournit aux praticiens du ML et aux chercheurs l'infrastructure et les outils nécessaires pour accélérer la DL dans le cloud, à n'importe quelle échelle. Les conteneurs Deep Learning sont des images Docker préinstallées avec des frameworks DL pour faciliter le déploiement rapide d'environnements ML personnalisés en vous évitant le processus complexe de création et d'optimisation de vos environnements à partir de zéro.

Si vous préférez gérer vos propres charges de travail conteneurisées via des services d'orchestration de conteneurs, vous pouvez déployer des instances P4d avec Amazon EKS ou Amazon ECS.