Amazon ECS prend désormais en charge la planification fractionnée des GPU avec les instances Amazon EC2 G6f
Amazon Elastic Container Service (Amazon ECS) prend désormais en charge la planification fractionnée des GPU avec les instances Amazon EC2 G6f, ce qui vous permet d’exécuter vos charges de travail sur des partitions GPU aussi petites qu’un huitième d’un GPU NVIDIA L4 Tensor Core avec 3 Go de mémoire GPU. Les GPU fractionnés vous permettent de dimensionner correctement vos conteneurs pour l’inférence d’IA sur de petits modèles, l’expérimentation de modèles, le rendu graphique et d’autres charges de travail ne nécessitant pas de GPU complet, ce qui contribue à réduire les coûts d’infrastructure par rapport au provisionnement d’une instance GPU complète.
Vous pouvez demander un GPU fractionnaire en définissant GPU=0.125, GPU=0.25 ou GPU=0.5 dans la définition du conteneur de votre définition de tâche Amazon ECS. Amazon ECS place ensuite la tâche sur une instance G6f qui répond à la demande. La configuration fractionnée du GPU est prise en charge à la fois sur les instances gérées Amazon ECS et sur Amazon ECS sur EC2. Avec les Instances gérées ECS, vous bénéficiez d’une expérience entièrement gérée dans laquelle ECS gère automatiquement le provisionnement, la mise à l’échelle, l’application de correctifs et la gestion du cycle de vie des instances, afin que vous puissiez vous concentrer sur les charges de travail de votre GPU plutôt que sur les opérations d’infrastructure. Les instances gérées ECS incluent des fonctionnalités spécialement conçues pour les charges de travail accélérées : métriques du GPU (utilisation, mémoire et température) via Amazon CloudWatch Container Insights, et surveillance automatique de l’état qui détecte les défaillances matérielles spécifiques au GPU et remplace les instances défectueuses afin de minimiser les interruptions de charge de travail.
Cette fonctionnalité est disponible dans toutes les Régions AWS où les instances Amazon EC2 G6f sont disponibles. Pour commencer, utilisez la console de gestion AWS, l’interface de ligne de commande AWS, les kits SDK AWS, AWS CloudFormation ou d’autres outils d’infrastructure en tant que code pour configurer un fournisseur de capacité avec des instances G6f et spécifier une valeur GPU fractionnaire dans la définition du conteneur de votre définition de tâche ECS. Pour en savoir plus, consultez la documentation relative aux GPU fractionnés Amazon ECS et la page sur les instances Amazon EC2 G6.