Amazon ECS prend désormais en charge le partage de GPU avec NVIDIA Multi-Process Service (MPS)
Amazon Elastic Container Service (Amazon ECS) prend désormais en charge le partage de GPU avec NVIDIA Multi-Process Service (MPS), ce qui vous permet d’exécuter plusieurs tâches Amazon ECS simultanément sur un seul GPU NVIDIA. Le partage de GPU vous permet d’augmenter l’utilisation du GPU et de réduire les coûts d’infrastructure pour les charges de travail qui n’utilisent qu’une partie de la capacité d’un GPU, telles que l’inférence de petits modèles, les simulations AV/ADAS, la génération par vectorisation et le service multimodèle.
Grâce au partage de GPU, vous pouvez regrouper davantage de charges de travail sur chaque instance de GPU sans modifier le code de votre application. Vous définissez la mémoire GPU dont chaque conteneur a besoin et pouvez éventuellement définir une part maximale du calcul GPU, et Amazon ECS place les tâches sur les GPU dotés de la capacité disponible à mesure que vos services se mettent à l’échelle et se déploient. Le partage de GPU est pris en charge sur les Instances gérées Amazon ECS et Amazon ECS sur Amazon EC2. Sur les Instances gérées Amazon ECS, Amazon ECS surveille également le démon de contrôle MPS, qui permet le partage sur chaque instance. Si le démon s’arrête ou devient défectueux, Amazon ECS remplace automatiquement l’instance et déplace vos tâches à pleine capacité afin que vos charges de travail GPU continuent de fonctionner sans intervention manuelle.
Pour commencer, utilisez la console de gestion AWS, l’AWS CLI, les kits AWS SDK, AWS CloudFormation ou d’autres outils d’infrastructure en tant que code pour créer un fournisseur de capacité avec des instances GPU NVIDIA, définir la stratégie de partage de GPU et la mémoire dans la définition du conteneur de votre définition de tâche et créer un service sur ce fournisseur de capacité. Cette fonctionnalité est disponible dans toutes les Régions AWS commerciales et AWS GovCloud (US). Pour en savoir plus, consultez la documentation sur le partage de GPU Amazon ECS.