Amazon ECS unterstützt jetzt GPU-Sharing mit NVIDIA Multi-Process Service (MPS)
Amazon Elastic Container Service (Amazon ECS) unterstützt jetzt die gemeinsame Nutzung von Grafikprozessoren mit NVIDIA Multi-Process Service (MPS), sodass Sie mehrere Amazon ECS-Aufgaben gleichzeitig auf einer NVIDIA-GPU ausführen können. Mit GPU-Sharing können Sie die GPU-Auslastung erhöhen und die Infrastrukturkosten für Workloads senken, die nur einen Teil der GPU-Kapazität nutzen, wie z. B. die Inferenz kleiner Modelle, AV/ADAS-Simulationen, Embedding-Generierung und die Bereitstellung mehrerer Modelle.
GPU-Sharing ermöglicht Ihnen, mehr Workloads auf jeder GPU-Instance auszuführen, ohne Ihren Anwendungscode zu ändern. Sie definieren den benötigten GPU-Speicher der jeweiligen Container und können auf Wunsch einen maximalen Anteil der GPU-Rechenleistung festlegen. Amazon ECS platziert Aufgaben auf GPUs mit verfügbarer Kapazität, während Ihre Services skaliert und bereitgestellt werden. GPU-Sharing wird auf Amazon ECS Managed Instances und Amazon ECS auf Amazon EC2 unterstützt. Auf Amazon ECS Managed Instances überwacht Amazon ECS auch den MPS-Steuerdaemon, der das Sharing auf den jeweiligen Instances ermöglicht. Wenn der Daemon stoppt oder fehlerhaft wird, ersetzt Amazon ECS die Instance automatisch. Ihre Aufgaben werden auf einwandfrei funktionierende Kapazitäten verschoben, sodass Ihre GPU-Workloads ohne manuelles Eingreifen weiterlaufen.
Um das GPU-Sharing zu nutzen, müssen Sie mit der AWS-Managementkonsole, AWS-CLI, AWS-SDKs, AWS CloudFormation oder anderen Infrastructure-as-Code-Tools einen Kapazitätsanbieter für NVIDIA-GPU-Instances erstellen, die GPU-Sharing-Strategie und den Speicher in der Container-Definition Ihrer Aufgabendefinition festlegen und einen Service für diesen Kapazitätsanbieter erstellen. Diese Funktion ist in allen kommerziellen AWS-Regionen und den AWS GovCloud-Regionen (USA) verfügbar. Weitere Informationen finden Sie in der Dokumentation zum GPU-Sharing mit Amazon ECS.