Amazon ECS unterstützt jetzt fraktionierte GPU-Planung mit Amazon EC2 G6f-Instances
Amazon Elastic Container Service (Amazon ECS) unterstützt jetzt fraktionierte GPU-Planung mit Amazon EC2 G6f-Instances, sodass Sie Ihre Workloads auf GPU-Partitionen ausführen können, die nur ein Achtel einer NVIDIA L4 Tensor Core-GPU mit 3 GB GPU-Speicher ausmachen. Fraktionierte GPUs bieten Ihnen die Flexibilität, Ihre Container für KI-Inferenz mit kleinen Modellen, Modellexperimenten, Grafik-Rendering und anderen Workloads, für die keine vollständige GPU erforderlich ist, richtig zu dimensionieren. Dadurch werden die Infrastrukturkosten im Vergleich zur Bereitstellung einer vollständigen GPU-Instance gesenkt.
Sie können eine fraktionierte GPU anfordern, indem Sie in der Container-Definition Ihrer Amazon ECS-Aufgabendefinition GPU=0.125, GPU=0.25 oder GPU=0.5 festlegen. Amazon ECS platziert die Aufgabe dann auf einer G6f-Instance, die die Anforderung erfüllt. Die fraktionierte GPU-Konfiguration wird sowohl auf Amazon ECS Managed Instances als auch auf Amazon ECS auf EC2 unterstützt. Mit ECS Managed Instances erhalten Sie ein vollständig verwaltetes Erlebnis, bei dem ECS automatisch Instance-Bereitstellung, Skalierung, Patching und Lebenszyklusmanagement übernimmt, sodass Sie sich auf Ihre GPU-Workloads konzentrieren können, anstatt auf Infrastruktur-Operationen. ECS Managed Instances umfassen auch Funktionen, die speziell für beschleunigte Workloads entwickelt wurden, z. B. GPU-Metriken über Amazon CloudWatch Container Insights sowie eine automatische Zustandsüberwachung, die GPU-Hardwareausfälle erkennt und fehlerhafte Instances ersetzt, um Workload-Unterbrechungen zu minimieren.
Diese Funktion ist in allen AWS-Regionen verfügbar, in denen Amazon EC2-G6f-Instances verfügbar sind. Verwenden Sie zunächst die AWS-Managementkonsole, AWS-CLI, AWS-SDKs, AWS CloudFormation oder andere Infrastructure-as-Code-Tools, um einen Kapazitätsanbieter mit G6f-Instances zu konfigurieren und einen fraktionierten GPU-Wert in der Container-Definition Ihrer ECS-Aufgabendefinition anzugeben. Weitere Informationen finden Sie in der Dokumentation zu fraktionierten GPU von Amazon ECS und auf der Amazon EC2-G6-Instance-Seite.