Amazon ECS 現在支援透過 NVIDIA Multi-Process Service (MPS) 進行 GPU 共享
Amazon Elastic Container Service (Amazon ECS) 現在支援透過 NVIDIA Multi-Process Service (MPS) 進行 GPU 共享，讓您可在單一 NVIDIA GPU 上同時執行多個 Amazon ECS 任務。GPU 共享可協助您提高 GPU 使用率，並為僅使用部分 GPU 容量的工作負載降低基礎設施成本，例如小模型推論、AV/ADAS 模擬、嵌入生成及多模型服務。
透過 GPU 共享，您無須變更應用程式程式碼，即可在每個 GPU 執行個體上裝載更多工作負載。您可定義每個容器所需的 GPU 記憶體，並選擇性設定 GPU 運算的最大共享比例；Amazon ECS 會在您的服務擴展和部署時，將任務放置於仍有可用容量的 GPU 上。GPU 共享支援 Amazon ECS Managed Instances 及 Amazon EC2 上的 Amazon ECS。在 Amazon ECS Managed Instances 上，Amazon ECS 也會監控每個執行個體上啟用共享功能的 MPS 控制常駐程式。若常駐程式停止或狀態不佳，Amazon ECS 會自動更換該執行個體，並將您的任務移至狀況良好的容量，讓您的 GPU 工作負載無須手動介入即可持續執行。
若要開始使用，請使用 AWS 管理主控台、AWS CLI、AWS SDK、AWS CloudFormation 或其他基礎設施即程式碼工具，建立含 NVIDIA GPU 執行個體的容量提供者，在任務定義的容器定義中設定 GPU 共享策略和記憶體，然後在該容量提供者上建立服務。所有 AWS 商業和 AWS GovCloud (美國) 區域皆提供此功能。若要了解詳情，請參閱 Amazon ECS GPU 共享文件。