Amazon ECS 受管執行個體現已支援 AWS Trainium 和 AWS Inferentia
Amazon Elastic Container Service (Amazon ECS) 受管執行個體現已支援 AWS Trainium 和 AWS Inferentia,這些是專門建置的 AI 加速器,旨在針對各種生成式 AI 工作負載的訓練和推論提供可擴展的效能和成本效益。Amazon ECS 受管執行個體是全受管運算選項,旨在消除基礎設施管理開銷,同時讓您能存取 Amazon EC2 的全部功能。ECS 受管理執行個體將基礎架構作業卸載到 AWS,可協助您快速啟動和擴展工作負載,同時提升效能並降低總擁有成本。
有了 ECS 受管理執行個體,您可以獲得所需的應用程式效能和簡易性。現在,您能夠建立 ECS 受管執行個體容量提供者,並選取所需的加速執行個體類型,包括 Inferentia2、Trainium1 和 Trainium2,然後將 NEURON_CORE=all 組態新增至工作定義的 ResourceRequirement 區段中。這將指示 Amazon ECS 啟動您指定的執行個體,並為每個執行個體安排單一工作,自動將加速器的所有資源分配到您的工作負載,進而獲得最佳效能。
若要開始使用 ECS 受管理執行個體,請使用 AWS Console、Amazon ECS MCP 伺服器或您喜愛的基礎架構即程式碼工具,以在全新或現有的 Amazon ECS 叢集中加以啟用。除了常規 Amazon EC2 成本外,AWS 還會向您收取已佈建的運算管理費用。若要進一步了解 ECS 受管執行個體,請瀏覽功能頁面、文件和 AWS 新聞發佈部落格。