Amazon ECS ahora admite el uso compartido de GPU con el servicio multiproceso (MPS) de NVIDIA
Amazon Elastic Container Service (Amazon ECS) ahora admite el uso compartido de GPU con el servicio multiproceso (MPS) de NVIDIA, lo que le permite ejecutar varias tareas de Amazon ECS simultáneamente en una sola GPU de NVIDIA. El uso compartido de la GPU le ayuda a aumentar la utilización de la GPU y a reducir los costos de infraestructura por las cargas de trabajo que utilizan solo una parte de la capacidad de una GPU, como la inferencia de modelos pequeños, las simulaciones AV/ADAS, la generación de incrustaciones y el servicio multimodelo.
Con el uso compartido de la GPU, puede concentrar más cargas de trabajo en cada instancia de la GPU sin cambiar el código de la aplicación. Usted define la memoria de la GPU que necesita cada contenedor y, si lo desea, puede establecer un límite máximo de recursos de cómputo de la GPU. Además, Amazon ECS coloca las tareas en las GPU con capacidad disponible a medida que los servicios se escalan e implementan. El uso compartido de la GPU se admite en instancias administradas de Amazon ECS y Amazon ECS en Amazon EC2. En las instancias administradas de Amazon ECS, Amazon ECS también monitorea el daemon de control de MPS que permite compartir en cada instancia. Si el daemon se detiene o deja de funcionar correctamente, Amazon ECS reemplaza automáticamente la instancia y traslada sus tareas a una capacidad que funcione correctamente, de modo que las cargas de trabajo de la GPU sigan ejecutándose sin intervención manual.
Para empezar, utilice la Consola de administración de AWS, la CLI de AWS, los SDK de AWS, AWS CloudFormation u otras herramientas de infraestructura como código para crear un proveedor de capacidad con instancias de GPU de NVIDIA, configure la estrategia de uso compartido de la GPU y la memoria en la definición del contenedor de su definición de tarea, y cree un servicio en ese proveedor de capacidad. Esta capacidad está disponible en todas las regiones comerciales de AWS y de AWS GovCloud (EE. UU.). Para obtener más información, consulte la documentación sobre uso compartido de la GPU de Amazon ECS.