Amazon ECS ahora admite la programación fraccionada de GPU con instancias G6f de Amazon EC2
Amazon Elastic Container Service (Amazon ECS) ahora admite la programación fraccionada de GPU con instancias G6f de Amazon EC2, lo que le permite ejecutar sus cargas de trabajo en particiones de GPU tan pequeñas como una octava parte de una GPU NVIDIA L4 Tensor Core con 3 GB de memoria de GPU. Las GPU fraccionadas le brindan la flexibilidad de ajustar el tamaño correcto de sus contenedores para la inferencia de IA de modelos pequeños, la experimentación con modelos, el renderizado de gráficos y otras cargas de trabajo que no requieren una GPU completa, lo que ayuda a reducir los costos de infraestructura en comparación con el aprovisionamiento de una instancia de GPU completa.
Puede solicitar una GPU fraccionada. Para ello, configure GPU=0,125, GPU=0,25 o GPU=0,5 en la definición de contenedor de su definición de tareas de Amazon ECS. A continuación, Amazon ECS coloca la tarea en una instancia G6f que satisface la solicitud. La configuración fraccionada de GPU es compatible tanto en las instancias administradas de Amazon ECS como en Amazon ECS en EC2. Con las instancias administradas de ECS, obtiene una experiencia completamente administrada en la que ECS gestiona de forma automática el aprovisionamiento, el escalado, la aplicación de parches y la administración del ciclo de vida de las instancias para que pueda centrarse en las cargas de trabajo de la GPU en lugar de en las operaciones de infraestructura. Las instancias administradas de ECS incluyen capacidades creadas específicamente para cargas de trabajo aceleradas, como métricas de GPU mediante la Información de contenedores de Amazon CloudWatch y supervisión automática del estado que detecta fallas de hardware de la GPU y reemplaza las instancias en mal estado para minimizar la interrupción de la carga de trabajo.
Esta capacidad está disponible en todas las regiones de AWS en las que están disponibles las instancias G6f de Amazon EC2. Para empezar, utilice la Consola de administración de AWS, la CLI de AWS, los SDK de AWS, AWS CloudFormation u otras herramientas de infraestructura como código para configurar un proveedor de capacidad con instancias G6f y especificar un valor de GPU fraccionario en la definición de contenedor de la definición de tareas de ECS. Para obtener más información, consulte la documentación de la GPU fraccionada de Amazon ECS y la página de la instancia G6 de Amazon EC2.