SageMaker HyperPod ahora admite el uso compartido de recursos inactivos para el uso dinámico de clústeres
La gobernanza de tareas de Amazon SageMaker HyperPod ahora admite el uso compartido dinámico de recursos, lo que permite a los equipos tomar prestada capacidad de computación no asignada en clústeres de HyperPod más allá de sus cuotas garantizadas. Los administradores también pueden configurar los límites de préstamos para tipos de recursos específicos, como aceleradores, CPU virtuales o memoria, a fin de garantizar una distribución justa entre los equipos.
Los administradores que ejecutan clústeres de computación compartidos para cargas de trabajo de IA generativa suelen enfrentarse a desafíos de desaprovechamiento. Cuando los científicos de datos no consumen por completo las cuotas asignadas, las costosas instancias de computación permanecen inactivas. El uso compartido inactivo de recursos resuelve este problema, ya que identifica de forma automática la capacidad no usada del clúster y permite que otros equipos para que la aprovechan según disponibilidad. La gobernanza de tareas de HyperPod supervisa el estado del clúster y recalcula de manera automática los recursos que pueden compartirse cuando cambian las instancias o las políticas de capacidad de computación, sin necesidad de configuración manual. Las instancias aptas que están listas y se pueden programar, incluidas las que tienen configuraciones de GPU particionadas, contribuyen al conjunto prestable de capacidad de computación no asignada. Los administradores también pueden definir límites absolutos de uso compartido, además de límites basados en porcentaje sobre la capacidad de computación inactiva. Esto les permite maximizar el uso de la computación y mantener un control detallado sobre cómo se distribuye la capacidad inactiva entre los equipos, al tiempo que garantiza el aislamiento de las cuotas de computación para cada equipo.
Esta capacidad está disponible actualmente para los clústeres de Amazon SageMaker HyperPod que usan el orquestador EKS en las siguientes regiones de AWS: Este de EE. UU. (norte de Virginia), Este de EE. UU. (Ohio), Oeste de EE. UU. (Norte de California), Oeste de EE. UU. (Oregón), Asia-Pacífico (Mumbai), Asia-Pacífico (Singapur), Asia-Pacífico (Sídney), Asia-Pacífico (Tokio), Asia-Pacífico (Yakarta), Europa (Fráncfort), Europa (Irlanda),Europa (Londres), Europa (Estocolmo), Europa (España) y América del Sur (São Paulo).
Para más información, visite la página web de HyperPod de SageMaker y la documentación de gobernanza de tareas de HyperPod.