Amazon SageMaker HyperPod ahora admite grupos de instancias flexibles
Amazon SageMaker HyperPod ahora admite grupos de instancias flexibles, lo que permite que los clientes especifiquen varios tipos de instancias y varias subredes dentro de un único grupo de instancias. Los clientes que ejecutan cargas de trabajo de entrenamiento e inferencia en HyperPod suelen necesitar abarcar varios tipos de instancias y zonas de disponibilidad para aumentar la resiliencia de la capacidad, optimizar los costos y utilizar la subred. Sin embargo, tenían que crear y administrar un grupo de instancias independiente para cada combinación de tipo de instancia y zona de disponibilidad, lo que generaba una sobrecarga operativa en la configuración, el escalado, la aplicación de parches y el monitoreo del clúster.
Con los grupos de instancias flexibles, puede definir una lista ordenada de tipos de instancias con el nuevo parámetro InstanceRequirements y proporcionar varias subredes en todas las zonas de disponibilidad en un solo grupo de instancias. HyperPod aprovisiona primero las instancias con el tipo de mayor prioridad y recurre automáticamente a los tipos de menor prioridad cuando la capacidad no está disponible. De esta manera, se evita la necesidad de que los clientes vuelvan a intentarlo manualmente en grupos de instancias individuales. Los clientes de entrenamiento se benefician de la distribución en varias subredes dentro de una zona de disponibilidad para evitar el agotamiento de las subredes. Los clientes de inferencia que escalan manualmente obtienen un respaldo automático basado en prioridades en todos los tipos de instancias, sin necesidad de volver a intentar cada grupo de instancias de forma individual, mientras que los que utilizan el escalado automático de Karpenter pueden hacer referencia a un único grupo de instancias flexible. Karpenter detecta automáticamente los tipos de instancias compatibles del grupo de instancias flexible y aprovisiona el tipo y la zona de disponibilidad óptimos en función de los requisitos del pod. Puede crear grupos de instancias flexibles con las API CreateCluster y UpdateCluster, AWS CLI o la consola de administración de AWS.
Los grupos de instancias flexibles están disponibles para los clústeres de SageMaker HyperPod que utilizan el orquestador EKS en todas las regiones de AWS en las que se admite SageMaker HyperPod. Para obtener más información, consulte Grupos de instancias flexibles.