Amazon SageMaker HyperPod ahora es compatible con la GPU de instancias múltiples (MIG) de NVIDIA para tareas de IA generativa
Amazon SageMaker HyperPod ahora es compatible con la tecnología de GPU de instancias múltiples (MIG) de NVIDIA. De este modo, los administradores pueden dividir una sola GPU en varias GPU aisladas. Esta capacidad permite a los administradores maximizar la utilización de los recursos al ejecutar varias tareas pequeñas de IA generativa (GenAI) de forma simultánea en particiones de GPU, a la vez que mantienen el rendimiento y el aislamiento de las tareas.
Los administradores pueden elegir entre la configuración fácil de usar de la consola SageMaker HyperPod o un enfoque de configuración personalizado para habilitar recursos detallados y aislados del hardware para los requisitos de tareas específicas que no requieren la capacidad total de la GPU. También pueden asignar cuotas de procesamiento para garantizar una distribución justa y eficiente de las particiones de GPU entre los equipos. Con las métricas de rendimiento en tiempo real y el panel de monitoreo del uso de los recursos en todas las particiones de la GPU, los administradores obtienen visibilidad que permite optimizar la asignación de recursos. Los científicos de datos ahora pueden acelerar el tiempo de comercialización programando tareas de inferencia ligeras y ejecutando cuadernos interactivos en paralelo en las particiones de la GPU, lo que elimina los tiempos de espera para obtener la disponibilidad total de la GPU.
Esta capacidad está disponible actualmente para los clústeres de Amazon SageMaker HyperPod que utilizan el orquestador EKS en las siguientes regiones de AWS: Oeste de EE. UU. (Oregón), este de EE. UU. (norte de Virginia), este de EE. UU. (Ohio), oeste de EE. UU. (norte de California), Canadá (centro), América del Sur (São Paulo), Europa (Estocolmo), Europa (España), Europa (Irlanda), Europa (Fráncfort), Europa (Londres), Asia-Pacífico (Mumbai), Asia-Pacífico (Yakarta), Asia-Pacífico (Melbourne), Asia-Pacífico (Tokio), Asia-Pacífico (Sídney), Asia-Pacífico (Seúl), Asia-Pacífico (Singapur).
Para obtener más información, visite la página web de SageMaker HyperPod y la documentación de SageMaker HyperPod.