Amazon SageMaker HyperPod ahora admite instancias G7e y r5d.16xlarge
Amazon SageMaker HyperPod ahora admite instancias G7e y R5d.16xlarge. SageMaker HyperPod es una infraestructura diseñada específicamente para desarrollar, entrenar e implementar modelos básicos a escala. Proporciona un entorno resiliente y de alto rendimiento con tolerancia a errores integrada, recuperación automatizada de clústeres y bibliotecas de formación distribuidas optimizadas, lo que reduce la pesada carga indiferenciada de administrar una infraestructura de IA y ML a gran escala.
Las instancias G7e funcionan con las GPU NVIDIA RTX PRO 6000 Blackwell Server Edition y ofrecen un rendimiento de inferencia hasta 2,3 veces mejor que las instancias G6e, lo que le permite procesar más solicitudes por segundo y reducir la latencia. Con hasta 768 GB de memoria total de GPU, las instancias G7e le permiten implementar modelos lingüísticos más grandes o ejecutar varios modelos en un único punto de enlace. Puede usar estas instancias para implementar modelos de LLM, IA agencial, IA generativa multimodal e IA física. Las instancias G7e también son idóneas para ajustar o entrenar de forma rentable con un solo nodo el procesamiento de lenguaje natural (NLP), la visión artificial y los modelos de IA generativa más pequeños, con hasta 1,27 veces más de TFLOPs y hasta 4 veces más ancho de banda de GPU a GPU en comparación con las G6e. Además, HyperPod ahora también es compatible con r5d.16xlarge. La instancia r5d.16xlarge proporciona 64 CPU virtuales, 512 GB de memoria y 5 unidades de almacenamiento de instancias SSD NVMe de 600 GB, con la tecnología de los procesadores Intel Xeon Platinum de la serie 8000 con una frecuencia turbo integral sostenida de hasta 3,1 GHz. Esta instancia es ideal para el preprocesamiento de datos de entrenamiento distribuidos, especialmente con marcos como Ray, la ingeniería de características a gran escala y la ejecución de servicios de orquestación con uso intensivo de memoria junto con el procesamiento por GPU.
Las instancias G7e están disponibles en el este de EE. UU. (norte de Virginia), este de EE. UU. (Ohio), Asia-Pacífico (Tokio) y oeste de EE. UU. (Oregón), y la r5d.16xlarge está disponible en todas las regiones en las que Amazon SageMaker HyperPod está disponible.