Publicado en: Nov 27, 2023
A partir de hoy, la interfaz de línea de comandos de AWS (CLI de AWS) y el SDK de Python utilizan automáticamente el tiempo de ejecución común (CRT) de AWS para acelerar la transferencia de datos entre las instancias Trn1, P4d y P5 de Amazon S3 y Amazon EC2. El CRT de AWS implementa las prácticas recomendadas de rendimiento de Amazon S3 para la paralelización de solicitudes, el reintento automático, el equilibrio de cargas de DNS y mucho más para ofrecer altas tasas de transferencia de datos entre Amazon EC2 y Amazon S3. Como resultado, los trabajos de entrenamiento con machine learning ahora descargan los datos de entrenamiento de Amazon S3 hasta 3 veces más rápido y cargan los puntos de control del modelo a Amazon S3 hasta 5 veces más rápido, lo que acelera los tiempos totales de entrenamiento.
Este cambio se incluye automáticamente en las AMI de aprendizaje profundo (DLAMI) de AWS más recientes al lanzar las instancias Trn1, P4d y P5 de Amazon EC2, que son ideales para los modelos de IA generativa, incluidos los modelos de difusión y lenguaje de gran tamaño. Ahora, las aplicaciones que utilizan la CLI de AWS y el SDK de Python para acceder a Amazon S3 obtienen automáticamente los beneficios de rendimiento del CRT de AWS. El CRT de AWS se optimiza para el ancho de banda de red elevado disponible en estas instancias, de modo que pueda aprovechar al máximo sus recursos informáticos sin ajustar manualmente el rendimiento del almacenamiento. Para obtener más información, consulte la documentación del SDK de Python y la documentación de la CLI.