Personalice las versiones del controlador y el software de implementación de modelos de Amazon SageMaker
Ahora puede elegir las versiones de software y controlador utilizadas por las instancias que mejor se adapten a sus necesidades al implementar modelos en SageMaker. Amazon SageMaker facilita la implementación de modelos de ML, incluidos los modelos fundacionales (FM), para realizar solicitudes de inferencia con la mejor relación precio-rendimiento para cualquier caso de uso.
Anteriormente, los clientes tenían que usar versiones predefinidas de software y controladores definidas por SageMaker en las instancias administradas detrás de un punto de enlace. Ahora los clientes pueden especificar el parámetro “InferenceAmiVersion” al configurar los puntos de enlace para seleccionar la combinación de versiones de software y controladores (como el controlador Nvidia y la versión CUDA) que mejor se adapte a sus requisitos. Esto le permite adaptar su entorno de alojamiento para cumplir con los requisitos operativos, de rendimiento, de compatibilidad y de escalabilidad de sus aplicaciones de ML. Al usar este parámetro, también puede degradar y actualizar las versiones de los controladores para sus puntos de enlace según su propio cronograma.
Esta característica se encuentra disponible en todas las regiones en las que se ofrece SageMaker. Puede obtener más información sobre la implementación de modelos en SageMaker aquí y más información sobre esta característica en nuestra documentación.