Publicado en: Apr 10, 2023
El Recomendador de inferencias (IR) de Amazon SageMaker ayuda a los clientes a seleccionar el mejor tipo de instancia y la mejor configuración (como el recuento de instancias, los parámetros del contenedor y las optimizaciones del modelo) para implementar sus modelos de ML en SageMaker. Hoy anunciamos una integración más profunda con Amazon CloudWatch para los registros y las métricas, la compatibilidad con el SDK de Python para ejecutar trabajos de IR, lo que permite a los clientes ejecutar trabajos de IR en la subred de VPC que elijan, la compatibilidad con la ejecución de pruebas de carga en un punto de conexión existente mediante una nueva API y varias mejoras de facilidad de uso para empezar a usar IR fácilmente.
La integración de CloudWatch proporciona registros de IR en un nuevo grupo de registros para identificar cualquier error en la ejecución de IR. Ahora IR también publica métricas clave, como los usuarios simultáneos, el uso de la CPU y la memoria con una latencia de P99, además del rendimiento y la latencia. La compatibilidad con el SDK de Python permite a los clientes activar un trabajo de IR desde los cuadernos de Jupyter para obtener recomendaciones de tipos de instancias. También lanzamos nuevas API que proporcionan una visibilidad detallada de todos los pasos de ejecución del trabajo de IR y una opción para probar la carga del modelo en un punto de conexión existente. Para mejorar la facilidad de uso, convertimos varios parámetros de entrada obligatorios en opcionales y los clientes ya no tienen que registrar un modelo ni proporcionar datos como el dominio, etc., para ejecutar un trabajo de IR.
Para obtener más información sobre las regiones de AWS en las que está disponible SageMaker Inference, consulte la tabla de regiones de AWS.
Para obtener más información, consulte la documentación del Recomendador de inferencias. El Recomendador de inferencias de Amazon SageMaker solo le cobra por los recursos subyacentes utilizados. Para obtener más información sobre cómo implementar modelos con SageMaker, consulte la documentación.