Anunciamos compatibilidad con varios contenedores en puntos de enlace de inferencia de Amazon SageMaker, lo que conlleva un ahorro de costos de hasta el 80 %

Amazon SageMaker es compatible a partir de ahora con la implementación de varios contenedores en puntos de enlace en tiempo real para disponer de inferencias con baja latencia e invocarlas de manera independiente para cada solicitud. Esta nueva capacidad le permite ejecutar hasta cinco modelos de machine learning (ML) y marcos diferentes en un único punto de enlace para ahorrar hasta un 80 % en costos. Esta opción es ideal cuando tiene varios modelos de ML con necesidades de recursos similares, o en el caso de modelos individuales que no tienen suficiente tráfico para utilizar la capacidad completa de las instancias de punto de enlace. Por ejemplo, puede beneficiarse de esta opción si dispone de un conjunto de modelos de ML que se invocan de manera poco frecuente o en momentos diferentes, o si tiene puntos de enlace de desarrollo o prueba.

Para utilizar esta función, debe especificar la lista de contenedores junto con los modelos entrenados que deben implementarse en un punto de enlace y seleccionar el modo de ejecución de inferencia “Directo”, el cual comunica a SageMaker que se accederá a los modelos de manera independiente. Para realizar una inferencia respecto a un modelo específico, invoque el punto de enlace y especifique el nombre del contenedor en el encabezado de la solicitud. Puede asegurar solicitudes de inferencia a cada contenedor en el modo de invocación directa si especifica claves de condición, y además obtener métricas por contenedor en Amazon CloudWatch.

También puede ejecutar los contenedores en puntos de enlace de varios contenedores de manera secuencial (por ejemplo, canalizaciones de inferencias) para cada inferencia si desea procesar de manera anterior o posterior solicitudes al realizar inferencias o si quiere ejecutar un conjunto de modelos de ML secuencialmente. Esta capacidad ya es compatible con el comportamiento predeterminado de los puntos de enlace de varios contenedores o se puede habilitar al configurar el modo de ejecución de inferencias como “En serie”.

Los puntos de enlace de varios contenedores están disponibles en todas las regiones de AWS en América del Norte, América del Sur, Europa, Asia-Pacífico, Sudáfrica y Medio Oriente en las que Amazon SageMaker está disponible. Consulte la documentación para obtener más información.