Publicado en: Dec 1, 2021
Amazon SageMaker Serverless Inference es una nueva opción de inferencia que permite implementar fácilmente modelos de machine learning para la inferencia sin tener que configurar o administrar la infraestructura subyacente. Solo tiene que seleccionar la opción sin servidor cuando implemente el modelo de machine learning y Amazon SageMaker aprovisionará, escalará y desactivará automáticamente la capacidad informática en función del volumen de solicitudes de inferencia. Con SageMaker Serverless Inference, solo se paga por la duración de la ejecución del código de inferencia y la cantidad de datos procesados, no por el tiempo de inactividad.
Amazon SageMaker Serverless Inference es ideal para aplicaciones con tráfico intermitente o impredecible. Por ejemplo, un servicio de chatbot utilizado por una empresa de procesamiento de nóminas experimenta un aumento de las consultas a final de mes, mientras que el resto del mes el tráfico es intermitente. El aprovisionamiento de instancias para todo el mes en estos casos no es rentable, ya que se termina pagando por los periodos de inactividad. Amazon SageMaker Serverless Inference ayuda a solucionar estos tipos de casos de uso al escalar automáticamente la capacidad informática en función del volumen de solicitudes de inferencia sin necesidad de pronosticar la demanda de tráfico por adelantado ni administrar las políticas de escalado. Además, solo se paga por el tiempo de informática en el que se ejecuta el código de inferencia (facturado en milisegundos) y la cantidad de datos procesados, lo que lo convierte en una opción rentable para cargas de trabajo con tráfico intermitente. Con la presentación de SageMaker Serverless Inference, SageMaker ofrece ahora cuatro opciones de inferencia, lo que amplía las opciones de implementación disponibles para una extensa gama de casos de uso. Las otras tres opciones son las siguientes: SageMaker Real-Time Inference para cargas de trabajo con requisitos de baja latencia en milisegundos, SageMaker Batch Transform para ejecutar predicciones en lotes de datos y SageMaker Asynchronous Inference para inferencias con grandes cargas útiles o que requieren tiempos de procesamiento largos. Para más información, consulte la página web de implementación de Amazon SageMaker.
Puede crear fácilmente un punto de enlace de SageMaker Inference desde la consola, los SDK de AWS o AWS Command Line Interface (CLI). Para los pasos detallados sobre cómo comenzar, consulte la documentación de SageMaker Serverless Inference, que también incluye un bloc de notas de ejemplo. Para obtener información sobre los precios, consulte la página de precios de SageMaker. SageMaker Serverless Inference está disponible en versión preliminar en Este de EE. UU. (Norte de Virginia), Este de EE. UU. (Ohio), Oeste de EE. UU. (Oregón), Europa (Irlanda), Asia-Pacífico (Tokio) y Asia-Pacífico (Sídney).