Anunciamos la concurrencia aprovisionada para la inferencia sin servidor de Amazon SageMaker

Publicado en: May 10, 2023

Hoy nos complace anunciar la disponibilidad general de la compatibilidad de la concurrencia aprovisionada para la inferencia sin servidor de Amazon SageMaker. La concurrencia aprovisionada le permite implementar modelos en puntos de conexión sin servidor con un rendimiento predecible y una alta escalabilidad. Puede agregar la concurrencia aprovisionada a sus puntos de conexión sin servidor y SageMaker mantendrá los puntos de conexión activos y preparados para la cantidad predefinida de concurrencia aprovisionada a fin de responder a las solicitudes de forma instantánea. La concurrencia aprovisionada es ideal para los clientes que tienen un tráfico predecible y un rendimiento bajo.

Con los puntos de conexión sin servidor bajo demanda, si su punto de conexión no recibe tráfico durante un tiempo y, de repente, recibe nuevas solicitudes, puede tardar algún tiempo en activar los recursos de cómputo necesarios para procesar las solicitudes. Esto se denomina arranque en frío. También puede producirse un arranque en frío si las solicitudes simultáneas superan el uso actual de este tipo de solicitudes. Para reducir la variabilidad en su perfil de latencia, puede habilitar opcionalmente la simultaneidad aprovisionada para sus puntos de conexión sin servidor. Con la concurrencia aprovisionada, sus puntos de conexión sin servidor están siempre listos y pueden atender de forma instantánea ráfagas de tráfico hasta el número configurado de concurrencia aprovisionada, sin ningún arranque en frío.

Puede habilitar la concurrencia aprovisionada para puntos de conexión sin servidor desde la consola de AWS, los SDK de AWS o la interfaz de la línea de comandos de AWS (AWS CLI). La concurrencia aprovisionada para la inferencia sin servidor de SageMaker está disponible en forma general en todas las regiones de AWS en las que está disponible la inferencia sin servidor de SageMaker.