Publicado en: Nov 10, 2021
Amazon SageMaker Inference ya es compatible con nuevas opciones de implementación de modelos para actualizar los modelos de machine learning en producción. Con las nuevas barreras de protección de implementación, puede cambiar fácilmente del modelo actual en producción a uno nuevo de manera controlada. Este lanzamiento presenta modos de cambio de tráfico canary y lineal para que tenga un control pormenorizado sobre los cambios en el tráfico del modelo actual al nuevo durante la actualización. Con protección integrada, como restauraciones automáticas, puede detectar los problemas antes y tomar medidas correctivas automáticamente antes de que afecten de manera significativa a la producción.
Amazon SageMaker es un servicio completamente administrado que ayuda a los científicos de datos y a los desarrolladores a preparar, crear, formar e implementar con rapidez modelos de machine learning de alta calidad al poner a disposición un amplio conjunto de capacidades especialmente creadas para ML. Cuando implementa modelos formados de ML en Amazon SageMaker, este se ocupa del aprovisionamiento, los parches y la actualización de los puntos de enlace para que pueda centrarse en beneficiarse del ML en las aplicaciones. Cuando tiene que actualizar un punto de enlace con una versión más reciente del modelo de ML o contenedor de servicios, SageMaker ofrece una nueva flota (flota verde) que contiene las actualizaciones y cambios del tráfico de la flota existente (flota azul) en una sola implementación, conocida como implementación azul/verde. De este modo, se asegura de que el punto de enlace pueda responder a las solicitudes incluso cuando la actualización está en curso, lo que maximiza la disponibilidad.
Con este lanzamiento, Amazon SageMaker agrega modos de cambio de tráfico canary y lineal a las implementaciones azul/verde. Estos modos proporcionan un control más pormenorizado sobre los cambios en el tráfico entre flotas para que pueda crear confianza antes de solicitar el tráfico. Además, puede especificar previamente alarmas de CloudWatch en las métricas, como la latencia o la tasa de errores y restaurar automáticamente la implementación a la flota azul si se dispara alguna de las alarmas. El modo canary le permite cambiar un pequeño porcentaje del tráfico a la flota verde (conocida como flota canary), observar el comportamiento de la flota canary durante un periodo de tiempo (conocido como periodo de incorporación) y cambiar el resto del tráfico solo cuando se desencadenan las alarmas durante el periodo de incorporación. El modo lineal le permite cambiar el tráfico a la flota verde con aumentos fijos que se pueden configurar (por ejemplo, del 10 %) y observar el comportamiento durante un periodo de incorporación antes de cambiar al aumento siguiente. Con todas las implementaciones azul/verde, puede observar las flotas después de haber cambiado todo el tráfico (acción conocida como periodo de incorporación final) antes de terminar la flota azul. Estos modos de cambio de tráfico le ayudan a equilibrar la administración del riesgo de incorporar nuevos modelos a la producción y el control de la duración de la actualización. Así, puede elegir la opción adecuada para su caso de uso. Cambiar todo el tráfico a la vez minimiza la duración de la actualización, mientras que el modo lineal minimiza el riesgo de incorporar un nuevo modelo a la producción con un cambio de tráfico en varios pasos. El modo canary cambia todo el tráfico en dos pasos, lo que proporciona un equilibrio entre el riesgo y la duración de la actualización.
Para obtener más información sobre estas capacidades, consulte la documentación, que también contiene blocs de notas de muestra que le ayudarán a comenzar. Estas nuevas capacidades de implementación por fases están disponibles para todos los puntos de enlace creados recientemente en todas las regiones comerciales en las que Amazon SageMaker esté disponible. Para obtener una lista de las características no compatibles, consulte la sección de exclusiones de la documentación.