La inferencia de Amazon SageMaker ahora admite la actualización continua de los puntos de conexión de los componentes de inferencia
La inferencia de Amazon SageMaker ahora admite actualizaciones continuas para los puntos de conexión de los componentes de inferencia (IC). Esto permite que los clientes actualicen los puntos de conexión de IC en ejecución sin interrumpir el tráfico y, al mismo tiempo, utilicen un mínimo de instancias adicionales, en lugar de tener que duplicar las instancias, como sucedía antes. La inferencia de SageMaker facilita la implementación de modelos de ML, incluidos los modelos fundacionales (FM). Como una función de inferencia de SageMaker, los IC permiten a los clientes implementar varios FM en el mismo punto de conexión y controlar la asignación de aceleradores para cada modelo.
Ahora, las actualizaciones continuas permiten que los clientes actualicen los circuitos integrados dentro de un punto de conexión, lote por lote, en lugar de hacerlo todo a la vez, como el método anterior de actualización azul/verde. Las actualizaciones azul/verde requerían aprovisionar una nueva flota de circuitos integrados con el modelo actualizado antes de transferir el tráfico de la flota anterior a la nueva. Esto duplicaba, en la práctica, la cantidad de instancias requeridas. Con las actualizaciones continuas, los nuevos IC se crean en lotes más pequeños, lo que reduce significativamente la cantidad de instancias adicionales necesarias durante las actualizaciones. Esto ayuda a que los clientes minimicen los costos derivados de la capacidad adicional y mantengan requisitos de búferes más pequeños en sus reservas de capacidad.
La actualización continua para los IC está disponible en todas las regiones en las que se admite este servicio: Asia-Pacífico (Tokio, Seúl, Bombay, Singapur, Sídney, Yakarta), Canadá (centro), Europa (Fráncfort, Estocolmo, Irlanda, Londres), Oriente Medio (Emiratos Árabes Unidos), América del Sur (São Paulo), este de EE. UU. (norte de Virginia, Ohio) y oeste de EE. UU. (norte de California, Oregón). Para obtener más información, consulte la documentación.