Amazon SageMaker AI ahora admite la capacidad de inferencia de planes de entrenamiento flexibles
Los planes de entrenamiento flexibles (FTP) de Amazon SageMaker AI ahora admiten puntos de conexión de inferencia. De esta manera, se ofrece a los clientes una capacidad de GPU garantizada para las evaluaciones planificadas y los picos de producción. Ahora, los clientes pueden reservar los tipos de instancias exactos que necesitan y confiar en SageMaker AI para que abra el punto de conexión de la inferencia automáticamente, sin tener que administrar la infraestructura ellos mismos.
A medida que los clientes planifican sus ciclos de desarrollo de ML, necesitan tener la confianza de que las GPU necesarias para la evaluación del modelo y las pruebas previas a la producción estarán disponibles en las fechas exactas en que las necesitan. El FTP facilita a los clientes el acceso a la capacidad de la GPU para ejecutar cargas de trabajo de ML. Gracias a la compatibilidad con los FTP para los puntos de conexión de inferencia, puede elegir los tipos de instancia, los requisitos de computación, la duración de la reserva y la fecha de inicio que prefiera para la carga de trabajo de inferencia. Al crear el punto de conexión, basta con hacer referencia al nombre de recurso de Amazon (ARN) de la reserva y SageMaker AI aprovisiona y ejecuta automáticamente el punto de conexión con esa capacidad garantizada durante toda la duración del plan. Esto evita semanas de esfuerzo de administración y programación de la infraestructura. Esto les permite ejecutar la inferencia de manera predecible y, al mismo tiempo, dedicar su tiempo a mejorar el rendimiento del modelo.
La compatibilidad con planes de entrenamiento flexibles para SageMaker AI Inference está disponible en las siguientes regiones: este de EE. UU. (norte de Virginia), oeste de EE. UU. (Oregón) y este de EE. UU. (Ohio).
Para obtener más información sobre el uso de las reservas de FTP para los puntos de conexión de inferencia, consulte la referencia de la API de inferencia de IA de SageMaker aquí.