Amazon SageMaker AI prend désormais en charge la capacité d'inférence des Flexible Training Plans
Flexible Training Plans (FTP) d'Amazon SageMaker AI prend désormais en charge les points de terminaison d'inférence, offrant ainsi aux clients une capacité GPU garantie pour les évaluations planifiées et les pics de production. Désormais, les clients peuvent réserver les types d'instances exacts dont ils ont besoin et compter sur SageMaker AI pour activer automatiquement le point de terminaison d'inférence, sans avoir à gérer eux-mêmes l'infrastructure.
Lorsque les clients planifient leurs cycles de développement de machine learning, ils doivent être certains que les GPU nécessaires à l'évaluation des modèles et aux tests de pré-production seront disponibles aux dates exactes dont ils ont besoin. FTP permet aux clients d'accéder facilement à la capacité du processeur graphique pour exécuter des charges de travail de ML. Grâce à la prise en charge de FTP sur les points de terminaison d'inférence, vous pouvez choisir vos types d'instance préférés, vos exigences de calcul, la durée de réservation et la date de début de votre charge de travail d'inférence. Lors de la création du point de terminaison, il vous suffit de faire référence à l'ARN de réservation pour que SageMaker AI provisionne et exécute automatiquement le point de terminaison sur cette capacité garantie pendant toute la durée du plan. Cela vous évite des semaines de gestion de l'infrastructure et de planification, ce qui vous permet d'exécuter des inférences de manière prévisible tout en consacrant votre temps à l'amélioration des performances des modèles.
La prise en charge des plans de formation flexibles pour SageMaker AI Inference est disponible dans les régions USA Est (Virginie du Nord), USA Ouest (Oregon) et USA Est (Ohio).
Pour en savoir plus sur l'utilisation des réservations FTP pour les points de terminaison d'inférence, consultez la référence de l'API d'inférence SageMaker AI ici.