Publié le: Apr 10, 2023
Amazon SageMaker Inference Recommender (IR) aide les clients à sélectionner le type d'instance et la configuration les mieux adaptés (tels que le nombre d'instances, les paramètres de conteneur et les optimisations de modèles) pour déployer leurs modèles de machine learning sur SageMaker. Nous annonçons aujourd'hui une intégration plus poussée avec Amazon CloudWatch pour les journaux et les métriques, la prise en charge du SDK Python pour l'exécution de tâches IR, la possibilité pour les clients d'exécuter des tâches IR au sein du sous-réseau VPC de leur choix, la prise en charge de tests de charge sur des terminaux existants via une nouvelle API, ainsi que plusieurs améliorations en matière d'utilisabilité pour démarrer facilement avec IR.
L'intégration de CloudWatch fournit des journaux IR sous un nouveau groupe de journaux afin d'identifier toute erreur lors de l'exécution de l'IR. Désormais, IR publie également des métriques clés telles que les utilisateurs simultanés, l'utilisation du processeur et de la mémoire avec une latence P99, en plus du débit et de la latence. La prise en charge du kit SDK Python permet aux clients de déclencher une tâche IR à partir de blocs-notes Jupyter afin d'obtenir des recommandations sur le type d'instance. Nous avons également lancé de nouvelles API qui fournissent une visibilité détaillée sur toutes les étapes d'exécution de la tâche IR et une option permettant de tester le modèle en charge par rapport à un point de terminaison existant. Pour améliorer la convivialité, nous avons rendu facultatifs plusieurs paramètres d'entrée obligatoires et les clients ne sont plus tenus d'enregistrer un modèle ou de fournir des entrées telles que le domaine, par exemple, pour exécuter une tâche IR.
Pour plus d'informations sur les régions AWS où SageMaker Inference est disponible, consultez le tableau des régions AWS.
Pour en savoir plus, consultez la documentation relative à Inference Recommender. Amazon SageMaker Inference Recommender ne vous facture que les ressources sous-jacentes utilisées. Pour plus d'informations sur le déploiement de modèles avec SageMaker, consultez la documentation.