Publié le: Dec 1, 2021
Amazon SageMaker Inference Recommender vous aide à choisir la meilleure instance de calcul et la meilleure configuration disponibles, afin de déployer des modèles de machine learning pour des performances et un coût d'inférence optimaux.
La sélection d'une instance de calcul ayant le meilleur rapport prix/performance pour le déploiement de modèles de machine learning est un processus itératif compliqué qui peut nécessiter des semaines d'expérimentation. Tout d'abord, vous devez choisir le bon type d'instance ML parmi plus de 70 options en fonction des besoins en ressources de vos modèles et de la taille des données d'entrée. Ensuite, vous devez optimiser le modèle pour le type d'instance sélectionné. Enfin, vous devez allouer et gérer l'infrastructure pour exécuter des tests de charge et ajuster la configuration du cloud pour des performances et des coûts optimaux. Tout cela peut retarder le déploiement du modèle et la mise sur le marché.
Amazon SageMaker Inference Recommender sélectionne automatiquement le bon type d'instance de calcul, le nombre d'instances, les paramètres de conteneur et les optimisations de modèle pour l'inférence, afin de maximiser les performances et de minimaliser les coûts. Vous pouvez utiliser l'outil SageMaker Inference Recommender de SageMaker Studio, l'AWS Command Line Interface (CLI) ou le kit SDK AWS, et en quelques minutes, obtenez des recommandations pour déployer votre modèle ML. Vous pouvez ensuite déployer votre modèle sur l'une des instances recommandées ou exécuter un test de charge entièrement géré sur un ensemble de types d'instances que vous choisissez sans vous soucier de tester l'infrastructure. Vous pouvez consulter les résultats du test de charge dans SageMaker Studio et évaluer les compromis entre la latence, le débit et le coût en vue de sélectionner la configuration de déploiement la plus optimale.
Amazon SageMaker Inference Recommender est généralement proposé dans toutes les régions où SageMaker est disponible, à l'exception des régions AWS Chine. Pour en savoir plus, consultez la page Web de déploiement du modèle SageMaker et la documentation de SageMaker Inference Recommender.