Publié le: Apr 22, 2020
Les clients d'Amazon SageMaker peuvent désormais sélectionner des instances Inf1 lors du déploiement de leurs modèles de machine learning pour l'inférence en temps réel. Amazon SageMaker est un service entièrement géré qui permet aux développeurs et aux scientifiques des données de générer, de former et de déployer rapidement et facilement des modèles de machine learning à n'importe quelle échelle. En utilisant les instances Inf1 sur Amazon SageMaker, les clients peuvent exécuter des applications de machine learning à grande échelle et d'inférence par deep learning telles que la reconnaissance d'images, la reconnaissance vocale, le traitement du langage naturel, la personnalisation, la prévision et la détection des fraudes avec des performances élevées et des coûts considérablement réduits.
Les instances Inf1 sont entièrement conçues pour prendre en charge les applications d'inférence par machine learning et comportent jusqu'à 16 puces AWS Inferentia, des puces de machine learning conçues et créées par AWS pour optimiser le coût de l'inférence par deep learning. Les puces Inferentia sont couplées aux derniers processeurs Intel® Xeon® Scalable de 2e génération et à un réseau de 100 Gbit/s pour offrir des performances élevées et le coût le plus bas du secteur pour les applications d'inférence ML. Avec 1 à 16 puces AWS Inferentia chips par instance, les instances Inf1 peuvent atteindre des performances de 2 000 Tera Operations per Second (TOPS) et fournir un débit jusqu'à 3 fois supérieur et un coût par inférence jusqu'à 45% inférieur à celui des instances AWS basées sur le GPU. La grande mémoire sur puce des puces AWS Inferentia utilisées dans les instances Inf1 permet la mise en cache des modèles de machine learning directement sur la puce, ce qui élimine le besoin d'accéder à des ressources mémoire externes pendant l'inférence et offre un faible temps de latence et un faible débit d'inférence. Pour en savoir plus sur les instances Inf1, consultez les pages du produit.
Les instances Inf1 dans Amazon SageMaker sont maintenant disponibles dans les régions AWS Virginie du Nord et Oregon AWS aux États-Unis et dans quatre tailles : ml.inf1.xlarge, ml.inf1.2xlarge, ml.inf1.6xlarge et ml.inf1.24xlarge. Les modèles de machine learning développés à l'aide des cadres TensorFlow et MxNet peuvent être déployés sur des instances Inf1 dans Amazon SageMaker pour l'inférence en temps réel. Pour utiliser les instances Inf1 dans Amazon SageMaker, vous pouvez compiler vos modèles formés en utilisant Amazon SageMaker Neo et sélectionner les instances Inf1 pour déployer le modèle compilé sur Amazon SageMaker.
Consultez le guide du développeur pour plus d’informations et les exemples Amazon SageMaker dans Github pour en savoir plus sur la manière de déployer des modèles de machine learning sur les instances Inf1 dans Amazon SageMaker.
Modification du 27/08/2021 – En vue d'assurer une expérience satisfaisante, les liens obsolètes figurant dans cette publication ont été mis à jour ou supprimés de la publication initiale.