Publié le: Jun 26, 2023
À compter d'aujourd'hui, vous pouvez choisir Inferentia 2 et Trainium 1 comme cibles supplémentaires pour compiler vos modèles PyTorch et TensorFlow pour Amazon SageMaker Neo, une fonctionnalité d'Amazon SageMaker qui permet aux clients d'optimiser les modèles de machine learning (ML) pour l'inférence sur SageMaker afin d'obtenir des inférences plus rapides sans perte de précision. Les instances Amazon Elastic Compute Cloud (Amazon EC2) Inf2 offrent des performances élevées à moindre coût pour les modèles d'intelligence artificielle (IA) générative, y compris les grands modèles de langage (LLM) et les transformateurs de vision. AWS Trainium est un accélérateur de machine learning (ML) qu'AWS a spécialement conçu pour la formation deep learning de plus de 100 milliards de modèles de paramètres.
Les instances Inferentia 2 sont disponibles dans us-east-2 et les instances Trainium 1 sont disponibles dans us-east-1. Vous pouvez démarrer rapidement via la console en sélectionnant ml_inf2 ou ml_trn1 comme appareil cible. Si vous utilisez un kit SDK pour compiler des modèles à l'aide de Neo, définissez le champ TargetDevice dans la configuration de sortie sur ml_inf2 ou ml_trn1. Les frameworks pris en charge sont PyTorch 1.13 et TensorFlow 2.10. Pour en savoir plus, cliquez ici.
Pour en savoir plus sur AWS Sagemaker Neo et l'expérience de la console, consultez les documentations ici. Pour commencer, connectez-vous à la console Amazon SageMaker.