FAQ Amazon Elastic Inference 

Q : Pourquoi Amazon encourage-t-il ses clients à déplacer les charges de travail d'Amazon Elastic Inference (EI) vers de nouvelles options d'accélération matérielle telles qu'AWS Inferentia ?

Les clients obtiennent de meilleures performances à un prix bien inférieur à celui d'Amazon EI grâce à de nouvelles options d'accélérateur matériel telles qu'AWS Inferentia pour leurs charges de travail d'inférence. AWS Inferentia est conçu pour fournir des performances d'inférence élevées dans le cloud, réduire le coût total de l'inférence et permettre aux développeurs d'intégrer facilement du machine learning aux fonctionnalités et aux capacités de leurs applications métier. Pour permettre aux clients de bénéficier de ces accélérateurs matériels de nouvelle génération, nous n'intégrerons pas de nouveaux clients à Amazon EI après le 15 avril 2023.

Q : Quels services AWS sont concernés par la décision de ne plus intégrer de nouveaux clients à Amazon Elastic Inference (EI) ?

Cette annonce affectera les accélérateurs Amazon EI associés à toutes les instances Amazon EC2, Amazon SageMaker ou aux tâches Amazon Elastic Container Service (ECS). Dans Amazon SageMaker, cela s'applique à la fois aux points de terminaison et aux noyaux de blocs-notes utilisant les accélérateurs Amazon EI.

Q : Pourrai-je créer un nouvel accélérateur Amazon Elastic Inference (EI) après le 15 avril 2023 ?

Non, si vous êtes un nouveau client et que vous n'avez pas utilisé Amazon EI au cours des 30 derniers jours, vous ne pourrez pas créer de nouvelle instance Amazon EI dans votre compte AWS après le 15 avril 2023. Toutefois, si vous avez utilisé un accélérateur Amazon EI au moins une fois au cours des 30 derniers jours, vous pouvez associer un nouvel accélérateur Amazon EI à votre instance.

Q : Nous utilisons actuellement les accélérateurs Amazon Elastic Inference (EI). Pourrons-nous continuer à les utiliser après le 15 avril 2023 ?

Oui, vous pourrez utiliser les accélérateurs Amazon EI. Nous vous recommandons de migrer vos charges de travail ML Inference actuelles exécutées sur Amazon EI vers d'autres options d'accélérateur matériel dès que possible.

Q : Comment évaluer d'autres options d'instance pour mes points de terminaison Amazon SageMaker Inference actuels ?

Amazon SageMaker Inference Recommender peut vous aider à identifier des déploiements rentables pour migrer les charges de travail existantes d'Amazon Elastic Inference (EI) vers une instance M<L appropriée prise en charge par SageMaker.

Q : Comment modifier le type d'instance de mon point de terminaison existant dans Amazon SageMaker ?

• Tout d'abord, créez un nouveau EndpointConfig qui utilise le nouveau type d'instance. Si vous disposez d'une politique d'autoscaling, supprimez la politique d'autoscaling existante.
• Appelez UpdateEndpoint tout en spécifiant votre EndpointConfig que vous venez de créer.
• Attendez que le statut de votre point de terminaison passe à InService. Cela prendra environ 10 à 15 minutes.
• Enfin, si vous avez besoin d'un autoscaling pour votre nouveau point de terminaison, créez une nouvelle politique d'autoscaling pour ce nouveau point de terminaison et ProductionVariant.

Q : Comment modifier le type d'instance de mon instance de bloc-notes Amazon SageMaker existante à l'aide d'Amazon Elastic Inference (EI) ?

Cliquez sur « Instances de bloc-notes » dans la console, puis cliquez sur l'instance de bloc-notes que vous souhaitez mettre à jour. Assurez-vous que l'instance de bloc-notes a le statut « Arrêtée ». Enfin, vous pouvez cliquer sur « Modifier » et modifier le type de votre instance. Lorsque votre instance Notebook démarre, assurez-vous de sélectionner le noyau approprié pour votre nouvelle instance.

Q : Existe-t-il un type d'instance spécifique qui constitue une bonne alternative à Amazon Elastic Inference (EI) ?

Chaque charge de travail liée au machine learning est unique. Nous vous recommandons d'utiliser Amazon SageMaker Inference Recommender pour vous aider à identifier le type d'instance adapté à votre charge de travail de machine learning, à vos exigences de performances et à votre budget. AWS Inferentia, en particulier inf1.xlarge, est la meilleure alternative performante et économique pour les clients Amazon EI. Dans le tableau ci-dessous, nous comparons les performances et le prix par heure des différentes options d'accélérateur Amazon EI sur SageMaker avec Inferentia. Inferentia offre le meilleur prix et les meilleures performances et coûte moins cher par heure que toutes les instances Amazon EI, en supposant qu'il s'agit d'une instance hôte c5.xlarge (voir le tableau ci-dessous). Notez que les modèles doivent d'abord être compilés avant de pouvoir être déployés sur AWS Inferentia. Les clients de SageMaker peuvent utiliser le paramètre « ml_inf » de SageMaker Neo comme TargetDevice pour compiler leurs modèles. Si vous n'utilisez pas SageMaker, veuillez utiliser directement le compilateur AWS Neuron.

Les prix ci-dessous supposent la région USA-Est-2

Q : Qu'est-ce qu'Amazon Elastic Inference ?

R : Amazon Elastic Inference (Amazon EI) est un service de calcul accéléré qui vous permet d'associer la quantité appropriée d'accélération d'inférence alimentée par GPU à tout type d'instance Amazon EC2 ou Amazon SageMaker ou à une tâche Amazon ECS. Cela signifie que vous pouvez désormais choisir le type d'instance le mieux adapté aux besoins globaux de votre application en calcul, en mémoire et en stockage, puis configurer séparément la quantité d'accélération d'inférence dont vous avez besoin.

Q : Que sont les accélérateurs Amazon Elastic Inference ?

R : Les accélérateurs Amazon Elastic Inference constituent des dispositifs alimentés par GPU conçus pour fonctionner avec n'importe quel type d'instance SageMaker ou EC2, ou de tâche ECS, afin d'accélérer les charges de travail de deep learning, et ce à moindres coûts. Lorsque vous initialisez une instance EC2 ou une tâche ECS avec Amazon Elastic Inference, un accélérateur est mis en service et associé à l'instance sur le réseau. Les outils et frameworks de deep learning, comme TensorFlow Serving, Apache MXNet et PyTorch, et qui ont accès à Amazon Elastic Inference, peuvent détecter et décharger automatiquement un modèle informatique au niveau de l'accélérateur associé.

Q : Qu'est-ce qui distingue les différents accélérateurs Amazon Elastic Inference ?

R : Les accélérateurs EIA2 sont dotés de deux fois plus de mémoire de GPU que des accélérateurs EIA1 équivalents. Vous pouvez déterminer les besoins en mémoire de GPU sur la base de votre modèle et des tailles des entrées de tenseurs et ainsi choisir la famille et le type d'accélérateur approprié à vos besoins.

Q : Comment puis-je mettre en service les accélérateurs d'Amazon Elastic Inference ?

R : Vous pouvez configurer les points de terminaison Amazon SageMaker, les instances Amazon EC2 ou les tâches ECS avec les accélérateurs d'Amazon Elastic Inference à l'aide d'AWS Management Console, de l'interface de ligne de commande (CLI) AWS ou à l'aide du kit SDK AWS. Il existe deux prérequis pour lancer des instances EC2 avec des accélérateurs. Vous devrez d'abord approvisionner un point de terminaison d'un VPC AWS PrivateLink pour les sous-réseaux sur lesquels vous pensez lancer vos accélérateurs. Ensuite, lorsque vous lancerez une instance, vous devrez fournir un rôle d'instance avec une politique permettant aux utilisateurs accédant à l'instance de se connecter aux accélérateurs. Si vous configurez une instance pour se lancer avec Amazon EI, nous vous fournirons un accélérateur dans la même zone de disponibilité derrière le point de terminaison du VPC.

Q : Quels formats de modèle Amazon Elastic Inference prend-il charge ?

R : Amazon Elastic Inference prend en charge les modèles formés à l'aide de TensorFlow Serving, d'Apache MXNet, de PyTorch et d'ONNX.

Q : Puis-je déployer des modèles dans Amazon Elastic Inference à l'aide des frameworks TensorFlow Serving, Apache MXNet ou PyTorch ?

R : Oui, vous pouvez utiliser les bibliothèques TensorFlow Serving, Apache MXNet et PyTorch améliorées par AWS pour déployer des modèles et effectuer des appels d'inférence.

Q : Comment puis-je accéder aux frameworks optimisés pour AWS ?

R : Les AMI AWS Deep Learning contiennent les dernières versions de TensorFlow Serving, d'Apache MXNet et de PyTorch optimisées pour être utilisées avec les accélérateurs Amazon Elastic Inference. Vous pouvez également obtenir les bibliothèques via Amazon S3 et, ainsi, concevoir vos propres AMI ou vos propres images de conteneur. Consultez notre documentation à l'adresse https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/elastic-inference.html pour obtenir des informations supplémentaires.

Q : Puis-je utiliser CUDA avec les accélérateurs Amazon Elastic Inference ?

R : Non, vous pouvez uniquement utiliser les bibliothèques TensorFlow Serving, Apache MXNet et PyTorch améliorées par AWS avec les accélérateurs Amazon Elastic Inference.

Q : De quelle manière l'utilisation d'Amazon Elastic Inference m'est-elle facturée ?

R : Vous ne payez que pour les heures d'accélérateur d'Amazon Elastic Inference que vous avez utilisées. Pour obtenir des informations supplémentaires, consultez la page Tarification.

Q : Des frais d'utilisation pour les points de terminaison de VPC AWS PrivateLink me seront-ils facturés avec le service Amazon Elastic Inference ?

Non, vous n'aurez pas à verser de frais pour les points de terminaison des VPC du service Amazon Elastic Inference, si vous possédez au moins une instance configurée avec un accélérateur s'exécutant dans une zone de disponibilité dans laquelle un point de terminaison de VPC est disponible.