FAQ Amazon Elastic Inference 

Q : Qu'est-ce qu'Amazon Elastic Inference ?

R : Amazon Elastic Inference (Amazon EI) est un service de calcul accéléré qui vous permet d'associer la quantité appropriée d'accélération d'inférence alimentée par GPU à tout type d'instance Amazon EC2 ou Amazon SageMaker ou à une tâche Amazon ECS. Cela signifie que vous pouvez désormais choisir le type d'instance le mieux adapté aux besoins globaux de votre application en calcul, en mémoire et en stockage, puis configurer séparément la quantité d'accélération d'inférence dont vous avez besoin.

Q : Que sont les accélérateurs Amazon Elastic Inference ?

R : Les accélérateurs Amazon Elastic Inference constituent des dispositifs alimentés par GPU conçus pour fonctionner avec n'importe quel type d'instance SageMaker ou EC2, ou de tâche ECS, afin d'accélérer les charges de travail de deep learning, et ce à moindres coûts. Lorsque vous initialisez une instance EC2 ou une tâche ECS avec Amazon Elastic Inference, un accélérateur est mis en service et associé à l'instance sur le réseau. Les outils et frameworks de deep learning, comme TensorFlow Serving, Apache MXNet et PyTorch, et qui ont accès à Amazon Elastic Inference, peuvent détecter et décharger automatiquement un modèle informatique au niveau de l'accélérateur associé.

Q : Qu'est-ce qui distingue les différents accélérateurs Amazon Elastic Inference ?

R : Les accélérateurs EIA2 sont dotés de deux fois plus de mémoire de GPU que des accélérateurs EIA1 équivalents. Vous pouvez déterminer les besoins en mémoire de GPU sur la base de votre modèle et des tailles des entrées de tenseurs et ainsi choisir la famille et le type d'accélérateur approprié à vos besoins.

Q : Comment puis-je mettre en service les accélérateurs d'Amazon Elastic Inference ?

R : Vous pouvez configurer les points de terminaison Amazon SageMaker, les instances Amazon EC2 ou les tâches ECS avec les accélérateurs d'Amazon Elastic Inference à l'aide d'AWS Management Console, de l'interface de ligne de commande (CLI) AWS ou à l'aide du kit SDK AWS. Il existe deux prérequis pour lancer des instances EC2 avec des accélérateurs. Vous devrez d'abord approvisionner un point de terminaison d'un VPC AWS PrivateLink pour les sous-réseaux sur lesquels vous pensez lancer vos accélérateurs. Ensuite, lorsque vous lancerez une instance, vous devrez fournir un rôle d'instance avec une politique permettant aux utilisateurs accédant à l'instance de se connecter aux accélérateurs. Si vous configurez une instance pour se lancer avec Amazon EI, nous vous fournirons un accélérateur dans la même zone de disponibilité derrière le point de terminaison du VPC.

Q : Quels formats de modèle Amazon Elastic Inference prend-il charge ?

R : Amazon Elastic Inference prend en charge les modèles formés à l'aide de TensorFlow Serving, d'Apache MXNet, de PyTorch et d'ONNX.

Q : Puis-je déployer des modèles dans Amazon Elastic Inference à l'aide des frameworks TensorFlow Serving, Apache MXNet ou PyTorch ?

R : Oui, vous pouvez utiliser les bibliothèques TensorFlow Serving, Apache MXNet et PyTorch améliorées par AWS pour déployer des modèles et effectuer des appels d'inférence.

Q : Comment puis-je accéder aux frameworks optimisés pour AWS ?

R : Les AMI AWS Deep Learning contiennent les dernières versions de TensorFlow Serving, d'Apache MXNet et de PyTorch optimisées pour être utilisées avec les accélérateurs Amazon Elastic Inference. Vous pouvez également obtenir les bibliothèques via Amazon S3 et, ainsi, concevoir vos propres AMI ou vos propres images de conteneur. Consultez notre documentation à l'adresse https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/elastic-inference.html pour obtenir des informations supplémentaires.

Q : Puis-je utiliser CUDA avec les accélérateurs Amazon Elastic Inference ?

R : Non, vous pouvez uniquement utiliser les bibliothèques TensorFlow Serving, Apache MXNet et PyTorch améliorées par AWS avec les accélérateurs Amazon Elastic Inference.

Q : De quelle manière l'utilisation d'Amazon Elastic Inference m'est-elle facturée ?

R : Vous ne payez que pour les heures d'accélérateur d'Amazon Elastic Inference que vous avez utilisées. Pour obtenir des informations supplémentaires, consultez la page Tarification.

Q : Des frais d'utilisation pour les points de terminaison de VPC AWS PrivateLink me seront-ils facturés avec le service Amazon Elastic Inference ?

Non, vous n'aurez pas à verser de frais pour les points de terminaison des VPC du service Amazon Elastic Inference, si vous possédez au moins une instance configurée avec un accélérateur s'exécutant dans une zone de disponibilité dans laquelle un point de terminaison de VPC est disponible.