Perguntas frequentes sobre o Amazon Elastic Inference

P: O que é o Amazon Elastic Inference?

R: O Amazon Elastic Inference (Amazon EI) é um serviço de processamento acelerado que permite que você atribua apenas a quantidade correta de aceleração de inferência baseada em GPU a qualquer tipo de instância do Amazon EC2 ou Amazon SageMaker ou tarefa do Amazon ECS. Isso significa que agora é possível escolher o tipo de instância mais adequado para a computação geral, memória e armazenamento necessários para seu aplicativo, e, em seguida, configurar separadamente a quantidade de aceleração de inferência que você precisa.

P: O que são os aceleradores do Amazon Elastic Inference?

R: Os aceleradores do Amazon Elastic Inference são dispositivos de hardware com GPU desenvolvidos para funcionar com qualquer instância do EC2, instância do SageMaker ou tarefa do ECS para acelerar as cargas de trabalho de inferência de aprendizagem profunda por um custo baixo. Quando você executa uma instância do EC2 ou uma tarefa do ECS com o Amazon Elastic Inference, um acelerador é provisionado e anexado à instância na rede. As estruturas e ferramentas de aprendizagem profunda como TensorFlow Serving, Apache MXNet e PyTorch, ativadas para o Amazon Elastic Inference, podem detectar e descarregar um modelo de computação no acelerador anexado.

P: Qual a diferença entre os tipos de famílias de aceleradores do Amazon Elastic Inference?

R: Os aceleradores EIA2 têm o dobro de memória de GPU dos aceleradores EIA1 equivalentes. É possível determinar as necessidades de memória de GPU com base em seu modelo e os tamanhos de entrada do tensor e escolher a família e o tipo de aceleradores certos para suas necessidades.

P: Como provisionar os aceleradores do Amazon Elastic Inference ?

R: É possível configurar endpoints do Amazon SageMaker, instâncias Amazon EC2 ou tarefas do Amazon ECS com aceleradores do Amazon Elastic Inference usando o Console de Gerenciamento da AWS, a interface da linha de comando da AWS (CLI) ou o AWS SDK. Há dois requisitos para a execução das instâncias do EC2 com aceleradores. Primeiramente, é preciso provisionar um VPC Endpoint do AWS PrivateLink para as sub-redes em que você pretende executar aceleradores. Em seguida, conforme executa uma instância, você deve proporcionar uma função de instância com uma política que permite aos usuários acessar a instância para conectar aos aceleradores. Quando você configura uma instância para executar com o Amazon EI, um acelerador é provisionado na mesma zona de disponibilidade atrás do VPC endpoint.

P: Para quais formatos de modelo o Amazon Elastic Inference oferece suporte?

R: O Amazon Elastic Inference oferece suporte aos modelos treinados usando TensorFlow, Apache MXNet, PyTorch e ONNX.

P: Posso implantar modelos no Amazon Elastic Inference usando as estruturas TensorFlow, Apache MXNet ou PyTorch?

R: Sim, você pode usar as bibliotecas TensorFlow Serving, Apache MXNet e PyTorch aprimoradas para AWS para implantar modelos e fazer chamadas de inferência.

P: Como faço para obter acesso a estruturas otimizadas para AWS?

R: AMIs do AWS Deep Learning incluem os lançamentos mais recentes do TensorFlow Serving, do Apache MXNet e do PyTorch otimizados para o uso com aceleradores do Amazon Elastic Inference. Também é possível obter as bibliotecas por meio do Amazon S3 para desenvolver suas próprias imagens de contêiner ou AMIs. Consulte nossa documentação (https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/elastic-inference.html) para obter mais informações.

P: Posso usar CUDA com os aceleradores do Amazon Elastic Inference?

R: Não. É possível usar somente as bibliotecas TensorFlow Serving, Apache MXNet ou PyTorch aprimoradas para AWS como interface nos aceleradores do Amazon Elastic Inference.

P: Como sou cobrado pelo uso do Amazon Elastic Inference?

R: Você paga somente pelas horas usadas do acelerador do Amazon Elastic Inference. Para ver mais detalhes, consulte a página de definição de preço.

P: Haverá cobrança para VPC Endpoints do AWS PrivateLink do serviço do Amazon Elastic Inference?

R: Não. Não haverá cobrança adicional pelos VPC endpoints para o serviço do Amazon Elastic Inference desde que você tenha pelo menos uma instância configurada com um acelerador executado em uma zona de disponibilidade onde há um VPC endpoint provisionado.