Publicado: Jun 15, 2020
Agora você pode usar o Amazon Elastic Kubernetes Service (EKS) para executar contêineres em instâncias Inf1 do Amazon EC2. Com o EKS e o plugin de dispositivos Kubernetes AWS Neuron, é fácil combinar vários dispositivos Inferentia em seu cluster para executar cargas de trabalho de inferência de alta performance e econômicas em grande escala.
As instâncias Inf1 do Amazon EC2 oferecem alta performance e a menor inferência de machine learning na nuvem. As instâncias Inf1 contam com até 16 chips AWS Inferentia, chips de machine learning de alta performance projetados e fabricados pela AWS. Usando instâncias Inf1, os clientes podem executar aplicações de inferência de machine learning em larga escala, como reconhecimento de imagem, reconhecimento de fala, processamento de linguagem natural, personalização e detecção de fraude. Depois que seu modelo de machine learning for treinado para atender aos seus requisitos, você poderá implantá-lo usando o AWS Neuron, um kit de desenvolvimento de software (SDK) especializado que consiste em um compilador, ambiente de execução e ferramentas de criação de perfil que otimizam a performance da inferência de machine learning dos chips Inferentia, além de oferecer suporte a estruturas de trabalho de machine learning bem conhecidas, como TensorFlow, PyTorch ou MXNet.
O Amazon EKS facilitou a execução de contêineres baseados em Inferentia atualizando a AMI acelerada otimizada para EKS com todos os pacotes do AWS Neuron necessários. Depois de iniciar um cluster com nós de operador baseados na AMI acelerada mais recente, você poderá instalar o plugin de dispositivos Kubernetes do AWS Neuron, que divulga os dispositivos Inferentia como recursos disponíveis para o kubelet do nó de operador. Essa capacidade de programação minuciosa permite que os clientes do EKS alcancem melhor utilização e mais economia em comparação com o uso de instâncias Inf1 autônomas do EC2.
As instâncias Inf1 do EC2 podem ser usadas em todos os clusters do EKS que executam a versão 1.14 e superiores em regiões em que a Inf1 está disponível. Hoje, somente os grupos de nós autogerenciados são compatíveis, e podem ser iniciados usando eksctl, CloudFormation ou a CLI da AWS. A compatibilidade com os grupos de nós gerenciados do EKS será incluída em uma versão futura. Para começar a usar, acesse a documentação do Amazon EKS. Para saber mais sobre as instâncias Inf1 e o Inferentia, consulte a documentação do Amazon EC2.