Publicado en: Jun 15, 2020
Ahora puede usar Amazon Elastic Kubernetes Service (EKS) para ejecutar contenedores en las instancias Inf1 de Amazon EC2. Con EKS y el plugin de dispositivo AWS Neuron Kubernetes, es fácil combinar múltiples dispositivos Inferentia en su clúster para ejecutar cargas de trabajo de inferencia rentables y de alto rendimiento a escala.
Las instancias Inf1 de Amazon EC2 ofrecen alto rendimiento y la inferencia de aprendizaje automático de menor costo en la nube. Las instancias Inf1 ofrecen hasta 16 chips de AWS Inferentia, chips de inferencia de aprendizaje automático de alto rendimiento diseñados y creados por AWS. Con las instancias Inf1, los clienes pueden ejecutar aplicaciones de inferencia de aprendizaje automático a gran escala, como el reconocimiento de imagen, el reconocimiento de voz, el procesamiento de lenguaje natural, la personalización y la detección de fraudes. Una vez que el modelo de aprendizaje automático esté entrenado para cumplir con los requisitos, puede implementarlo en instancias Inf1 con AWS Neuron, un kit de desarrollo de software (SDK) especializado que consta de un compilador, tiempo de ejecución y herramientas de creación de perfiles que optimizan el rendimiento de las inferencias de aprendizaje automático de los chips de Inferentia, y son compatibles con marcos de aprendizaje automático populares como TensorFlow, PyTorch o MXNet.
Amazon EKS ha facilitado la ejecución de contenedores basados en Inferentia al actualizar la AMI acelerada optimizada con EKS con todos los paquetes necesarios de AWS Neuron. Después de iniciar un clúster con nodos de trabajo basados en la última AMI acelerada, puede instalar el complemento de dispositivo AWS Neuron Kubernetes, que anuncia los dispositivos Inferentia como recursos disponibles para el kubelet del nodo de trabajo. Esta capacidad de programación detallada permite a los clientes de EKS lograr una mejor utilización y mayores ahorros de costos en comparación con el uso de instancias independientes EC2 Inf1.
Las instancias EC2 Inf1 se pueden usar en todos los clústeres de EKS que ejecutan la versión 1.14 y superior en regiones donde Inf1 está disponible. Hoy en día, solo se admiten grupos de nodos autogestionados, y se pueden iniciar usando eksctl, CloudFormation o la CLI de AWS. El soporte de grupos de nodos gestionados de EKS se agregará en una versión futura. Para comenzar, visite la documentación de Amazon EKS. Para obtener más información sobre las instancias Inf1 e Inferentia, consulte la documentación de Amazon EC2.