Publié le: Jun 15, 2020
Désormais, vous pouvez utiliser Amazon Elastic Kubernetes Service (EKS) pour exécuter des conteneurs sur les instances Inf1 d’Amazon EC2. Avec EKS et le plug-in d’appareils Kubernetes AWS Neuron, il est facile de combiner plusieurs appareils Inferentia dans votre cluster afin d’exécuter des charges de travail d’inférence haute performance, rentables et mises à l’échelle.
Les instances Inf1 d’Amazon EC2 offrent l’inférence de machine learning haute performance la plus économique dans le cloud. Les instances Inf1 comportent jusqu'à 16 puces AWS Inferentia. Il s'agit de puces d'inférence de machine learning haute performance conçues et fabriquées par AWS. Les instances Inf1 permettent aux clients d'exécuter des applications d'inférence de machine learning à grande échelle comme la reconnaissance d'images, la reconnaissance vocale, le traitement du langage naturel, la personnalisation et la détection des fraudes. Une fois que votre modèle de machine learning est entraîné pour répondre à vos besoins, vous pouvez le déployer en utilisant AWS Neuron. AWS Neuron est un kit de développement logiciel (SDK, specialized software development) spécialisé qui optimise la performance d’inférence de machine learning des puces Inferentia et prend en charge les frameworks machine learning tels que TensoFlow, PyTorch et MXNet. Il est composé d'un compilateur, d'un environnement d'exécution et d'outils de profilage.
Amazon EKS a rendu l’exécution des conteneurs basés sur Inferentia facile en mettant à jour l’AMI accélérée optimisée pour EKS avec tous les packages AWS Neuron. Après avoir démarré un cluster avec des nœuds de travail basés sur la dernière AMI accélérée, vous pouvez installer le plug-in d’appareils Kubernetes AWS Neuron qui propose les appareils Inferentia comme ressources disponibles au kubelet de nœuds de travail. Cette capacité de planification précise permet aux client EKS de mieux utiliser et économiser que s’ils utilisaient les instances autonomes Inf1 d’EC2.
Les instances Inf1 d’EC2 peuvent être utilisées sur tous les clusters EKS de versions 1.14 et ultérieures dans les régions où Inf1 est disponible. Aujourd’hui, seuls les groupes de nœuds autogérés sont pris en charge et peuvent être démarrés avec eksctl, CloudFormation ou l’interface de ligne de commande AWS. La prise en charge des groupes de nœuds autogérés EKS sera ajoutée dans une prochaine version. Pour démarrer, consultez la documentation Amazon EKS. Pour en savoir plus sur les instances Inf1 et Inferentia, consultez la documentation Amazon EC2.