Inserito il: Jun 15, 2020
Adesso puoi possibile utilizzare Amazon Elastic Kubernetes Service (EKS) per eseguire container su istanze Inf1 di Amazon EC2. Grazie a EKS e al plug-in del dispositivo Kubernetes AWS Neuron adesso è facile combinare più dispositivi Inferentia nel cluster per eseguire carichi di lavoro di inferenza ad alte prestazioni e costi contenuti su vasta scala.
Le istanze Inf1 di Amazon EC2 offrono prestazioni elevate e l'inferenza di machine learning più economica nel cloud. Le istanze Inf1 presentano fino a 16 chip AWS Inferentia, chip di inferenza di machine learning ad alte prestazioni progettati e realizzati da AWS. Attraverso le istanze Inf1, i clienti possono eseguire applicazioni di inferenza di machine learning su larga scala come riconoscimento di immagini, riconoscimento vocale, elaborazione del linguaggio naturale, personalizzazione e rilevamento di frodi. Una volta che il modello di machine learning è stato realizzato in modo da soddisfare le tue esigenze, potrai distribuire il modello su istanze Inf1 utilizzando AWS Neuron, un kit di sviluppo software (SDK) specializzato, composto da un compilatore, runtime e strumenti di profilatura che ottimizzano le prestazioni dell'inferenza di machine learning dei chip Inferentia e supportano i più diffusi framework di machine learning come TensorFlow, PyTorch o MXNet.
Amazon EKS ha facilitato l’esecuzione dei container basati su Inferentia aggiornando l’AMI accelerata ottimizzata per EKS con tutti i pacchetti AWS Neuron necessari. Dopo aver avviato un cluster con i nodi di lavoro basati sull'ultima AMI accelerata, potrai installare il plug-in del dispositivo AWS Neuron Kubernetes, che pubblicizza i dispositivi Inferentia come risorse disponibili sul nodo di lavoro kubelet. Questa funzionalità di pianificazione dettagliata consente ai clienti EKS di ottenere un migliore utilizzo e maggiori risparmi rispetto all'utilizzo di istanze Inf1 EC2 autonome.
Le istanze Inf1 EC2 possono essere utilizzate in tutti i cluster EKS che eseguono la versione 1.14 e successive nelle regioni in cui è disponibile Inf1. Al momento sono supportati solo i gruppi di nodi autogestiti e possono essere avviati utilizzando eksctl, CloudFormation o l'interfaccia della riga di comando di AWS. Il supporto per i gruppi di nodi gestiti da EKS sarà aggiunto in una versione futura. Per ulteriori informazioni, consulta la documentazione di Amazon EKS. Per maggiori informazioni sulle istanze Inf1 e su Inferentia, consulta la documentazione di Amazon EC2.