Inserito il: Apr 22, 2020
I clienti di Amazon SageMaker possono ora selezionare le istanze Inf1 durante la distribuzione dei modelli di machine learning (ML) per inferenze in tempo reale. Amazon SageMaker è un servizio completamente gestito che consente a data scientist e sviluppatori di creare, formare e distribuire in modo rapido e semplice modelli di machine learning su vasta scala. Utilizzando le istanze Inf1 su Amazon SageMaker, i clienti possono eseguire su larga scala applicazioni di inferenza di machine learning e deep learning come riconoscimento delle immagini, riconoscimento vocale, elaborazione del linguaggio naturale, personalizzazione, previsioni e rilevamento di frodi con prestazioni elevate e costi significativamente inferiori.
Le istanze Inf1 sono costruite da zero per supportare le applicazioni di inferenza di machine learning e presentano fino a 16 chip AWS Inferentia, chip di machine learning progettati e realizzati da AWS per ottimizzare i costi per l'inferenza di deep learning. I chip Inferentia sono abbinati ai più recenti processori scalabili Intel® Xeon® di seconda generazione e alle reti da 100 Gb/s per fornire prestazioni elevate e il costo più basso del settore per le applicazioni di inferenza di ML. Con un numero da 1 a 16 chip AWS Inferentia per istanza, le istanze Inf1 possono dimensionare le prestazioni fino a 2.000 Tera Operations per Second (TOPS) e fornire un throughput fino a 3 volte superiore e un costo per inferenza fino al 45% inferiore rispetto alle istanze basate su AWS GPU. L'ampia memoria su chip dei chip AWS Inferentia utilizzata nelle istanze Inf1 consente la memorizzazione nella cache dei modelli di machine learning direttamente sul chip, eliminando la necessità di accedere a risorse di memoria esterne durante l'inferenza e consentendo di ottenere bassi valori di latenza e throughput dell'inferenza. Per ulteriori informazioni sulle istanze Inf1, visita le pagine del prodotto.
Le istanze Inf1 in Amazon SageMaker sono ora disponibili nelle regioni AWS Stati Uniti di Virginia settentrionale e Oregon e sono disponibili in quattro dimensioni: ml.inf1.xlarge, ml.inf1.2xlarge, ml.inf1.6xlarge e ml.inf1. 24xlarge. I modelli di machine learning sviluppati utilizzando i framework TensorFlow e MxNet possono essere distribuiti su istanze Inf1 in Amazon SageMaker per inferenze in tempo reale. Per utilizzare le istanze Inf1 in Amazon SageMaker, puoi compilare i modelli già formati utilizzando Amazon SageMaker Neo e selezionare le istanze Inf1 per distribuire il modello compilato su Amazon SageMaker.
Visita la guida per gli sviluppatori di Amazon SageMaker per ulteriori informazioni e gli esempi di Amazon SageMaker in GitHub per informazioni dettagliate su come distribuire modelli di machine learning su istanze Inf1 in Amazon SageMaker.