Amazon SageMaker HyperPod ora supporta le istanze G7e e r5d.16xlarge
Amazon SageMaker HyperPod ora supporta le istanze G7e e r5d.16xlarge. SageMaker HyperPod è un'infrastruttura appositamente creata per lo sviluppo, l'addestramento e l'implementazione di modelli di base su larga scala. Fornisce un ambiente resiliente e performante con tolleranza ai guasti integrata, ripristino automatico dei cluster e librerie di addestramento distribuito ottimizzate, riducendo il carico di lavoro indifferenziato della gestione di un'infrastruttura AI/ML su larga scala.
Le istanze G7e sono alimentate dalle GPU NVIDIA RTX PRO 6000 Blackwell Server Edition e offrono prestazioni di inferenza fino a 2,3 volte migliori rispetto alle istanze G6e, consentendo di elaborare più richieste al secondo riducendo la latenza. Con un massimo di 768 GB di memoria GPU totale, le istanze G7e consentono di implementare modelli linguistici più ampi o di eseguire più modelli su un singolo endpoint. È possibile utilizzare queste istanze per implementare LLM, IA agentica, IA generativa multimodale e modelli di IA fisica. Le istanze G7e sono inoltre adatte per il fine-tuning o l'addestramento a singolo nodo a costi contenuti di NLP, visione artificiale e modelli di intelligenza artificiale generativa più piccoli, con TFLOP fino a 1,27 volte superiori e una larghezza di banda da GPU a GPU fino a 4 volte superiore rispetto alle istanze G6e. Inoltre, HyperPod ora supporta anche r5d.16xlarge. L'istanza r5d.16xlarge fornisce 64 vCPU, 512 GB di memoria e 5 unità di archiviazione dell'istanza SSD NVMe da 600 GB, alimentate da processori Intel Xeon Platinum serie 8000 con una frequenza turbo all-core sostenuta fino a 3,1 GHz. Questa istanza è adatta per la pre-elaborazione dei dati di addestramento distribuito, in particolare con framework come Ray, l’ingegneria delle caratteristiche su larga scala e l'esecuzione di servizi di orchestrazione che richiedono molta memoria insieme al calcolo tramite GPU.
Le istanze G7e sono disponibili nelle regioni Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio), Asia Pacifico (Tokyo) e Stati Uniti occidentali (Oregon) e l'istanza r5d.16xlarge è disponibile in tutte le regioni in cui è disponibile Amazon SageMaker HyperPod.