Presentazione dell'espansione regionale delle istanze G7e per l'inferenza su Amazon SageMaker AI
Siamo lieti di annunciare la disponibilità delle istanze Amazon EC2 G7e nelle regioni Asia Pacifico (Seoul), Europa (Londra) e Asia Pacifico (Tokyo) per l'inferenza di Amazon SageMaker AI. Le istanze G7e dispongono di un massimo di 8 GPU NVIDIA RTX PRO 6000 Blackwell Server Edition con 96 GB di memoria per GPU, processori Intel Xeon di quinta generazione e fino a 1.600 Gbps di larghezza di banda della rete Elastic Fabric Adapter, offrendo prestazioni di inferenza fino a 2,3 volte superiori rispetto alle istanze G6e di generazione precedente.
Grazie a questa espansione regionale, ora puoi distribuire endpoint di inferenza sulle istanze G7e più vicini ai tuoi utenti finali in Asia ed Europa, riducendo la latenza per i carichi di lavoro di IA generativa. Le istanze G7e offrono fino a 768 GB di memoria GPU totale su una singola istanza, consentendoti di gestire modelli linguistici di dimensioni medio-grandi fino a 70 miliardi di parametri con precisione FP8, senza configurazioni multi-nodo. Queste istanze sono particolarmente adatte per l'inferenza di modelli linguistici di grandi dimensioni (LLM), la generazione di immagini e video e i carichi di lavoro di calcolo spaziale e scientifico, tutti casi d'uso che richiedono un'elevata capacità di memoria GPU e un'ampia larghezza di banda.
Le istanze G7e per l'inferenza di SageMaker AI sono ora disponibili nelle regioni Asia Pacifico (Seoul), Europa (Londra) e Asia Pacifico (Tokyo), oltre alle regioni precedentemente supportate. Per informazioni sui prezzi di queste istanze, visita la nostra pagina dei prezzi.