Ankündigung der Regionserweiterung von G7e-Instances für SageMaker AI-Inferenz
Wir freuen uns, die Verfügbarkeit von Amazon EC2 G7e-Instances für Amazon SageMaker AI-Inferenz in den Regionen Asien-Pazifik (Seoul), Europa (London) und Asien-Pazifik (Tokio) bekannt zu geben. G7e-Instances verfügen über bis zu 8 NVIDIA RTX PRO 6000 Blackwell Server Edition-GPUs mit 96 GB Arbeitsspeicher pro GPU, Intel Xeon-Prozessoren der 5. Generation und bis zu 1.600 Gbit/s Elastic Fabric Adapter-Netzwerkbandbreite und bieten somit im Vergleich zu G6e-Instances der vorherigen Generation eine bis zu 2,3-fache Inferenzleistung.
Dank dieser Regionserweiterung können Sie jetzt Inferenzendpunkte auf G7e-Instances bereitstellen, die sich näher an Ihren Endnutzern in Asien und Europa befinden, was die Latenz für generative KI-Workloads reduziert. G7e-Instances bieten bis zu 768 GB GPU-Gesamtspeicher auf einer einzigen Instance, sodass Sie mittelgroße bis große Sprachmodelle mit bis zu 70B-Parametern mit FP8-Präzision ohne Multi-Node-Konfigurationen unterstützen können. Diese Instances eignen sich gut für LLM-Inferenz, Bild- und Videogenerierung, Spatial Computing und wissenschaftliche Rechenworkloads, die eine hohe GPU-Speicherkapazität und Bandbreite erfordern.
G7e-Instances für SageMaker AI-Inferenz sind jetzt neben den bereits unterstützten Regionen auch in Asien-Pazifik (Seoul), Europa (London) und Asien-Pazifik (Tokio) verfügbar. Preisinformationen zu diesen Instances finden Sie auf unsererPreisseite.