Annonce de l’expansion régionale des instances G7e sur SageMaker AI Inference
Nous avons le plaisir d’annoncer la disponibilité des instances Amazon EC2 G7e dans les régions Asie-Pacifique (Séoul), Europe (Londres) et Asie-Pacifique (Tokyo) sur Amazon SageMaker AI Inference. Les instances G7e intègrent jusqu’à huit GPU NVIDIA RTX PRO 6000 Blackwell Server Edition avec 96 Go de mémoire par GPU, des processeurs Intel Xeon de 5e génération et jusqu’à 1 600 Gbit/s de bande passante réseau Elastic Fabric Adapter, offrant des performances d’inférence jusqu’à 2,3 fois supérieures à celles des instances G6e de génération précédente.
Grâce à cette extension régionale, vous pouvez désormais déployer des points de terminaison d’inférence sur des instances G7e plus proches de vos utilisateurs finaux en Asie et en Europe, réduisant ainsi la latence des charges de travail liées à l’IA générative. Les instances G7e fournissent jusqu’à 768 Go de mémoire GPU totale sur une seule instance, ce qui vous permet de servir des modèles de langage de taille moyenne à grande contenant jusqu’à 70 Go de paramètres avec une précision FP8 sans configurations multi-nœuds. Ces instances sont parfaitement adaptées à l’inférence LLM, à la génération d’images et de vidéos, à l’informatique spatiale et aux charges de travail informatiques scientifiques qui nécessitent une capacité de mémoire GPU et une bande passante élevées.
Les instances G7e pour SageMaker AI Inference sont désormais disponibles dans les régions Asie-Pacifique (Séoul), Europe (Londres) et Asie-Pacifique (Tokyo), en plus des régions précédemment prises en charge. Pour en savoir plus sur la tarification de ces instances, consultez notre page de tarification.