SageMaker AI 推論で利用できる G7e インスタンスのリージョン拡大を発表
Amazon SageMaker AI 推論では、アジアパシフィック (ソウル)、欧州 (ロンドン)、アジアパシフィック (東京) で Amazon EC2 G7e インスタンスが利用できるようになったことをお知らせします。G7e インスタンスは、GPU あたり 96 GB のメモリを備えた最大 8 基の NVIDIA RTX PRO 6000 Blackwell Server Edition GPU、第 5 世代 Intel Xeon プロセッサ、最大 1,600 Gbps の Elastic Fabric Adapter ネットワーク帯域幅を特徴としており、前世代の G6e インスタンスと比較して最大 2.3 倍の推論パフォーマンスを実現します。
今回のリージョン拡大により、アジアおよび欧州のエンドユーザーに近い場所の G7e インスタンスに推論エンドポイントをデプロイできるようになるため、生成 AI ワークロードのレイテンシーを削減できます。G7e インスタンスは、単一インスタンスで最大 768 GB の合計 GPU メモリを提供し、マルチノード設定を使用せずに、FP8 精度で最大 700 億パラメータの中大規模言語モデルを提供できます。これらのインスタンスは、高い GPU メモリ容量と帯域幅を必要とする LLM 推論、画像および動画生成、空間コンピューティング、科学計算のワークロードに適しています。
現在、SageMaker AI 推論向けの G7e インスタンスは、これまでサポートされていたリージョンに加えて、アジアパシフィック (ソウル)、欧州 (ロンドン)、アジアパシフィック (東京) で利用できます。これらのインスタンスの料金情報については、料金ページをご覧ください。