Amazon SageMaker AI 推論が G7 インスタンスのサポートを開始
Amazon SageMaker AI 推論では、NVIDIA RTX PRO 4500 Blackwell Server Edition GPU を搭載した G7 インスタンスをサポートするようになりました。これにより、前世代の G6 インスタンスと比較して最大 4.6 倍の AI 推論パフォーマンスで機械学習モデルをデプロイできるようになりました。本番環境での推論向けに生成 AI モデルをデプロイする場合、中規模から大規模のモデルをコスト効率よく提供するために高い GPU スループットとメモリ容量を必要としますが、前世代のインスタンスでは、メモリ容量の制約に収めるために高価なコンピューティングをオーバープロビジョニングしたり、モデルを量子化したりする必要が生じることがよくありました。
G7 インスタンスは、第 5 世代 Tensor Core を備えた GPU あたり 32 GB のメモリ、最大 700 Gbps の EFA 対応ネットワーク (G6 の 7 倍)、最大 7.6 TB のローカル NVMe SSD ストレージ (大規模モデルをコンピューティングの近くに保持するため) を提供します。これらの機能を備えているため、G7 インスタンスは、70 億～300 億パラメータ規模のモデルの提供、画像および動画生成ワークロード、高いメモリ帯域幅とスループットを活用したマルチモデル推論エンドポイントに適しています。G7 インスタンスにモデルをデプロイするには、SageMaker AI 推論のコンソール、API、SDK を使用して、エンドポイント設定で G7 インスタンスタイプ (ml.g7.xlarge から ml.g7.48xlarge まで) を指定してください。
SageMaker AI 推論向けの G7 インスタンスは、米国東部 (バージニア北部、オハイオ) と米国西部 (オレゴン) で利用できます。これらのインスタンスの料金情報については、料金ページをご覧ください。