Amazon Elastic Inference よくある質問

Q: Amazon がお客様にワークロードを Amazon Elastic Inference (EI) から AWS Inferentia などの新しいハードウェアアクセラレーションオプションに移行するよう奨励しているのはなぜですか?

お客様は、推論ワークロード用に AWS Inferentia などの新しいハードウェアアクセラレータオプションを使用することで、Amazon EI よりもはるかに手頃な価格で優れたパフォーマンスを得ることができます。AWS Inferentia は、クラウドで高性能の推論を提供し、推論の総コストを削減し、デベロッパーが機械学習をビジネスアプリケーションに簡単に統合できるように設計されています。お客様がこのような新世代のハードウェアアクセラレータの恩恵を受けられるように、2023 年 4 月 15 日以降は新規顧客を Amazon EI に参加させません。

Q: Amazon Elastic Inference (EI) への新規顧客のオンボーディングを停止する動きの影響を受けるのは、どの AWS サービスですか?

この発表は、Amazon EC2、Amazon SageMaker インスタンス、または Amazon Elastic コンテナ サービス (ECS) タスクに接続されている Amazon EI アクセラレータに影響します。Amazon SageMaker では、これは Amazon EI アクセラレータを使用するエンドポイントとノートブックカーネルの両方に適用されます。

Q: 2023 年 4 月 15 日以降、新しい Amazon エラスティック推論 (EI) アクセラレータを作成することはできますか?

いいえ。新規のお客様で、過去 30 日以内に Amazon EI を使用していない場合、2023 年 4 月 15 日以降は AWS アカウントで新しい Amazon EI インスタンスを作成できなくなります。ただし、過去 30 日間に少なくとも 1 回は Amazon EI アクセラレータを使用したことがある場合は、新しい Amazon EI アクセラレータをインスタンスにアタッチできます。

Q: 現在 Amazon エラスティック推論 (EI) アクセラレータを使用しています。2023年4月15日以降も引き続き使用できますか？

はい、Amazon EI アクセラレータを使用できます。Amazon EI で実行されている現在の ML Inference ワークロードを、都合の良いときに他のハードウェアアクセラレータオプションに移行することをお勧めします。

Q: 現在使用している Amazon SageMaker 推論エンドポイントの代替インスタンスオプションを評価する方法を教えてください。

Amazon SageMaker Inference Recommenderは、既存のワークロードを Amazon Elastic Inference (EI) から SageMaker がサポートする適切な ML インスタンスに移行するための費用対効果の高いデプロイを特定するのに役立ちます。

Q: Amazon SageMaker で既存のエンドポイントのインスタンスタイプを変更する方法を教えてください。

• まず、新しいインスタンスタイプを使用する新しい EndpointConfig を作成します。自動スケーリングポリシーがある場合は、既存の自動スケーリングポリシーを削除します。
• 新しく作成したエンドポイント設定を指定しながら、UpdateEndpoint を呼び出します。
• エンドポイントのステータスが InService に変わるまでお待ちください。これには約 10 ～ 15 分かかります。
• 最後に、新しいエンドポイントで自動スケーリングが必要な場合は、この新しいエンドポイントと ProductionVariant 用の新しい自動スケーリングポリシーを作成します。

Q: Amazon Elastic Inference (EI) を使用して既存の Amazon SageMaker ノートブックインスタンスのインスタンスタイプを変更する方法を教えてください。

コンソールで [ノートブックインスタンス] をクリックし、更新するノートブックインスタンスをクリックします。ノートブックインスタンスのステータスが「停止」であることを確認します。最後に、[編集] をクリックしてインスタンスタイプを変更できます。ノートブックインスタンスを起動したら、新しいインスタンスに適したカーネルを選択するようにしてください。

Q: Amazon Elastic Inference (EI) に代わる優れたインスタンスタイプはありますか?

機械学習のワークロードはそれぞれ異なります。Amazon SageMaker Inference Recommenderを使用して、ML のワークロード、パフォーマンス要件、予算に適したインスタンスタイプを特定することをおすすめします。AWS Inferentia 、特に inf1.xlarge は、Amazon EI のお客様にとって最高のパフォーマンスと低コストの代替手段です。以下の表では、SageMaker と Inferentia のさまざまな Amazon EI アクセラレータオプションのパフォーマンスと 1 時間あたりの価格を比較しています。Inferentia は、c5.xlarge ホストインスタンスを想定すると、価格とパフォーマンスが最も高く、すべての Amazon EI インスタンスよりも 1 時間あたりのコストも安価です (下の表を参照)。モデルを AWS Inferentia にデプロイする前に、まずコンパイルする必要があることに注意してください。SageMaker のお客様は、 SageMaker Neo をターゲットデバイスとして「ml_inf」を設定してモデルをコンパイルできます。SageMaker を使用していない場合は、 AWS Neuron コンパイラーを直接使用してください。

以下の価格は us-east-2 リージョンを想定しています

Q: Amazon Elastic Inference とは何ですか？

A: Amazon Elastic Inference (Amazon EI) は、Amazon EC2 または Amazon SageMaker のインスタンスタイプまたは Amazon ECS タスクに適切な量の GPU による推論アクセラレーションをアタッチさせる、高速コンピューティングサービスです。つまり、アプリケーションの全体的なコンピューティング、メモリ、およびストレージのニーズに最も適したインスタンスタイプを選択し、必要な推論アクセラレーションの程度を個別に構成できます。

Q: Amazon Elastic Inference アクセラレーターとは何ですか?

A: Amazon Elastic Inference アクセラレーターは、低コストでディープラーニングの推論ワークロードを加速するために、あらゆる EC2 インスタンス、SageMaker インスタンスまたは ECS タスクと連携するように設計された GPU を搭載したハードウェアデバイスです。Amazon Elastic Inference を使用して EC2 インスタンスまたは ECS タスクを起動すると、アクセラレーターがプロビジョニングされ、ネットワーク経由でインスタンスにアタッチされます。Amazon Elastic Inference で有効になっている TensorFlow Serving や Apache MXNet、PyTorch のようなディープラーニングツールやフレームワークでは、モデル計算を自動的に検出し、アタッチされたアクセラレーターにオフロードできます。

Q: Amazon Elastic Inference アクセラレーターファミリータイプの間の違いは?

A: EIA2 アクセラレータ－には、同等の EIA1 アクセラレータの 2 倍の GPU メモリがあります。モデルとテンソルの入力サイズに基づいて GPU メモリのニーズを判断し、ニーズに合った適切なアクセラレーターファミリーとタイプを選択できます。

Q: Amazon Elastic inference アクセラレーターは、どのようにプロビジョニングするのですか？

A: AWS マネジメントコンソール、AWS コマンドラインインターフェース (CLI) 、AWS SDK を使用して、Amazon SageMaker エンドポイントまたは Amazon EC2 インスタンスまたは Amazon ECS タスクを Amazon Elastic Inference アクセラレーターを設定できます。アクセラレーターを使用して EC2 インスタンスを起動するには、2 つの要件があります。まず、アクセラレーターを起動する予定のサブネットに対して、AWS PrivateLink VPC エンドポイントをプロビジョニングする必要があります。その後、インスタンスを起動するときに、インスタンスにアクセスしているユーザーがアクセラレーターに接続できるようにするポリシーをインスタンスロールに指定する必要があります。Amazon EI で起動するようにインスタンスを設定すると、アクセラレーターは VPC エンドポイントのバッググラウンドと同じアベイラビリティーゾーンにプロビジョニングされます。

Q: Amazon Elastic Inference ではどのようなモデルフォーマットがサポートされていますか?

A: Amazon Elastic Inferenceは、TensorFlow、Apache MXNet、PyTorch、および ONNX モデルを使用してトレーニングされたモデルをサポートします。

Q: TensorFlow、Apache MXNet または PyTorch フレームワークを使用して Amazon Elastic Inference モデルをデプロイできますか?

A: はい、AWS で強化された TensorFlow Serving と Apache MXNet、PyTorch ライブラリを使用して、モデルをデプロイし、推論呼び出しを行うことができます。

Q: AWS 最適化フレームワークにアクセスするにはどうすればよいですか?

A: AWS ディープラーニング AMI には、Amazon Elastic Inference アクセラレーターで使用するために最適化された TensorFlow Serving と Apache MXNet、PyTorch の最新リリースが含まれています。Amazon S3 経由でライブラリを入手して、独自の AMI またはコンテナイメージを構築することもできます。詳細については、当社のドキュメント (https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/elastic-inference.html) をご覧ください。

Q: CUDA は Amazon Elastic Inference アクセラレーターと併用できますか?

A: いいえ、AWS で強化された TensorFlow Serving、Apache MXNet または PyTorch ライブラリは、Amazon Elastic Inference アクセラレーターのインターフェイスとしてのみ使用できます。

Q: Amazon Elastic Inference の使用に対してどのように課金されますか？

A: お支払いいただくのは、実際に使用した Amazon Elastic Inference アクセラレーター時間に対する分のみです。詳細については、料金表ページをご覧ください。

Q: Amazon Elastic Inference サービスの AWS PrivateLink VPC エンドポイントは料金が発生しますか?

A: いいえ。VPC エンドポイントがプロビジョニングされているアベイラビリティーゾーンで実行されているアクセラレーターで、インスタンスが 1 つ以上構成されている限り、Amazon Elastic Inference サービスの VPC エンドポイントでは料金は発生しません。