投稿日: Jun 15, 2020
Amazon Elastic Kubernetes Service (EKS) を使用して、Amazon EC2 Inf1 インスタンスでコンテナを実行できるようになりました。EKS と AWS Neuron Kubernetes デバイスプラグインを使用すると、クラスター内の複数の Inferentia デバイスを簡単に組み合わせて、ハイパフォーマンスで費用対効果の高い推論ワークロードを大規模に実行できます。
Amazon EC2 Inf1 インスタンスは、ハイパフォーマンスでありながら、コストを最小限に抑えた、クラウドでの機械学習推論を実現しました。Inf1 インスタンスでは、AWS が設計および開発した、ハイパフォーマンス機械学習推論チップである AWS Inferentia チップを 16 基まで利用できます。Inf1 インスタンスで、画像認識、音声認識、自然言語処理、パーソナライズ、不正検知といった大規模な機械学習推論アプリケーションを実行することができます。機械学習モデルのトレーニングがお客様の要件を満たせる程度まで進んだら、AWS Neuron を使用してモデルをデプロイできます。これは、特化したソフトウェア開発キット (SDK) で、Inferentia チップの機械学習推論のパフォーマンスを最適化し、TensorFlow、PyTorch、MXNet などの一般的な機械学習フレームワークをサポートするコンパイラー、ランタイム、およびプロファイリングツールから構成されています。
Amazon EKS は、EKS-Optimized Accelerated AMI を必要なすべての AWS Neuron パッケージで更新することにより、Inferentia ベースのコンテナを簡単に実行できるようにしました。最新の Accelerated AMI に基づいてワーカーノードを含むクラスターを起動した後、AWS Neuron Kubernetes デバイスプラグインをインストールできます。これにより、Inferentia デバイスを利用可能なリソースとしてワーカーノードである kubelet にアドバタイズします。このきめ細かなスケジューリング機能により、EKS のお客様は、スタンドアロンの EC2 Inf1 インスタンスを使用する場合と比較して、使用率を向上させ、コストを大幅に節約できます。
EC2 Inf1 インスタンスは、Inf1 が利用可能なリージョンで、バージョン 1.14 以降を実行しているすべての EKS クラスターで使用できます。現在、セルフマネージド型のノードグループのみがサポートされており、eksctl、CloudFormation、または AWS CLI を使用して開始できます。EKS マネージド型ノードグループのサポートは、将来のリリースで追加される予定です。使用を開始するには、Amazon EKS ドキュメントをご覧ください。Inf1 インスタンスと Inferentia の詳細については、Amazon EC2 のドキュメントをご覧ください。