投稿日: Aug 13, 2021
AWS Inferentia ベースの Amazon EC2 Inf1 インスタンスで機械学習推論を実行するための SDK である AWS Neuron は、TensorFlow 2 をサポートするようになりました。Neuron 1.15.0 以降では、TensorFlow 2 BERT ベースのモデルを Inf1 インスタンスで実行できます。追加のモデルも間もなくサポートされます。Neuron TensorFlow 2 のサポートの詳細については、TensorFlow 2 のよくある質問のページにアクセスしてください。
また、TensorFlow 2 の使用を開始するのに役立つチュートリアル、AWS Sagemaker ホスティングを使用して Inferentia に HuggingFace BERT モデルコンテナをデプロイする方法をガイドするチュートリアル、結果と新しいアプリケーションノートを比較してレプリケートし、Inferentia ですぐに使用できる深層学習アーキテクチャのタイプを見つけるのに役立つ推論パフォーマンスページなど、新しいドキュメントでリソースを更新しました。
AWS Neuron は、TensorFlow、PyTorch、Apache MXNet などの一般的な ML フレームワークとネイティブに統合されています。これには、アプリケーションに最適なパフォーマンスを抽出するのに役立つ深層学習コンパイラ、ランタイム、およびツールが含まれています。詳細については、AWS Neuron のページと AWS Neuron のドキュメントを参照してください。
Amazon EC2 Inf1 インスタンスは、クラウドでの深層学習推論のコストを最低に抑え、米国東部 (バージニア北部、オハイオ)、米国西部 (オレゴン、北カリフォルニア)、AWS GovCloud (米国西部、米国東部)、カナダ (中部)、欧州 (フランクフルト、アイルランド、ロンドン、ミラノ、パリ、ストックホルム)、アジアパシフィック (香港、ムンバイ、ソウル、シンガポール、シドニー、東京)、中東 (バーレーン)、南米 (サンパウロ)、および中国 (北京、寧夏) などの 23 のリージョンで利用可能です。機械学習推論のリアルタイムのレイテンシー要件を最適に満たすリージョンで、Amazon EC2 Inf1 インスタンスを活用できます。詳細については、Amazon EC2 Inf1 インスタンスページを参照してください。