Machine Learning ユーザー向けの新しい AWS Deep Learning AMI

この度、AWS Deep Learning AMI の新しい 2 つのバージョンの提供を開始しました。人気のオープンソースパッケージと環境ツールの Conda を使用して作成したディープラーニングフレームワーク用に別の Python 環境を使用する Conda ベースの AMI、そして独自のカスタマイズしたディープラーニングモデルをデプロイするための GPU ドライバとライブラリを使用する Base AMI です。

学会と業界の両方に渡り、ディープラーニングテクノロジーはフレームワーク、アルゴリズム、そして新しい方法や理論に渡り、急速に進化しています。そのため、素早く安全にアルゴリズムをテストしたり、フレームワークの特定のバージョンの最適化、テストやベンチマークの実行、新しく始めるプロジェクト開始の共同作業などにおいてツールを必要とする開発者達にとって複雑の原因になっています。そこで、AWS Deep Learning AMI においても、そうした自由と柔軟性を提供するために仮想環境を追加することにしました。また、新たに開発者用リソースもセットアップすることで、これまで以上に AMI の理解を深めたり、プロジェクトに適切な AMI を選択したり、ハンズオンチュートリアルを利用できるようにしています。

Conda ベースの Deep Learning AMI

Conda ベースの AMI は Conda を使用して作成したディープラーニングの Python 環境にプリインストールされています。各 Conda ベースの Python 環境は、人気のディープラーニングフレームワークの公式 pip パッケージと、その依存関係を含むように設定されています。たとえば、ニューラルネットワークモデルをトレーニングするためのディープラーニングコードを実行する準備が整い、完全に仕上がった仮想環境とお考えください。ステップバイステップガイドでは、任意のディープラーニングフレームワークを使用した環境をアクティブ化する方法や、シンプルな 1 行のコマンドを使用して環境を切り替える方法について説明しています。

AMI のメリットは他にもあります。AMI の環境は相互に孤立した自己完結型のサンドボックスとして稼働します。つまり、サンドボックス内でディープラーニングのコードを実行すると、実行時の環境を完全に見通し全体的に管理することができます。AMI の他のディープラーニング環境を中断してしまう心配なく、新しいソフトウェアパッケージをインストールしたり、既存のパッケージのアップグレードや環境変数を変更することができます。実行環境でこのレベルの柔軟性と詳細管理を行えるということは、一貫性のある再生可能な方法でディープラーニングモデルのテスト実行やパフォーマンスのベンチマークが行えることを意味しています。

最後に、AMI は Jupyter ノートブックに直接プラグできるビジュアルインターフェイスを提供するので、Jupyter ノートブックのブラウザからクリック 1 回で環境を切り替えたり、任意の環境でノートブックを起動したり、環境を再設定することができます。ステップバイステップガイドでは、こうした統合と Jupyter ノートブックやチュートリアルについて説明しています。

新しい Conda ベースの Deep Learning AMI には、次のディープラーニングフレームワークの最新の公式リリースが含まれています。

• Apache MXNet 0.12 と Gluon
• TensorFlow 1.4
• Caffe2 0.8.1
• PyTorch 0.2
• CNTK 2.2
• Theano 0.9
• Keras 1.2.2 と Keras 2.0.9

この AMI にはクラウドでの GPU アクセラレーション用の次のライブラリとドライバも含まれています。

• CUDA 8 および 9
• cuDNN 6 と 7
• NCCL 2.0.5 ライブラリ
• NVidia Driver 384.81

新しい Deep Learning Base AMI

Base AMI にはディープラーニング用の基盤となる構成要素がプリインストールされています。これには Amazon Elastic Compute Cloud (EC2) インスタンスで Machine Learning を加速化しスケールするため、NVIDIA CUDA ライブラリ、GPU ドライバ、システムライブラリが含まれています。Base AMI は白紙の状態でカスタマイズしたディープラーニングセットアップをデプロイできるようなものとお考えください。

たとえば、開発者がオープンソースのディープラーニングフレームワークの機能提供に協力したり、新しいディープラーニングエンジンを構築した場合、Base AMI は新しいフレームワーク機能をテストするための独自のカスタム設定とコードレポジトリをインストールするための基盤を提供します。Base AMI には CUDA 9 環境がデフォルトでインストールされていますが、ステップバイステップのユーザーガイドに掲載しているシンプルな 1 行コマンドを使用して CUDA 8 環境に切り替えることもできます。

Base AMI は次の GPU ドライバとライブラリを提供します。

• CUDA 8 および 9
• CuBLAS 8 と 9
• CuDNN 6 と 7
• glibc 2.18
• OpenCV 3.2.0
• NVIDIA driver 384.81
• NCCL 2.0.5
• Python 2 と 3

Deep Learning AMI とソースコード

本日公開した 2 つの新しい AMI に加え、統合した Python 環境のソースから人気のあるディープラーニングフレームワークすべてをインストールする AMI を引き続きサポートし、AMI のソースコードも含んでいます。この AMI は共有のベース環境で複数のフレームワークを比較したい場合や、ビルドオプションのカスタムセットでフレームワークを再コンパイルするために AMI のソースコードに素早くアクセスしたい場合に最適です。

AMI にはディープラーニングに使用したい AWS EC2 インスタンスにおける特定のニーズに適う CUDA 8 と CUDA 9 バージョンが含まれています。

Deep Learning AMI チートシート

Machine Learning ユーザーの様々なニーズをサポートするため、AWS Marketplace では 3 つのタイプの AWS Deep Learning AMI を提供しています。開発者ガイドの「AMI セレクションガイド (AMI selection guide)」、「シンプルチュートリアル (simple tutorials)」、「ディープラーニングのリソース (deep learning resources)」をぜひご覧ください。

今回のブログの投稿者について

Cynthya Peranandam 氏は、AWS 人工知能ソリューションのプリンシパルマーケティングマネージャーです。ユーザーがビジネス価値の提供を実現できるように、ディープラーニングの使用をサポートしています。余暇にはジョギングをしたり音楽鑑賞を楽しんでいます。