Amazon Web Services ブログ
AWS Deep Learning Conda と Base AMI の利用開始について
AWS は AWS Deep Learning AMI に Conda ベースの AMI と Base AMI という 2 つの新しいバージョンを利用可能にしたことを発表しました。このブログでは、新しい AMI を最大限に活用するための手順と追加リソースについてご説明します。
Conda マネージド型環境を取り入れた新しい Deep Learning AMI
Amazon Linux と Ubuntu を対象にした新しい Deep Learning AMI には、人気のオープンソースパッケージと環境管理ツールである Conda を使用して作成したディープラーニング用の Python 環境がプリインストールされています。Conda マネージド型 Python 環境は、Apache MXNet、TensorFlow、Caffe2、PyTorch、Keras、CNTK、Theano を含む、人気のディープラーニングフレームワーク用に事前設定されています。また、Python 環境にはそれぞれ Python 2 と Python 3 が含まれています。AWS マネジメントコンソールを使用して AWS EC2 インスタンスにログインすると、Conda 環境すべてを含むリストがコンソールメッセージとして表示されます。
次のコマンドを実行すると、このリストを取得できます。
次に、任意のディープラーニングフレームワーク、たとえば MXNet 用の Python 環境をアクティブ化するには、次を実行します。
For Python 2
For Python 3
Python 環境に入ったら、次のコマンドを実行してインストール済みのパッケージリストを表示することができます。
Python 環境でディープラーニングのコードを実行することは簡単です。まず、Python シェルを開始します。
次にディープラーニングフレームワークをインポートするか、いつも通りにディープラーニングの Python コードを実行します。
では、別のディープラーニングフレームワーク、たとえば TensorFlow を取り上げてみましょう。まず、Python シェルを終了します
MXNet 用の現在の環境を無効化します
以前のように Python 環境に切り替えます。ただし、今回は TensorFlow を有効化します。
For Python 2
For Python 3
Conda 環境の詳細については「Conda 入門ガイド (getting started guide for Conda)」にある Conda コマンドのチートシートや学習リソースを参照してください。また、新しい AWS Deep Learning AMI ドキュメントのサイトにアクセスし「入門チュートリアル (introductory tutorials)」をご覧ください。コマンドラインから直接実行できます。
Jupyter ノートブックのインターフェイスから Conda を管理する
Jupyter ノートブックのブラウザインターフェイスから直接 Conda 環境を管理することもできます。Conda ベースの AMI でドキュメントサイトに記載されている手順に従い、Jupyter ノートブックサーバーを起動することができます。Conda は次の機能を使用して Jupyter ノートブックとの緊密な統合をサポートします。
ディープラーニング環境の選択
まず、インターネットブラウザから Jupyter サーバーにアクセスします。次のスクリーンショットで表示されているように、メインの「Files」ページで任意のディープラーニングフレームワークをドロップダウンリストから選び、Conda 環境を選択します。これで新しいノートブックを開始できます。選択した Python 環境と自動的にリンクされます。
このページのドロップダウンリストを使用して、別のディープラーニングフレームワークを使う他の環境に切り替えることもできます。ノートブックの使用開始をサポートするため、Conda ベースの AMI には複数の Jupyter ノートブックとすぐに使用できるチュートリアルが含まれています。
環境の管理
[Conda] タブを開くと、AMI で Conda 環境を管理するための専用ページが表示されます。
このページでは、プリインストール済みの Conda 環境の一覧や、環境にインストールされているソフトウェアパッケージをブラウズしたり、パッケージのアップグレードまたはアンインストールを行うことで環境を再設定することもできます。
新しい Deep Leaning Base AMI の設定
Amazon Linux と Ubuntu 用の Base AMI には、独自でカスタマイズしたディープラーニング環境をデプロイする場合に使用できる GPU ドライバの基盤プラットフォームとアクセラレーションライブラリが含まれています。AMI はデフォルトで NVidia CUDA 9 環境に設定されています。ただし、環境変数 LD_LIBRARY_PATH を再設定することで CUDA 8 環境に切り替えることも可能です。環境変数の文字列の CUDA 9 の箇所を CUDA 8 に相当するものに置換するだけです。
LD_LIBRARY_PATH 文字列の CUDA 9 の部分 (デフォルトでインストール済み)
CUDA 8 と置き換えます
ご利用開始にあたって
Deep Learning AMI の使用開始は簡単です。ステップバイステップのブログまたは新しい AWS Deep Learning AMI ドキュメントサイトにアクセスし、使用を開始する方法や便利なリソースをご覧ください。
今回のブログの投稿者について
Sumit Thakur は AWS Deep Learning のシニアプロダクトマネージャーです。特に Deep Learning AMI のエンジンを使いやすくすることに焦点を当て、ユーザーがクラウドでディープラーニングを開始しやすくする製品を担当しています。自然に触れたり、SF の TV シリーズ鑑賞が趣味です。