Amazon Web Services ブログ

Category: AWS Deep Learning AMIs

AWS Deep Learning AMI に TensorFlow 1.5 と新しい Model Serving 機能が追加されました

AWS Deep Learning AMI は、機械学習を迅速かつ簡単に開始する支援となります。AMI には、機械学習の実践者の多様なニーズに応えるさまざまなプレビルドのオプションが含まれています。ディープラーニングのフレームワークの最新バージョンをご希望の方には、Deep Learning AMI は、別々の Conda ベースの仮想環境にインストールされたプレビルドのピップバイナリを提供します。高度なフレームワーク機能をテストしたり、フレームワークのソースコードを調整したりするのをお求めの方のために、ソースコード付きの Deep Learning AMI では、ソースからフレームワークのカスタムインストールを提供します。これらはしばしば、ストックバイナリでは利用できない高度な最適化でビルドされます。 Volta GPU での TensorFlow によるより速いトレーニング ソースコード付き AMI には、TensorFlow 1.5.0-rc1 が付属します。このプレリリースバージョンの TensorFlow は、EC2 P3 インスタンスに電力を供給する V100 Volta GPU を利用する NVidia CUDA 9 および cuDNN 7 ドライバをサポートします。当社のテストでは、ResNet-50 ベンチマークを合成 ImageNet データで fp-16 モードで p3.8xlarge インスタンスでトレーニングすると、TensorFlow 1.4.1 でのトレーニングよりも 1.8 倍高速になりました。これはプレリリースバージョンであるため、本番環境で使用する前にテストしてください。 Ubuntu と Amazon Linux […]

Read More

4 つの新しいリージョン (北京、フランクフルト、シンガポール、ムンバイ) で AWS Deep Learning AMI の提供を開始

Sinnet が運用する中国 (北京)、欧州 (フランクフルト)、アジアパシフィック (シンガポール)、アジアパシフィック (ムンバイ) の 4 つの新しいリージョンで AWS Deep Learning AMI を利用できるようになりました。 Amazon マシンイメージ (AMI) は Machine Learning ユーザーがディープラーニングモデルをすぐ使い始められるようにするためのインフラストラクチャとツールを提供しています。AMI には Apache MXNet、Gluon、TensorFlow、Microsoft Cognitive Toolkit、Caffe、Caffe2、Theano、Torch、Pytorch、Keras といった人気のディープラーニングフレームワークのパッケージが組み込まれています。また、開発とモデルトレーニングを効率良く進めるため、AMI は NVIDIA CUDA と cuDNN ドライバーで事前設定されており Amazon EC2 の P2 インスタンスや P3 インスタンスにおける GPU 加速に対し最適化されています。 ディープラーニングでビジネス価値を推進 企業は多種多様なチャレンジに取り組む方法としてディープラーニングに注目しています。たとえば、メディア業界の大物である Condé Nast は顧客をより理解できるようにするため、オンラインコンテンツのモニタリングにコンピュータビジョンと自然言語処理を使用しています。自動運転テクノロジーのリーダー的な存在である TuSimple は、運転のシミュレーションの実行や自動運転システムのトレーニングにディープラーニングアルゴリズムを使用しています。インターネットで食品配送サービスを提供する Instacart は、何千人もの買い物代行者が顧客の買い物履歴を介してより効率的にショッピングを行うためにディープラーニングを使用しています。 AWS Deep Learning AMI […]

Read More

AWS Deep Learning AMI の更新: TensorFlow、Apache MXNet、Keras、PyTorch の新バージョン

TensorFlow、PyTorch、Keras、最新バージョンの Apache MXNet 1.0 などを含む様々なフレームワークにわたり、NVIDIA Tesla V100 “Volta” GPUs でのトレーニング速度を大幅に改善するため、AWS Deep Learning AMI を更新しました。 現在使用可能な AMI には主に 2 つのタイプがあります。Conda ベースの AWS Deep Learning AMI は、一般的に使用されているフレームワークの最新のポイントリリース (事前設定済みの CUDA、ノートブック、サポートしているライブラリを含む) を Conda ベースの仮想環境内にまとめています。これはすべての開発者に対して推奨されています。ソースコードを使用する Deep Learning AMI は、基盤となるフレームワークに変更を施したい場合や、最先端の技術を取り入れたい場合に適しています。AWS はこの AMI で使用可能なカスタムそして最適化したビルドを構築しています。これにはいくつもの高度な機能やパフォーマンスの改善が含まれています。本稼働環境で導入する前にコードをテストしてください。  TensorFlow の様々な精度を使用してトレーニング速度を改善 ソースコードを使用した新しい AMI には TensorFlow のカスタマイズされた更新済みビルドが含まれています。これは EC2 の P3 インスタンスで使用可能な V100 GPU で様々な精度を使用するトレーニングと推論を活用します。これによりトレーニング時間を大幅に短縮することができます。たとえば、このビルドを使用して ResNet-50 をトレーニングした場合、ストックの TensorFlow 1.4 […]

Read More

AWS ディープラーニング AMI を使用してディープラーニングを開始

ディープラーニングの初心者、また高度なディープラーニングプロジェクトをクラウドで構築したい方でも、AWS を使えば簡単に始められます。 AWS ディープラーニング AMIs は Ubuntu と Amazon Linux バージョンでの利用が可能になっており、いかなるスケールでもクラウドでディープラーニングアプリケーションを実行できるようにします。Amazon マシンイメージ (AMIs) には、Apache MXNet、TensorFlow、Microsoft Cognitive Toolkit (CNTK)、Caffe、Caffe2、Theano、Torch、Keras を含むオープンソースのディープラーニングフレームワークがプリインストールされています。 AMIs では、カスタムの AI モデルをトレーニングしたり、新しいアルゴリズムを試したり、新たなディープラーニングのスキルやテクニックを学ぶことができます。AMIs に追加料金はかかりません。アプリケーションを保存し実行するために必要な AWS のリソースに対してのみお支払いいただきます。 また、AMIs は事前設定されている CUDA や cuDNN ドライバー、Intel Math カーネルライブラリ (MKL) を介して GPU に加速度を提供しています。AMIs には人気の Python パッケージや Anaconda プラットフォームも含まれています。 そのシンプルさ、使いやすさ、コスト節約など、開発者へのメリットは明らかです。そしてコンピューティングインスタンスの起動も簡単です。次の手順に従うと、数分でディープラーニングを開始することができます。  AMI の起動 AWS マネジメントコンソールにアクセスし、アカウントにサインインするか新しいアカウントを作成します。

Read More

AWS Deep Learning Conda と Base AMI の利用開始について

AWS は AWS Deep Learning AMI に Conda ベースの AMI と Base AMI という 2 つの新しいバージョンを利用可能にしたことを発表しました。このブログでは、新しい AMI を最大限に活用するための手順と追加リソースについてご説明します。 Conda マネージド型環境を取り入れた新しい Deep Learning AMI Amazon Linux と Ubuntu を対象にした新しい Deep Learning AMI には、人気のオープンソースパッケージと環境管理ツールである Conda を使用して作成したディープラーニング用の Python 環境がプリインストールされています。Conda マネージド型 Python 環境は、Apache MXNet、TensorFlow、Caffe2、PyTorch、Keras、CNTK、Theano を含む、人気のディープラーニングフレームワーク用に事前設定されています。また、Python 環境にはそれぞれ Python 2 と Python 3 が含まれています。AWS マネジメントコンソールを使用して AWS EC2 インスタンスにログインすると、Conda 環境すべてを含むリストがコンソールメッセージとして表示されます。 次のコマンドを実行すると、このリストを取得できます。 conda […]

Read More

Machine Learning ユーザー向けの新しい AWS Deep Learning AMI

この度、AWS Deep Learning AMI の新しい 2 つのバージョンの提供を開始しました。人気のオープンソースパッケージと環境ツールの Conda を使用して作成したディープラーニングフレームワーク用に別の Python 環境を使用する Conda ベースの AMI、そして独自のカスタマイズしたディープラーニングモデルをデプロイするための GPU ドライバとライブラリを使用する Base AMI です。 学会と業界の両方に渡り、ディープラーニングテクノロジーはフレームワーク、アルゴリズム、そして新しい方法や理論に渡り、急速に進化しています。そのため、素早く安全にアルゴリズムをテストしたり、フレームワークの特定のバージョンの最適化、テストやベンチマークの実行、新しく始めるプロジェクト開始の共同作業などにおいてツールを必要とする開発者達にとって複雑の原因になっています。そこで、AWS Deep Learning AMI においても、そうした自由と柔軟性を提供するために仮想環境を追加することにしました。また、新たに開発者用リソースもセットアップすることで、これまで以上に AMI の理解を深めたり、プロジェクトに適切な AMI を選択したり、ハンズオンチュートリアルを利用できるようにしています。 Conda ベースの Deep Learning AMI Conda ベースの AMI は Conda を使用して作成したディープラーニングの Python 環境にプリインストールされています。各 Conda ベースの Python 環境は、人気のディープラーニングフレームワークの公式 pip パッケージと、その依存関係を含むように設定されています。たとえば、ニューラルネットワークモデルをトレーニングするためのディープラーニングコードを実行する準備が整い、完全に仕上がった仮想環境とお考えください。ステップバイステップガイドでは、任意のディープラーニングフレームワークを使用した環境をアクティブ化する方法や、シンプルな 1 行のコマンドを使用して環境を切り替える方法について説明しています。 AMI のメリットは他にもあります。AMI の環境は相互に孤立した自己完結型のサンドボックスとして稼働します。つまり、サンドボックス内でディープラーニングのコードを実行すると、実行時の環境を完全に見通し全体的に管理することができます。AMI の他のディープラーニング環境を中断してしまう心配なく、新しいソフトウェアパッケージをインストールしたり、既存のパッケージのアップグレードや環境変数を変更することができます。実行環境でこのレベルの柔軟性と詳細管理を行えるということは、一貫性のある再生可能な方法でディープラーニングモデルのテスト実行やパフォーマンスのベンチマークが行えることを意味しています。 最後に、AMI は Jupyter […]

Read More

利用可能になりました – Amazon Linux AMI 2017.09

Amazon Linux AMI の最新バージョン (2017.09) が、すべての AWS リージョンの現行世代の EC2 インスタンスで利用可能になったことをお知らせします。AMI には、EC2 上で実行するアプリケーションのために安定した安全で高性能な環境を提供するように設計された Linux イメージのサポートと保持が含まれています。 簡単なアップグレード 次の 2 つのコマンドを実行して既存のインスタンスをアップグレードし、再起動します。 $ sudo yum clean all $ sudo yum update 盛りだくさん AMI には多くの新機能が含まれており、そのうち多くはお客様のリクエストに応えて追加されたものです。概要は次をご覧ください。 Kernel 4.9.51 – Based on the 4.9 の安定したカーネルシリーズをベースにしたこのカーネルには、ENA 1.3.0 ドライバーと TCP Bottleneck Bandwidth and RTT (BBR) のサポートが含まれています。私の投稿 Elastic Network Adapter – High-Performance Network Interface for […]

Read More