Amazon Web Services ブログ

Category: Artificial Intelligence

Scikit Docker コンテナを構築して、Amazon SageMaker で Scikit-learnモデルのトレーニングとホストを行う

re:Invent 2017 で登場した Amazon SageMaker は機械学習モデルを規模に応じてビルド、トレーニング、デプロイするためのサーバーレスデータサイエンス環境を提供します。お客様はまた、Scikit-learn など、最も身近なフレームワークで作業できます。 このブログ記事では次の 2 つの目標に沿って進めていきます。まずは、Amazon SageMaker がモデルのトレーニングやホストのためにどのようにコンテナを使用するかについて、高水準の説明を行います。続いて、Amazon SageMaker で Scikit モデルのトレーニングおよびホスト用に Docker コンテナをビルドする方法について説明します。 概要では、モデルのトレーニングとホスト用に Amazon Elastic Container Service (ECS) からロードされた Docker イメージが Amazon SageMaker 上でどのように実行されるかについて説明します。また、トレーニングコードや推論コードなど、SageMaker Docker イメージの仕組みについても説明します。 そのため、Amazon SageMaker で Scikit モデルをビルド、トレーニング、デプロイする方法についてのみ興味をお持ちの場合は、概要の部分を飛ばしてお読みください。SageMaker で最小限の手間で Scikit モデルをコンテナ化するかについて、ハンズオンでもご覧いただけます。 目次 Amazon SageMaker 用コンテナの概要 Scikit-学習との連携のビルド Amazon SageMaker 用コンテナの概要 SageMaker は、ユーザーがアルゴリズムをトレーニングし、デプロイできるように、Docker コンテナの用途を拡張します。開発者とデータサイエンティストたちは、コンテナを活用することで Docker をサポートするあらゆるプラットフォームで着実に稼動する標準化されたユニットにソフトウェアをパッケージングできるようになります。コンテナ化することで、コード、ランタイム、システムツール、システムライブラリ、設定などのすべてを 1 か所にまとめ、環境から分離し、どこで開始するかに関係なく、一貫したランタイムを確保します。 […]

Read More

Amazon Polly が Nexmo の次世代型テキスト読み上げのユースケースを強化

この記事は Nexmo, the Vonage API Platform の プロダクトディレクター、ボイスアンド RTC、Roland Selmer 氏によるゲストブログ記事です。彼は Nexmo についてこのように述べています。「テキストメッセージング、チャット、ソーシャルメディア、音声などを通じて、リアルタイムかつ容易にカスタマーと情報を共有するのに必要なツールを提供することで、デジタルカスタマーエクスペリエンスを再考できるようにします。」 ビジネスがアプリケーションにコミュニケーション機能を統合できるようにするクラウドコミュニケーションプロバイダーとして、Nexmo, the Vonage API Platform は、 当社のカスタマーために提供している合成音声ユースケースの多くに役立つテキスト読み上げ (TTS) ソリューションが必要でした。私たちの選ぶソリューションは、Nexmo のグローバル TTS 製品を強化するために、当社のテクノロジー要件と製品哲学に合致している必要がありました。 Amazon Polly はこれらの基準のすべてを完璧に満たしていました。このパワフルなサービスは、Nexmo の合成音声ユースケースの核となるメインエンジンとなっています。このサービスは言語と音声で幅広い分野を網羅しています。 Amazon Polly を活用した Nexmo ユースケース Nexmo では、アプリケーショントゥパーソン (A2P) コミュニケーションのインターフェイスとして音声に注目しており、当社のカスタマーがこの最も自然なコミュニケーション方法を第一に独自のアプリケーションに統合できるようにします。Amazon Polly はその屋台骨と言えます。 特に、様々な業界のお客様が次に示す主要なユースケースにおいて、より良いビジネス収益を上げるために、Amazon Polly を活用した TTS を利用することができました。 音声放送 重大な音声アラート 着信通話通知 2 要素認証 (2FA) による PIN コードのフェイルオーバー音声配信 音声放送: […]

Read More

Auto Scaling が Amazon SageMaker で使用できます

AWS ML プラットフォームチーム担当製品マネージャーである Kumar Venkateswar は、Amazon SageMaker でオートスケールの発表の詳細を共有します。 Amazon SageMaker により、何千もの顧客が容易に Machine Learning (ML) モデルを構築、訓練、およびデプロイすることができました。当社は Amazon SageMaker のオートスケール対応により、本番稼働の ML モデルの管理をさらに容易にしました。インスタンスの必要があるスケールと照合するために数多くのインスタンスを手動で管理する代わりに、SageMaker に AWS Auto Scaling ポリシーに基づいてインスタンスの数を自動的にスケールさせることができます。 SageMaker は多くの顧客のために ML プロセスの管理を容易にしました。顧客がマネージド型 Jupyter ノートブックとマネージド型配布トレーニングを利用するのを見てきました。SageMaker は、マシン学習をアプリケーションに統合するため、顧客が推論のために SageMaker ホスティングにモデルをデプロイしたのを見てきました。SageMaker はこのことを容易にします。推論ホスト上でオペレーティングシステム (OS) または枠組みをパッチすることについて考える必要はなく、アベイラビリティーゾーン全体で推論ホストを設定する必要はありません。SageMaker にモデルをデプロイするだけで、残りの部分は処理されます。 今まで、エンドポイント (または本番バリアント) ごとのインスタンスの数とタイプを指定して、推論に必要なスケールを求める必要がありました。推論の容量が変更された場合、その変更に対応するために、ダウンタイムの発生なしに、各エンドポイントに対応するインスタンスの数またはタイプ、もしくはその両方を変更できます。プロビジョニングの変更が容易であることに加えて、顧客は SageMaker の管理機能をさらに容易にするために私たちが行っている方法を尋ねてきました。 Amazon SageMaker の Auto Scaling を使用して、SageMaker コンソールで、AWS Auto Scaling API と AWS […]

Read More

AWS Batch および Amazon SageMaker を使用してオンラインの化合物溶解度予測ワークフローを構築する

計算化学の分野の Machine Learning (ML) メソッドは、急速に成長しています。アクセスが容易なオープンソルバー (TensorFlow と Apache MXNet など)、ツールキット (RDKit 化学情報ソフトウェアなど)、オープン科学イニシアチブ (DeepChem など) は、毎日の研究でこれらのフレームワークを容易に使用できるようにします。科学情報分野では、多くのアンサンブル計算化学ワークフローが多数の化合物を消費し、さまざまな記述子特性をプロファイリングする能力を必要とします。 このブログ投稿では、2 段階ワークフローについて説明します。最初のステージでは、約 1100 の候補の分子を採取し、AWS Batch を使用して、Dockerized RDKit を使用した 2D 分子記述子を計算します。  MoleculeNet.ai – ESOLV からの元のデータセットには、各化合物の測定済みの logSolubility (mol/L) が含まれます。第 2 ステージでは、Amazon SageMaker を Apache MXNet で使用して、線形回帰予測モデルを作成します。ML モデルはトレーニングと検証の 70/30 分割を実行し、30 エポック後の RMSE = 0.925 で、適合度 (Rˆ2) は 0.9 になります。 このブログ投稿では、単純化された分子入力ライン入力システム (SMILES) の入力を処理するワークフローを作成し、その後、Amazon SageMaker に送出して、logSolubility […]

Read More

Amazon SageMaker が TensorFlow 1.5、MXNet 1.0、CUDA 9 をサポート

Amazon SageMaker の事前構築済み深層学習フレームワークコンテナが TensorFlow 1.5 および Apache MXNet 1.0 のサポートを開始。いずれも、SageMaker ml.p3 インスタンス上でより優れたパフォーマンスを出すために CUDA 9 最適化を活用します。パフォーマンスのメリットに加えて、TensorFlow での Eager の実行、MXNet での NDArrays の高度なインデックス作成機能など、最新の機能を活用できるようになります。変更内容の詳細についてはこちらとこちらをご覧ください。 Amazon SageMaker の事前構築型深層学習コンテナのご利用が初めての方は、使用方法について解説したサンプルのリポジトリをご覧ください。ユーザーが人間に理解しやすい様式で TensorFlow または MXNet のコードを書き、そのコードを Amazon SageMaker の分散型管理トレーニングクラスタやリアルタイムにホストされるエンドポイントへ送って処理できるようにします。これにより、ノートパソコン上のデータのサンプルで深層学習コードを書いたり、テストしたりし、その後、複数のマシンや GPU 環境のフルデータセット上で実行するために、容易に拡張する能力と柔軟性を提供します。 最新のコンテナを使用するには次のステップに従ってください。 次を使って SageMaker Python SDK の最新バージョンをインストール (または更新)pip install -U sagemaker ユーザーの新しいジョブではデフォルトで各フレームワークの最新バージョンが使用されます。しかし、ワークローでフレームワークの古いバージョンを使用する必要があるときは、次の手順でバージョンを指定できます。 MXNet の 場合: from sagemaker.mxnet import MXNet estimator = MXNet(entry_point=’mnist.py’, framework_version=’0.12’, role=role, […]

Read More

AWS 深層学習 AMI は現在、Chainer と最新バージョンの PyTorch と Apache MXNet をサポートしています

AWS 深層学習 AMI は、完全に設定された環境を提供するため、人工知能 (AI) の開発者とデータ科学者はすぐに深層学習モデルを使い始めることができます。Amazon Machine Images (AMI) には、柔軟で直感的な深層学習 (ディープラーニング) のフレームワークである Chainer (v3.4.0) のみならず、最新バージョンの Apache MXNet と PyTorch を含みます。 Chainer の Define by Run アプローチにより、開発者はトレーニング中にすぐに計算グラフを変更することができるようになります。これは、シーケンスからシーケンスへの翻訳や質疑応答システムなど、自然言語処理 (NLP) タスクに使用されるリカレントニューラルネットワーク (RNN) などのダイナミックニューラルネットワークを実装する上でより大きな柔軟性を与えます。Chainer は、Amazon EC2 P3 インスタンスに搭載されている NVIDIA Volta GPU の計算処理を加速するための NVDIA CUDA 9 と cuDNN 7 ドライバーを使う CuPy を利用するように設定されています。当社のステップバイステップのチュートリアルを使用して、Chainerをすぐに使い始めることができます。 Ubuntu と Amazon Linux に対応している深層学習AMI は、各深層学習フレームワークの公式な最新バージョンのビルド済pipバイナリを、Condaベースの仮想環境で分離して提供します。各フレームワークは、サポートする NVIDIA CUDA […]

Read More

2018年3月のAWS Black Belt オンラインセミナーのご案内

こんにちは。ソリューションアーキテクトの石井です。2018 年 3 月の AWS Black Belt オンラインセミナーの配信についてご案内をさせて頂きます。 2018 年 3 月の BlackBelt セミナーでは、ソリューションカットとして、働き方改革を実現するための AWS の VDI やオンラインミーティングサービス、Well-Architected Framework を活用したコスト最適化、データウェアハウスの AWS クラウドへの移行方法、AWS IoT でのデバイス管理・運用をする際に検討すべきポイント、などをご紹介します。 サービスカットでは、機械学習モデルの開発・学習・推論を素早く簡単に行うための Amazon SageMaker、ストレージとコンピューティング機能を備えた 100TB のデータ転送デバイス AWS Snowball Edge、動画ストリーミングを低遅延で分析処理に配信するための Amazon Kinesis Video Streams など、盛り沢山でお送りします。 なお、2018 年 3 月の BlackBelt セミナーは通常の火・水以外の変則的な開催日もございますのでご注意下さい。 3 月の開催予定 ソリューションカット 3/6(火)12:00-13:00 働き方改革を実現する AWS のエンドユーザーコンピューティングサービス 3/13(火)12:00-13:00 Well-Architected Framework によるコスト最適化 3/19(月)12:00-13:00 […]

Read More

Lumberyard Beta 1.12 新たな年と新しいエンジン

古い哲学的な質問です。船の様々なパーツを年々入れ替えていったとすると、それは当初と変わらぬ同じ船でしょうか?ゲームエンジンではどうでしょう? 2018年はLumberyardにとって新たな幕開けとなると信じています。レガシーな技術も概ね刷新され(既に主だったシステムの10/12が変わっています)、7つの新たなシステムが加わり、フルリリースへ向け加速する時が来ました。 Lumberyard Beta 1.12 はこちらからダウンロードできます 2017年はLumberyardの将来に向けた基礎部分に注力してきました。新たなアニメーションツール(EMotion FX)と、新たなビジュアルスクリプティングソリューション(Script Canvas)は、既にご紹介済みですが、コンポーネント・エンティティ作業フローへの数百の機能向上による開発フロー構築や、7つの新たな Cloud Gems をリリースしまして手軽にAWSクラウドを活用した機能をプレイヤーさんに提供する事ができるようになりました。また、業界標準の植生モデリング SpeedTree 8 のライセンスをLumberyardユーザーの皆様へはエディタも含めフリーで提供させていただいていますので、本物と見まごうばかりの広大な森林や植生等をご制作いただけます。 2018年を見据えた移行:エンジンによって容易かつさらにパワフルにゲームの可能性を押上げます。クラウドの壮大なコンピューティングとストレージが触媒となりゲーム制作に新たな革新と拡張がもたらされるでしょう。まだまだ開発を進めていますが2017年の開発でも主だったところでこちらの5つがあり我々の目指す方向付けがより明確になりました。 1. Cloud Gems The Cloud Gem フレームワーク により短時間でAWSを利用した素晴らしいゲームプレイを創出できます。テキストからの音声合成、ゲーム内アンケート、音声認識等をゲームに導入して、これまでにないゲーム体験と開発を実現できます。ゲーム内のランキングは有用ですが、もしMMOの数多のNPCが音声合成で教えてくれたらいかがでしょう?もしくは音声認識で様々な選択肢・オプションを選択できたら?Gemにより少数のエンジニアでもバックエンドのソリューションを制作でき、コストの削減のみにとどまらず、ゲームの制作手法をも変革可能となります。 2. SpeedTree 8 SpeedTree 8 がLumberyardの開発者の皆様へは無償で提供されます。エンジンのレンダリング・ライティングときれいに統合されており、SpeedTreeのエディタで素早く容易に植生を皆さんのゲーム内に生成することが可能となります。もちろんお時間がなければ既に制作された樹木アセットをSpeedTreeのサイトから購入して利用することもできます。SpeedTree ストア にて手順に従い無償ライセンスを手に入れられます。さらに ドキュメント  と クイックスタートチュートリアル もありますので、すぐにも始めていただけます。 3. EMotion FX CryAnimationをEMotion FXに入れ替え、さらに機能向上を追加してリリースしています。これによりエンジニアリング要件なしにブレンドツリー、ステートマシン、ブレンドスペース等々を利用して10分とかからずにキャラクタアニメーションを制作いただけます。EMotion FXは10年以上に渡りEAやUbisoftのような開発会社に採用されており、Lumberyardに永続的なパートになることで、アーテイストさんにパワフルなソリューションを提供できるようになりました。 4. Script Canvas Script Canvas により Lua や C++ のフレームワークと同様にゲーム内の挙動を創り上げる事が可能です。EMotion FXでクールなアニメーションをキメたキャラクターをエンジニアの手助けなくScript Canvasで容易にゲーム内の挙動を組んでしまえるわけです。SciptCanvasのノードベースのインターフェースが使えるようになれば、プログラミングの知識に乏しくても簡単にクオリティの高いゲームプレイ体験を創出できます。 5. […]

Read More

WordPress 向けの Amazon Polly プラグインが Bitnami の AMI にプレインストールされました

2 月 8 日、AWS はウェブサイトからコンテンツを簡単に音声出力し、ポッドキャストを公開することができるようにする WordPress 向けの Amazon Polly プラグインをリリースしました。音声を活用することにより、読者にあなたのコンテンツを楽しむ別の手段を提供し、より多くのオーディエンスのニーズを満たすことができます。 本日、AWS は人気が高い Bitnami の Amazon Mahcine Image (AMI) で Amazon Polly プラグインが利用可能になったことをお知らせします。最新の WordPress image packaged by Bitnami と、Amazon Polly WordPress プラグインにプレインストールされている WordPress Multisite image packaged by Bitnami は AWS Marketplace からご利用いただけます。WordPress for Production または WordPress Multi-Tier などのその他 Bitnami ソリューションにも、間もなくこのプラグインが包含される予定です。 統合された Amazon Polly プラグインを使用して、Bitnami WordPress Stack […]

Read More