Amazon Web Services ブログ

TensorFlow と Apache MXNet を使用して、Amazon SageMaker で Keras モデルをトレーニングおよびデプロイする

Keras は適切に文書化された定評のある深層学習用オープンソースライブラリで、一方 Amazon SageMaker は機械学習モデルをトレーニングし最適化するための使いやすいツールです。両者を使用するにはこれまで、カスタムコンテナを構築する必要がありましたが、Keras は TensorFlow と Apache MXNet 用のビルトイン TensorFlow 環境の一部になりました。この結果、開発プロセスが簡素化しただけでなく、スクリプトモードや自動モデル調整などの Amazon SageMaker の標準機能を使用することもできるようになりました。 Keras の優れたドキュメント、多数の事例、さらに活発なコミュニティにより、初心者にも経験豊富な専門家にも最適な選択肢となっています。このライブラリはあらゆる種類の深層学習アーキテクチャを簡単に構築できるようにするハイレベルな API を提供し、さらにトレーニングと予測に異なるバックエンドを使用するオプション (TensorFlow、Apache MXNet、および Theano) もあります。 この記事では TensorFlow と Apache MXNet 用ビルトイン TensorFlow 環境を使用して、Amazon SageMaker で Keras 2.x モデルをトレーニングおよびデプロイする方法を説明します。その過程で、次のことも学びます。 スクリプトモードを使用して、ローカルマシンで実行しているのと同じ Keras コードを Amazon SageMaker で実行する。 自動モデル調整を起動して、ハイパーパラメータを最適化する。 Amazon Elastic Inference を使用してモデルをデプロイする。 Keras の例 この例では、Fashion MNIST データセットで簡単な畳み込みニューラルネットワークをトレーニングする方法を示します。このデータセットは、よく知られている MNIST データセットに置き換えられるものです。同数のクラス […]

Read More

DeepRacer League のもう一つのトリプルでは、さらなる世界記録を更新し、初の女性優勝者が誕生しました!

AWS DeepRacer League は、誰もが参加可能な、自動運転車による世界初の国際的レーシングリーグです。あらゆるスキルレベルの開発者達が、国際的に 22 回開催される AWS イベントで直接、あるいは AWS の DeepRacer コンソールを通じオンラインでの競技参加が可能です。彼らは 2019 年のチャンピオンカップをかけたレースが開催される re:Invent 2019 への旅費無料の招待を賭けて競い合います。 先週、AWS DeepRacer League が世界中の 3 つの都市 (米国ワシントン DC、台湾台北、日本東京) を訪れました。各レースでは何日にもわたり、開発者が優勝ラップタイムを記録できるように多数の機会を提供しました。 初の女性優勝者と世界記録 東京レースは今回も最大規模で行われました。都市のすぐ離れにある幕張メッセで 2 万人を超える AWS のお客様が AWS サミットに参加し、学習、実践ラボ、およびネットワーキングを 3 日間行いました。開発者がサミットを通して競うための 2 つの DeepRacer トラック、仮想レーシングポッド、および DeepRacer モデルを構築する方法を学ぶための複数のワークショップが開かれました。 モデルを構築し、AWS DeepRacer リーグの詳細を学ぶための仮想レーシングポッド。 何百人もの開発者が各自のモデルをトラックでテストしましたが、誰も初の女性優勝者である sola@DNP の世界最高記録 7.44 秒を勝ち抜くことはできませんでした。実際の車のサイズにスケールアップした場合、DeepRacero は約 100 mph に相当します。 sola@DNP […]

Read More
週間AWS

週刊AWS – 2019/6/17週

みなさん、こんにちは。AWSソリューションアーキテクトの下佐粉(しもさこ)です。 週刊AWS 第6回をお送りします。このシリーズでは、毎日のようにリリースされるAWSの新機能や新サービスを一週間単位でコンパクトに紹介しています。毎週火曜か水曜ぐらいを目処に更新をしています(と言いながら月曜に出たりするのですが)。 今週は27日(木)にAWS Summit Osaka 2019がグランフロント大阪で開催されますね。すでに申し込み受付は終了してしまっていますが、基調講演を始め一部の技術セッション等はライブストリーミングされますので、ぜひご覧ください。 では先週のアップデートを見ていきましょう。

Read More

Amazon SageMaker の体験ハンズオン動画とQAを公開しました

先日 (2019/5/17) 開催しました 「Amazon SageMaker 機械学習エンジニア向け体験ハンズオン」の動画および資料を公開しました。当日、参加者の皆様から多数頂いた QA についても掲載しています。 Amazon SageMaker は、データサイエンティストやエンジニアが効率よく機械学習を進めるために、 AWS が提供するマネージドサービスです。この動画はSageMakerの基本的な使い方を体験できる1時間のハンズオン動画となっており、動画を見ながら実際に手を動かすことで、SageMakerの利用法を効率よく理解することができます。これからSageMakerを利用して機械学習に取り組む際にはAWS Black Belt オンラインセミナーと合わせて是非ご覧下さい。 【ハンズオンの概要】 1) ビルトインアルゴリズムの利用 ・Random Cut Forest を利用した異常検知 ・XGBoost を利用した画像認識(紹介のみ) 2) Deep Learning フレームワークの利用 ・Chainer を利用した画像認識          ※ 動画の一例 視聴はこちらから >> ※ リンク先でフォームに登録いただきますと、各コンテンツにアクセス可能となります。   当日、参加者の皆様から頂いた QA を以下に掲載します。 Q. SageMakerと他のMachine Learningサービスの区別は?マネージドサービスの中の機械学習サービスの分別とか、適用範囲を教えて頂けませんか A. 機械学習に関連するAWSサービスは、インフラストラクチャ、MLサービス、AIサービスという3つのカテゴリに大きく分けられます。 1. 機械学習を支えるインフラストラクチャには、GPU/FPGA/大量のCPUを搭載したEC2やAWS IoT Greengrass、Amazon Elastic Inferenceなどが該当します。 […]

Read More

[AWS Black Belt Online Seminar] Dive deep into AWS Chalice 資料及び QA 公開

先日 (2019/6/19) 開催しました AWS Black Belt Online Seminar「Dive deep into AWS Chalice」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 発表内容に関しまして、該当箇所 に以下訂正がございましたので、併せて修正させていただきます。 訂正内容: – 誤: バイト型ではなくて文字列型 – 正: バイト型ではなくて dict 型 20190619 AWS Black Belt Online Seminar Dive Deep into AWS Chalice from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. ChaliceはFlaskに似ているように感じましたが、関係がありますか? A. Flask や Bottle のような他のフレームワークのようにデコレータベースでのルーティング定義を行うという慣例に倣っていますが、ライブラリとしての依存関係はありません。 GitHub での FAQ にもう少し詳しい回答があります。こちらも併せてご確認ください。 Q. cloud9環境を作成し、virtualenvにてpython3環境を作成し、インストール/deployを試しました。エラーが出ているのですが、対処方法をご教授いただけないでしょうか。 A. deploy サブコマンドを実行するためには、お手元の環境で認証情報が正しく設定されている必要があります。 aws configure […]

Read More

パイオニアが車載カメラ画像の認識でAmazon SageMaker Neo を利用

Pioneer Corp は、デジタルエンターテインメント製品を専門とする日本のグローバル企業です。パイオニア は、カーナビゲーションシステムを通じてドライバーが路面状況や交通状況を把握することをサポートしたいと考えており、ドライバーのナビゲーションをサポートするリアルタイムの画像共有サービスを開発しています。このサービスでは車載カメラから集められた画像の分析を行っており、サービス利用者は路面状況や混雑状況などを把握することができます。  これらの画像は公道上で撮られるものであるため、画像共有時には人の顔や車のナンバープレートを高精度で認識し、マスクしてプライバシーを保護する必要があります。 パイオニア は、Amazon SageMaker Neo を使用して画像共有サービスを構築しています。Amazon SageMaker は完全マネージド型サービスで、これにより開発者ははるかに少ない労力とコストで機械学習モデルを構築、トレーニング、およびデプロイすることができます。Amazon SageMaker Neo は、開発者が一度機械学習モデルをトレーニングすれば、クラウドやエッジデバイス上で推論を実行することのできるサービスです。Amazon SageMaker Neo は、精度を損なうことなく、10 分の 1 以下のラインタイムのメモリフットプリント、最大 2 倍の速度で実行するようにモデルを最適化します。 最初に、MXNet、TensorFlow、PyTorch や XGBoost を使って構築され、Amazon SageMaker を使ってトレーニングした ML モデルを用意します。次に、M4/M5/C4/C5 インスタンスやエッジデバイスなどのターゲットハードウェアプラットフォームを選択します。Amazon SageMaker Neo はワンクリックで、トレーニング済みモデルを実行できるようにコンパイルします。 コンパイラはニューラルネットワークを使用して、特定のパフォーマンス最適化をすべて検出して適用し、ターゲットハードウェアプラットフォーム上でモデルを最も効率的に実行できるようにします。最適化されたモデルをデプロイして、クラウドまたはエッジデバイス上で推論を実行できます。 ローンチ時、Amazon SageMaker Neo は次の 4 つの AWS リージョンで利用できました。米国東部 (バージニア北部)、米国西部 (オレゴン)、欧州 (アイルランド)、アジアパシフィック (ソウル) です。2019 年 5 月から、SageMaker Neo は日本のアジアパシフィック (東京) […]

Read More

事例から学ぶAWS Educateの授業での活用法

AWS Educateは14歳以上の学生がクラウドについて学習するためのオンライン教材と実習のためのAWS利用クレジットを提供する無償のプログラムです。 AWS Educateを活用し、世界中で数十万人の学生がクラウド技術を学んでいます。学生が自習するだけではなく授業やハッカソンなどのイベントでもAWS Educateが活用されています。 具体的にAWS Educateを使った授業を行うためにどのような準備をすればよいのか、一例をご紹介したいと思います。 まず授業を行うには大きく分けて二つの方法があります。 【方法1】教員がAWS Educateのメンバーになり教員ポータルの機能を使い学生を招待したり、クラス専用のクレジットを配ったりする(※クラス専用クレジットは機関加盟している教育機関の教員メンバーだけが使える機能です。)。 【方法2】教員ポータルの機能は使わずに独自にクラス運営を行い、AWS Educateが提供する利用クレジットを実習のために使わせる。 どちらでも自由に選んでいただけます。最初にAWS Educateを使った授業をされる場合、後者の教員ポータル機能を使わずに授業を行われている(方法2)場合が日本では多いです。理由はクラス作成リクエストなどの教員ポータル内での作業が発生せず簡単に授業の準備が行えるためです。 教員ポータルのクラス管理機能を使わずに簡単に授業を行う場合の流れをご紹介します。 1.教員が学生にAWS Educateのメンバー登録するようにメールで申し込みフォームのURLを案内する。学生の申し込みフォーム:https://www.awseducate.com/registration#INFO-Student 2.学生は各自でWebの申し込みフォーム(リンク)に必要事項を入力し、申し込みを行う。(原則として学校から提供されるメールアドレスでのお申し込みが必要です。学校から提供されたメールアドレスが無い場合は他の方法がありますので後述します。) 3.申し込んだ学生に申し込みに使ったメールアドレス宛に確認メールが届くので本文内の確認リンクをクリックする。確認が行われないと審査に進めず申し込みが承認されないままになります。 4.メールアドレス確認後、申込内容に不備が無ければ翌日中には審査が完了し、学生にWelcomeメールが届く。 5.学生はWelcomeメール内のリンクよりパスワード設定を行い、ポータルにログインする。 6.初回ログイン後、初期画面右に表示されているセクション内でスターターアカウントを使うかご自身のAWSアカウントIDを使うかを選択してください。スターターアカウントはクレジットカードの登録が不要な学習用コンソールです。(スターターアカウントで使用できるサービスリスト) 以上で実習を行う準備が完了します。 申し込み時の入力画面(6月より新しくなり、入力項目が減り簡単になりました。) 教育機関名:英語表記で。加盟校であれば途中まで入力いただくとリストアップされますので該当の校名を選択してください。 国・地域:日本・Japanを選択してください。 名と姓:ローマ字表記または外国人の方は英語表記で記入してください。 Eメール:学校から提供されているメールアドレスが原則です。無い場合は任意で構いませんが学生証などの証明のデータの提出を後からお願いする連絡が送られます。 卒業、誕生年月:資格確認をしますので正確に入力してください。 プロモーションコード:オプションですので受け取っている場合だけご記入ください。 申し込み時の入力事項の誤りなどが原因で、申し込みの承認が完了するまでに3日程度を要する場合があります。(誕生年月の誤記で14歳未満と判断されてしまう、卒業年月の誤記ですでに卒業したと判断される、メールアドレスの誤記で確認が完了しないままになるといったことが多いです。)余裕を持って授業で実習をされる日の一週間前には学生の方が申し込みを行うよう指示をしてだくことをお勧めします。 なお学校が学生にメールアドレスを提供していない場合は以下の方法があります。教員メンバーが教員ポータルから学生を招待する方法や、必要に応じて提供されるプロモーションコードを発行する方法で学生は申し込みを行うことが可能になります。 実際にAWS Educateのスターターアカウントを使って行われた授業として、岐阜工業高等専門学校専攻科の先端融合開発専攻で行われた「構造解析学特論」をご紹介します。 この授業では先端融合開発専攻の学生がオープンソースのCAEツールである”DEXCS-WinXistr”のシステム環境をクラウド上に起動、操作する方法を専攻科1年(大学3年生に相当)の学生が学習しました。その後その解析環境を使って授業を続けていくことになっています。具体的には、演習用テキストをベースにし、アクティブラーニングとして学生自らが演習を進める形式です。この演習を実現するには、特定の演習室の利用では実現できず、「いつでも・どこでも」解析環境にアクセスできるクラウドの効果が発揮されています。 教員側はオープンソースのソフトウエア環境を学生用の端末すべてに構築する必要がなく、授業の中で学生自身に必要な環境を短時間でクラウド上のリソースに構築させることができました。さらに、クラウド上に環境が存在することで、どこからでも実習環境にアクセスすることが可能となり、自宅からでもクラウド上の高速なコンピューティングリソースを利用して、実習の続きや復習が行えるようになりました。実は以前の授業では、学生各自のPCに解析環境を構築する作業を行なっており、この時には授業時間全体の3割ぐらいが、準備作業に費やされてしまい、本来の目的である構造解析演習が十分できない反省があったそうです。 教材スライドの一例:EC2の説明 ■実際の学生の様子 この授業を履修した学生はAWSスターターアカウントを事前に登録して、最初の授業に出席しました。授業の中ではクラウドコンピューティングについて概要を紹介した後、AWSのマネジメントコンソールからAmazon EC2を立ち上げて、この先の授業で使用するCAE環境を起動しました。学生は全員、AWSの操作ははじめてでしたが、30分ほどの簡単な操作レクチャーで、全員がクラウド上に授業用の環境を起動できました。(下は学生がクラウド上に構築したCAE環境のデスクトップ画面です。) こちらは授業の様子です。クラウドに関する部分の講師はソリューションアーキテクトの小川が担当しました。 AWS Educateを授業で使用するメリットは以下のようなものが有ります。 クレジットカード不要かつ無償で学生がAWS環境を持つことができる。  AWSの利用枠が決まっている為、予算オーバーや費用請求の心配をせず使える。  学生が共通の演習環境を利用するため、互いの解析技術の情報共有が進む。 (授業で使わせる場合の注意点) スターターアカウントで利用できるリージョンやサービスに制約がある。 クレジットを無駄遣いしないようインスタンスの停止を習慣づける指導が必須。 加盟校になることで所属する学生ならびに教員に付与されるクレジットが増えるので早めに準備を始め加盟校になっておく方がよい。 (教員の柴田先生からのコメント) 学生が自ら学ぶ環境として、自由度の高いクラウドは非常に効果的です。 高性能なインスタンスを用意することで、大規模解析にも展開できます。 解析システムをブラックボックスではなく、学生が仕組みを理解して利用できました。 (参加された学生からのコメント) […]

Read More

学術研究機関でのSINET5を経由したAWSの利用

日本の学術研究機関においてもAWSの利用が進んでいます。それに伴い、最近SINET5関連の質問が増えて参りましたので、ここで少し整理をしてみたいと思います。 そもそもSINET5とは何でしょうか?SINETとは学術情報ネットワーク(Science Information NETwork)で、日本全国の大学、研究機関の学術情報基盤として国立情報学研究所が構築、運用している情報通信ネットワークです。詳しくは構築、運用元である国立情報学研究所のSINETのWebページ(https://www.sinet.ad.jp/)を見ていただければよいと思います。当該ページには参加機関の情報も載っており、既に多くの学術研究機関がSINETに接続されております。インターネットへの接続はSINETの基本サービスである「インターネット接続(IPv4/IPv6 Dual)」を利用し、SINETを経由して行っている機関が多数です。 さて本題のSINET5を経由したAWSの利用ですが、実は次の2つの形態があります。 学術教育機関内から普通にAWSを利用する SINETクラウド接続サービスを利用する どちらの場合も通常SINET網からパケットが外に出て行くことなくAWS網内に到達します。 多くの機関では、最初の方で触れたSINETの基本サービスである「インターネット接続(IPv4/IPv6 Dual)」にてインターネットへと接続していますので、インターネットへ出て行くパケットは図1の(1)の経路を通り、インターネットへ抜けていきます。この状態でAWSを使うとどうなるでしょうか?実はAWSはSINETとIX(Internet Exchange)にてピアリングをしています。PeeringDBなどで確認いただけると思いますが、SINETとAWSが複数のIXで100Gbps以上でピアリングしております。つまり、普通に機関内からAWSにアクセスすると図1の(2)の経路のように、SINETの出口でAWS網内に入る形となり、いわゆる一般的なインターネットに出て行くことなく通信が可能です。何か手続き等は必要ありませんので、普通にAWSを使うだけです。学内、SINET網内は他のパケットと混在する形になりますので、必要に応じて通信の暗号化をしていただくことをお勧めしています。 さて、次にSINETクラウド接続サービスを利用した場合について説明します。このクラウド接続サービスは簡単に言うとSINET接続拠点間に論理的に分離されたVLANを提供するものです。これはSINETのL2VPNのサービスを利用したものとなり、L2レベルで分離したネットワークを利用可能ですが、AWSを利用する場合には、AWS側と機関側の間でルーティング情報の交換の必要があるため、機関側にBGPルータが必要となります(図1の(3))。本ブログ執筆時(2019年6月時点)では、SINET5とAWS間を結ぶ物理回線費用はAWS側が負担しており既に物理回線は開通済みで、60を超える機関でご利用頂いております。AWS側から見てデータoutとなるデータ転送費は利用者に負担して頂く必要がありますが、インターネット経由と比べDirect Connect経由となるため転送費が抑えられるメリットがあります。利用にはSINETの接続拠点間の設定と、AWSアカウントへDirect Connectの仮想インタフェースを割り当てる必要がありますので、SINET側、AWS側それぞれに申請が必要となります。ブログ執筆時点では電子メールベースで学術研究機関から申請する形となります。詳しくはSINETのWebページから「クラウド接続」のページをお読みください。本ブログ執筆時点では、SINETクラウド接続サービス用に10Gbpsの回線複数本でSINET5-AWS間を接続しておりますが、SINET側接続部にて単一障害点が発生する可能性があり、インターネットVPNでの経路バックアップを推奨しています。インターネットVPNと呼んではいますが、先に説明をしましたように、実際には図1の(2)の経路を通ることになりますので、SINET網内出口からAWS網内へ入る形となります。 最後に、どちらの形態を選ぶかですが、AWSを利用する目的により個々で異なりますので、一概に語ることはできません。目安となる点をお伝えしておきたいと思います。 通常の利用をお勧めする場合 とにかく高速(数Gbps超)にデータをAWSに転送し続けたい 小さく始めたい。研究室単位で始めたい BGPルータを用意することができない 研究データ管理基盤(GakuNin RDM)のストレージ先 データバックアップ先としての利用 パブリックエンドポイントを提供するサービスの利用(Amazon S3, Amazon Workspaces等) クラウド接続サービスをお勧めする場合 定常的に大量のダウンロードが発生する 機関として1つのアカウントに集約済み 機密性の高いデータの転送(機関にて利用する通信経路の規約等がある場合) AWSへのデータ転送は追加費用が必要ありませんので、データoutの方向についてデータ量がどれくらいなのか?や、BGPルータの導入維持費とデータ転送・インターネットVPNの費用との比較などもどちらの形態にするかの検討する材料となるでしょう。 — パブリックセクター ソリューションアーキテクト 櫻田 図1 SINET5とAWSの接続

Read More

AWS DeepRacer ご利用後のリソース削除方法について

先日 2019年6月12日~14日に開催されたAWS Summit Tokyo 2019 では AWS DeepRacer リーグが行われました。AWS DeepRacer のご利用の際は、ご利用後に使わないリソースを適宜削除し、不要な課金を防いで利用しましょう。 AWS DeepRacer シミュレータのアーキテクチャ この図のように、AWS DeepRacer を立ち上げると、VPC 内に AWS DeepRacer の学習・推論評価用途 SageMaker, RoboMaker、描画、学習データの保存・データ転送に S3, Kinesis Video Stream, NAT Gateway が自動的に起動し、それぞれのサービスに対して課金が発生します。下記では、AWS DeepRacer ご利用後のリソース削除方法を紹介します。 注)本ブログは2019年6月15日時点の仕様を基にしており、今後変更の可能性がございます。   継続的な課金を停止するのに必要なこと リソースの自動削除 一度サービスを立ち上げると、学習・評価が終了しても、一部のサービスが起動したままの状態になっています。継続的な課金を防ぐために、下記の手順で関連リソースを削除することで、継続的な課金が防げます。 AWS DeepRacer → Reinforcement learning → Create model を選択 Account resources で、4つのリソースの左チェック印が緑色の場合、関連リソースが利用可能な状態となっています。 不要な課金を防ぐためには、Reset resources をクリックすれば、S3以外の関連リソースは削除されます。   S3 バケットの削除方法 また、S3バケットの削除は別途行う必要があります。S3 […]

Read More

Amazon SageMaker Neo が、エッジデバイスでの物体検出と画像の分類を支援

野村総合研究所 (NRI) は、日本におけるシステムソリューションおよびコンサルティングサービスの世界的大手プロバイダーであり、APN プレミアムコンサルティングパートナーです。NRI では、顧客が在庫と生産計画を最適化し、コストを削減し、より良いカスタマーエクスペリエンスを創造するのを支援する要求がますます高まっています。こうした要求に応えるために、同社は、顧客のより良い事業運営を支援するために、新しいデータソース、特に動画や写真に目を向けています。 例えば、NRIでは日本のコンビニエンスストアの店内カメラ画像を利用した在庫管理のサポートや、日本の空港で空港利用者の導線パターンを分析し、空港内の利用者の導線の最適化のサポートなど実施もしくは予定しています。 こうしたシナリオでは、物体を検出する機械学習モデルを作成する必要がありました。商品 (飲み物、軽食、紙製品など) や、小売店の店舗を出る人々、空港の通勤者を検出する必要がありました。 NRI は、こうした目標を達成するために Acer と AWS に着目しました。Acer aiSage は、コンピュータビジョンと AI を使用してリアルタイムの洞察を提供するエッジコンピューティングデバイスです。 Acer aiSage は、物体を検出して画像を一度分類するとどこでも実行できるモデルをトレーニングするサービスである Amazon SageMaker Neo、およびローカルコンピューティング、メッセージング、データキャッシング、同期、および機械学習の推論機能をエッジデバイスに提供するサービスである AWS IoT Greengrass を利用します。 NRI の執行役員/DX生産革新本部長である 大元 成和 氏は、「当社の顧客であるヤマハ発動機は、AIによる店舗解析、スマートストア機能の評価を検討中です」と述べています。「こうしたソリューションには、複数のコンピュータビジョンモデルを構築する必要があります。MXNet GluonCV を使用してモデルを構築後、Amazon SageMaker Neo を使用してモデルをコンパイルし、AWS IoT Greengrass を利用して Acer の aiSage にモデルをデプロイします。  Amazon SageMaker Neo は ML フレームワークを抽象化することでモデルのフットプリントを削減し、エッジデバイスでより高速に動作するように最適化できます。当社では、AI ソリューションのエッジ領域までを含めてフルに AWS の技術スタックを活用しています。」 以下は、NRI で物体検出と画像分類が機能している仕組みです。 […]

Read More