Author: Localization Team


AWS Machine Learning コンピテンシーパートナーをご紹介

クラウドに駆られたイノベーションの中でも、特に人工知能 (AI) と Machine Learning (ML) はおそらく最もエキサイティングなものでしょう。たとえば IDC は、2020 年までに AI システムの市場価値が 460 億 USD になるだろうと予測しています。これは 2017 年の 125 億ドル (USD) からの上昇、そして複合年間成長率 (CAGR) は 54.4% の成長となります。さらに、AngelList によると AI に焦点を絞っているスタートアップ企業は 3000 社を超えているといいます。

ユーザーを詐欺から守ったり、簡単にエンターテイメントを見つけられるようにしたり、カスタマーエクスペリエンスの改善、産業機器が必要とするメンテナンスの時期を予測するなど、AI/ML は想像できる限りのあらゆるユースケースで応用されています。何よりも重要なのは、コンピュータビジョンアルゴリズムが放射線による診断を自動化したり、より正確に患者の健康状態を予測するために臨床上のデータを使用、そして精密医療が各患者の治療を個人別に調整するなど、医療業界においてこうした技術が応用されていることです。ML が次の救命薬を発見する可能性さえあるのです。

AI の成長予測は大胆ではありますが、研究といった枠を超えて実際のビジネス価値を生み出す方向に動いていることに懐疑的な声もあります。とは言っても、数多くのユーザーが AWS に加え、すでに AI/ML を大規模に適用し、あらゆる部分で様々な問題を解決しています。

(more…)

Amazon EMR での Apache MXNet および Apache Spark を使用した分散推論

このブログでは、Amazon EMRApache MXNet (incubating) および Apache Spark を使用して大規模なデータセットで分散オフライン推論を実行する方法を説明します。オフライン推論がどのように役立つのか、課題となる理由、および、Amazon EMR で MXNet と Spark を活用して課題を解決する方法を説明します。

大規模データセットでの分散推論 – ニーズと課題

ディープラーニングモデルのトレーニングの後、新しいデータ上で推論を実行して活用します。推論は、不正検出など、その場でのフィードバックが必要なタスクでリアルタイムに実行できます。これは通常オンライン推論と呼ばれています。または、事前計算が役立つ場合は、推論をオフラインで実行できます。オフライン推論のよくあるユースケースは、ユーザーの製品スコアのソートやランク付けを必要とする推奨システムなど、レイテンシー要件が低いサービスです。これらのケースでは、推奨はオフライン推論を使用して事前計算されます。結果は低レイテンシーストレージに保存され、必要に応じて、推奨がストレージから引き出されます。オフライン推論の別のユースケースは、最新モデルから生成された予測による履歴データのバックフィリングです。仮の例として、新聞でこの設定を使用して、人物識別モデルから予測された人物の名前でアーカイブされた写真をバックフィルできます。また、分散推論を使用して、歴史的なデータで新しいモデルをテストし、本番稼働用にデプロイする前により良い結果を生み出すかどうかを確認できます。

通常、分散推論は数百万以上のレコードがあるような大規模なデータセットで実行されます。妥当な時間内にそのような巨大なデータセットを処理するには、ディープラーニングの機能をセットアップされたマシンクラスターが必要です。分散クラスターでは、データ分割、バッチ処理、タスクの並列化を使用した高いスループット処理ができます。ただし、ディープラーニングデータ処理クラスターをセットアップするには課題もあります。

  • クラスターのセットアップと管理: ノードのセットアップとモニタリング、高い可用性の維持、ソフトウェアパッケージのデプロイと設定など。
  • リソースとジョブの管理: ジョブのスケジューリングと追跡、データ分割とジョブの障害への対処。
  • ディープラーニングのセットアップ: ディープラーニングタスクのデプロイ、設定、および実行。

次に、このブログの投稿では、Amazon EMR で MXNet および Spark を使用してこれらの課題に対処する方法を示します。
(more…)

Amazon Polly を使用して音声電話で AWS アカウントのセキュリティイベントに関するアラートを受信

AWS アカウントのセキュリティは極めて重要です。AWS アカウントのセキュリティに関するイベントの最新情報を把握しておくことが大切です。メールや SMS など、様々な方法で通知を受け取ることができますが、今回のブログでは Amazon Polly といった Amazon AI サービスや、Twilio のようなクラウドベースによるコミュニケーションプラットフォームを使用して音声アラートを受信する方法をご紹介します。

Amazon Polly はテキストを肉声のように読み上げるサービスで、スピーチが可能なアプリケーションの作成を可能にします。これは音声対応製品の全く新しいカテゴリです。Polly はディープラーニング技術を使用して、肉声のような音声を合成します。様々な言語を色々な音声で提供します。

移動が多いエンタープライズ IT セキュリティの社員にとって、AWS アカウントのセキュリティイベントのアラートを音声電話で聞くことができるのは実に便利です。セキュリティイベントは、その重要度や優先度を元にカスタムで定義できます。重要度や優先度のレベルが高いセキュリティイベントに関するアラートを、電話を介してシステムに送ることができます。

音声電話によるアラートを利用する上で、私は音声、ビデオ、メッセージングといった API 機能を提供する Twilio を使用しています。Twilio のプラットフォームを使用し、AWS アカウントでセキュリティイベントが発生した時に音声電話を掛ける API 呼び出しを発行するようにプログラムすることができます。Amazon Polly はテキストのアラートを音声メッセージに変換して電話で再生することができます。

ソリューションの概要

このソリューションは次のアーキテクチャ図で示した 2 つのシステムから構成されています。

  • イベント検出と通知システム
  • テキストを音声に変換するシステム

イベント検出と通知システムは、テキストから音声に変換するシステムから分離されます。他のユーザーが定義したイベント検出において後者が一般的なためです。このブログでは、テキストから音声に変換するシステムを取り上げ、過去のブログで紹介したイベント検出と通知システムをソリューションの例として使用します。

(more…)

AWS Machine Learning Research Awards の発表

AWS Machine Learning Research Awards の発表です。この新しいプログラムでは、Machine Learning (ML) の斬新な研究に取り組む大学の学部、教授、博士課程の学生、および博士号取得後の研究者に資金援助を行います。このプログラムに基づいて、現在、カーネギーメロン大学、カリフォルニア工科大学 (Caltech)、ハーバードメディカルスクール、ワシントン大学、およびカリフォルニア大学バークレー校との提携を進めています。

AWS クラウドのスケールおよびパフォーマンスを、Apache MXNet、Tensorflow、Caffe2、Microsoft Cognitive Toolkit (CNTK)、Pytorch などの強力なフレームワークと組み合わせると、Machine Learning の研究が躍進する空前の機会となります。このプログラムの目標は、多種多様な Machine Learning アプリケーションおよびフォーカスエリアにわたって、研究者による革新的なアルゴリズム、文献出版、ソースコードの開発を促進することにあります。受賞者は、資金提供を受けるだけでなく、Amazon のサイエンティストやエンジニアからコンピューティングリソース、トレーニング、メンターシップを受け、さらにシアトルの AWS 本部で開催されるリサーチセミナーに参加する機会が与えられます。

AWS Machine Learning Research Awards プログラムの特徴

このプログラムで研究者が得られる利点は以下のとおりです。

  1. 資金提供 – 学部およびプロジェクトレベルで配布され、学術機関に対するワンタイムの無制限のギフトとして設定されます。
  2. AWS クレジット – 賞には AWS クレジットが含まれ、このクレジットを EC2 P3 インスタンスタイプや Deep Learning AMI などの任意のサービスに使用できます。
  3. トレーニング – AWS で Machine Learning を実行する方法のチュートリアルや、Amazon サイエンティストやエンジニアによるハンズオンセッションなど、トレーニングリソースを大学に提供します。
  4. リサーチセミナー – 受賞者はシアトルの AWS 本部で開催されるリサーチセミナーに招待され、Amazon サイエンティストと研究内容について話し合い、交流することができます。
  5. 強力な ML ツール – 研究者は強力なインフラストラクチャおよびツールを使用して各自の研究を促進できます。たとえば、EC2 P3 インスタンスタイプは Machine Learning 用に最適化されており、NVIDIA Tesla V100 GPU の最先端のパフォーマンスを活用することで、モデルトレーニングの所要時間を大幅に短縮できます。研究者が迅速に開始できるように、Deep Learning AMI には多くの代表的なディープラーニングフレームワークがプロビジョンされています。各フレームワークには、適切なインストール、設定、およびモデル精度を示すための簡単に開始できるチュートリアルが備わっています。

学部研究者からの事前フィードバック

カーネギーメロン大学

「今日 AWS クラウドを通じて学生がすぐに使える機能は充実しており、Apache MXNet などの高度なフレームワークツールを使えることは素晴らしいことです」と Andrew Moore 氏 (カーネギーメロン大学コンピュータサイエンス学部長)。「次世代の Machine Learning 利用者や研究者に、これらのツールを最大限に活用する機会を与えられたら素晴らしいことです。それがこの資金援助プログラムを通じて、他では見られない方法で達成されます。開始が楽しみです。」

カリフォルニア工科大学

「Caltech では、Machine Learning などの最新のイノベーションに学生が触れて学ぶ機会を創り出すために多大な投資を行っています」と Adam Wierman 氏 (カリフォルニア工科大学 Computing and Mathematical Sciences 教授兼学部長)。「AWS とのパートナーシップにより、これらの投資を継続できます。今後、多くの飛躍的な進歩につながるものと信じています。」

ハーバードメディカルスクール

「新しい AWS ML Research Awards プログラムには期待しています。世界の何千万という人々に影響する神経学的発話障害の分野で新しい AI 研究に AWS クレジットを利用する機会があることも魅力です」と Kristina Simonyan 氏 (ハーバードメディカルスクールのティーチングホスピタル、マサチューセッツ眼科耳科病院の喉頭学研究所長)。「今日、これらの障害の大半の診断精度は信頼性が低く、一般的に医学者間のコンセンサスを得るのが困難な状況です。神経学的発話障害の ML ベースの客観的診断が開発されれば、医学者の誤診や不十分な診断の率を大幅に下げ、患者の生活の質を向上させ、これらの障害の遅延治療に伴うコスト全体を大きく削減できます。AWS クラウドの計算能力は、このような研究を実現する上で、空前の威力を発揮するでしょう。」

ワシントン大学

「UW のリサーチの最前線で仕事をすることには、とても大きな刺激があります。脳の機能的ネットワークの研究では、ディープラーニングが非線形力学のモデリングの重要なツールです」と Emily Fox 氏 (ワシントン大学、Paul G. Allen School of Computer Science & Engineering、Machine Learning 担当 Amazon 教授)。「新しい AWS ML Research Awards プログラムに期待しています。これにより、ワシントン大学は AWS クラウドと Apache MXNet を組み合わせることで、Machine Learning の先端技術と脳の理解を大きく促進させることができます。」

カリフォルニア大学バークレー校

「AWS を Machine Learning に使うことの最大の魅力は、AWS で一貫して定期的に増強される計算能力にあります」と Ben Recht 氏 (カリフォルニア大学バークレー校、Department of Electrical Engineering and Computer Science、准教授)。「AWS で新しいサービス、機能、またはインスタンスタイプが提供開始されるたびに、大学院生達は各自の研究プロジェクトの合理化に利用できないかとすぐに検討を始めます。新しい GPU アーキテクチャを備えた超高速の P3 インスタンスでモデルをトレーニングすることに特に期待しています。反復処理を高速化して、より複雑なモデルをトレーニングできると思います。AWS ML Research Awards プログラムとのコラボレーションを心待ちにしています。」

詳細

AWS ML Research Awards の詳細については、申し込み方法なども含めて、https://aws.amazon.com/aws-ml-research-awards を参照してください。


今回のブログの投稿者について

Sebouh Der Kiureghian は AWS Deep Learning のシニアプロダクトマネージャーです。クラウドサービス、補助金交付、AWS サイエンティストとのコラボレーションを通じて学術研究での Machine Learning を促進しています。余暇にはスノーボードを楽しんでいます。

re:Invent での AWS クラウドの舞台裏

AWS re:Invent にご来場の際は、全体の設定と運営がご期待にそうものであるか一度ご確認ください。

運営スタッフは、開催地の選択から、セッションの計画、発表者の選択、メニューの準備、配色の選択、すべての標識の作成や印刷などに至るまで、何万人という AWS のお客様のために最適な学習環境を創り出すよう努めています。

ただし、通常、お客様の目に触れるのは全体の一部にすぎません。このインフラストラクチャ全体を円滑に機能させるために、外からは見えませんが、舞台裏ではスタッフ、プロセス、プラン、システムが一体となって支えています。

今回は、re:Invent インフラストラクチャにとって極めて重要でありながら、実際は舞台裏となっている部分についてご紹介します。携帯、タブレット、カメラ、ラップトップなどのデバイスに適切な Wi-Fi 機能を提供するだけでなく、基調講演のライブストリーミングから WorkSpaces を使用したハンズオンラボに至るまで、多数のイベントを相互に連携させ、インターネットに接続する必要があります。ラスベガス・ストリップの分散したホテルで開催されるイベントでは、信頼性の高い、低レイテンシーの接続が不可欠です。

CenturyLink / Level3 の尽力に感謝
このような運営を実現するために、長年にわたり、Level3 の素晴らしいスタッフの協力を得ています。最近 Level3 は CenturyLink に吸収され、re:Invent のオフィシャルネットワークスポンサーとして、re:Invent 会場全体をつなげるネットワーク光ファイバー、回路、サービスを担当しています。

彼らは、re:Invent のためにストリップの地下に 2 マイルに及ぶダークファイバーを敷設し、2 つの離れた AWS リージョンの複数のアベイラビリティーゾーンにルーティングさせています。Sands Expo Center には冗長な 10 ギガビット接続が装備され、その他の開催地 (Aria、MGM、Mirage、および Wynn) はそれぞれ 2〜10 ギガビットにプロビジョニングされているため、ストリップの半分以上が Direct Connect に対応しています。ある施設の IT マネージャーによると、これはラスベガスでこれまでに設定された一時ハイブリッドネットワークとして最大級とのことです。

Wi-Fi については、showNets が同じネットワークに接続され、お客様のデバイスは Direct Connect アクセスポイントと直接通信します (素晴らしい手配です)。

全体の構成の概略図は次のとおりです。

CenturyLink チームは、re:Invent 会場に臨席し、開催期間中、ライブネットワーク統計情報をツイートします。

この舞台裏と地下の簡単な紹介をお楽しみいただけましたら幸いです。

Jeff;

Amazon ML Solutions Lab の紹介

Amazon ML Solutions Lab が発表されました。この新しいプログラムでは、Amazon 全体の Machine Learning エキスパートが AWS のお客様と協力して、お客様のビジネスに Machine Learning を役立てる新しい方法を見い出し、Machine Learning 対応の機能、製品、およびプロセスの開発を支援します。

Amazon では、Machine Learning に 20 年を超える投資を続けており、フルフィルメントとロジスティクス、パーソナライズと推奨、予測、不正防止、サプライチェーンの最適化などの分野で革新をもたらしています。Amazon ML Solutions Lab では、Amazon の Machine Learning 関連の製品やサービスの構築に携わった同じ人材を利用できます。Amazon ML Solutions Lab のエンゲージメントでは、Machine Learning の実装プロセス全体をガイドし、教育ワークショップとブートキャンプ、アドバイザリプロフェッショナルサービス、ユーザーのデータを使用したカスタムモデル構築の実践ヘルプを提供します。

Amazon ML Solutions Lab での Machine Learning

Amazon ML Solutions Lab は次の 3 つの方法で利用できます。

  1. ブレーンストーミングと問題の明確化 – Amazon の Machine Learning エキスパートは、お客様と協力して潜在的な機会を見い出し、Machine Learning を使用して課題を洗い出して成功への明確な道筋を定義するお手伝いをします。
  2. カスタムモデルの作成 – Amazon の Machine Learning サイエンティストはお客様独自のデータを使用してカスタムモデルを構築し、本番稼働環境にデプロイする準備を整えます。各サイエンティストは、フルフィルメントとロジスティクス、パーソナライズと推奨、不正防止、異常検出、トランザクションリスク管理、セキュリティ、予測、キャパシティプランニング、テキストおよびモバイル分析、サプライチェーンの最適化など、多数の分野における問題解決に実績があります。
  3. トレーニング – Amazon ML Solutions Lab を使うことで、アイデアを迅速にプロトタイプ化できるだけでなく、そのプロセスを通じて知識や経験を伝え、教育を施すことができます。これにより、開発者は Machine Learning に関する知識、新しく得た経験、意欲を組織全体に広げ、Machine Learning の良き慣行と卓越した研究拠点を確立できます。

エンゲージメントモデルの範囲

Amazon ML Solutions Lab は、お客様と連携してお客様のニーズに合わせてエンゲージメントモデルをカスタマイズします。たとえば、シアトルの AWS 本部の専用施設でお客様をホストしたり、お客様の作業現場に Machine Learning モデルの開発者を派遣したりします。さらに、ソリューションの内容に応じて、エンゲージメントの所要期間を数週間〜数か月に設定できます。Machine Learning 用のデータの準備がすでに整っている場合、AWS は Amazon ML Solutions Lab Express を提供します。この 4 週間の集中プログラムは、Amazon がホストする 1 週間のブートキャンプと、Amazon Machine Learning エクスパートとの 3 週間の集中的な問題解決および Machine Learning モデル構築で構成されます。

Amazon ML Solutions Lab は実用モデルを提供します。また、その過程でワークショップ、チュートリアル、ブートキャンプという形で大量のトレーニングと教育が施されるため、開発者はこれらを通じて習得した内容を組織のどこにでも応用できます。

始める準備はできましたか?

開始するには、AWS アカウントマネージャーにご連絡ください。AWS アカウントマネージャーがいない場合は、セールス部門にお問い合わせください。プログラムの詳細については、https://aws.amazon.com/ml-solutions-lab を参照してください。


今回のブログの投稿者について

Vinayak Agarwal は AWS Deep Learning のシニアプロダクトマネージャーです。彼は、世界中の AWS のお客様がディープラーニングを簡単に習得して利用できるよう、特に Amazon ML Solutions Lab プログラムの普及に尽くしています。プライベートな時間には、奉仕活動、テニスの練習と観戦、哲学および社会心理学関連の読書を楽しんでいます。

新機能 – インタラクティブな AWS コストエクスプローラー API

当社は、お客様による AWS のコストの追跡、割り当て、管理を可能にする AWS コストエクスプローラーの提供を、数年前に開始しました。この提供開始や、それ以降に追加された機能に対する反応は、非常に好評です。ただし、Jeff Bezos が語っているように、お客様は「心の底では必ず何かしらの不満を抱えています」。

私は毎日これを直接感じています。当社が新機能の提供を開始すると、それによりお客様は触発されてさらに多くを求めるようになります。たとえば、多くのお客様が揃って自社 IT インフラストラクチャの大部分を AWS クラウドに移行する中で、コストエクスプローラーにフィードする raw データに関して多くのリクエストが寄せられてきました。こうしたお客様は、AWS のコストをプログラムで調べ、アプリケーション別、部門コスト別に帳票や経理システムを更新し、支出を要約した概要ダッシュボードを構築したいと考えています。こうしたお客様の一部では、コストエクスプローラーで提供されるグラフやレポートからのデータの抽出で、問題が発生していたのです。

新しいコストエクスプローラー API
本日より、コストエクスプローラーにフィードする基盤データをプログラムで利用可能になります。新しいコストエクスプローラー API により、前述したすべてを実行できる一連の関数が提供されます。複数のディメンション (サービス、関連アカウント、タグ、アベイラビリティーゾーンなど) にわたりフィルタリングおよびグループ化されたコストと使用量を、日別または月別に集計して取得できます。これにより、簡単に使用を開始し (毎月の合計コスト)、必要な詳細レベル (本番稼働用とタグ付けされた DynamoDB テーブルへの書き込み) までリクエストを絞り込むことができ、応答は数秒で得られます。

そのオペレーションは次のとおりです。

GetCostAndUsage – フィルタリングとグループ化により、1 つのアカウントまたはすべてのアカウント (組織のマスターアカウントはすべてのメンバーアカウントにアクセスできる) のコストおよび使用量メトリクスを取得します。

GetDimensionValues – 指定された期間における指定されたフィルタに対して利用できるフィルタ値を取得します。

GetTags – 指定された期間に利用できるタグキーおよびタグ値を取得します。

GetReservationUtilization – 指定された期間における EC2 リザーブドインスタンスの使用率を、毎日または毎月の詳細度に加えてフィルタリングとグループ化を使って取得します。

これらの関数と、それによって返されるデータにより、お客様のビジネスについてより良い洞察が得られる、本当に興味深いことが可能になると私は考えています。たとえば、個別のマーケティングキャンペーンまたは開発プロジェクトをサポートするために使用するリソースにタグを付け、コストを詳細に調べて、ビジネス上の価値を測定することができます。サイバーマンデイブラックフライデイなど、重要な出来事に関するインフラストラクチャへの支出を、1 セント単位まで知ることが可能になります。

主要事項
この API の利用方法を検討する際は、以下のことを念頭に置いてください。

グループ化 – コストエクスプローラーウェブアプリケーションで提供されるグループ化は 1 レベルですが、API では 2 レベルが提供されます。たとえば、まずサービス別にコストまたは RI 使用率をグループ化してから、リージョン別にグループ化できます。

ページ分割 – 関数は大量のデータを返します。また、追加のデータが利用可能な場合は、 nextPageToken を含めて、ページ分割の AWS 全体のモデルに従います。トークンを指定して同じ関数をもう一度呼び出して、先に進みます。

リージョン – サービスエンドポイントは米国東部 (バージニア北部) リージョンにあり、すべてのパブリック AWS リージョンの使用量データを返します。

料金 – API コールごとに 0.01 USD がかかります。これをわかりやすくするため、この API を使用してダッシュボードを構築し、ユーザーからの 1 か月あたりのヒット数が 1000 であるとします。このダッシュボードの運用コストは 10 USD 程度です。これは独自のシステムをセットアップし、データを抽出、取り込み、インタラクティブクエリに対応するよりもはるかに少ないコストで済みます。

コストエクスプローラー API は今すぐ使い始めることができます。詳細については、コストエクスプローラーの API についてお読みください。

Jeff;

Amazon EMR で GPU インスタンスタイプを持つディープラーニングフレームワークを実行

AWS は Apache MXNetAmazon EMR での新世代 GPU インスタンスタイプのサポートについて発表いたします。これにより、機械学習ワークフローおよびビッグデータ処理とともに分散ディープニューラルネットワークの実行が可能になります。さらに、GPU ハードウェアにより、EMR クラスター上でカスタムディープラーニングライブラリをインストールおよび実行できます。ディープラーニングフレームワークの使用を通じて、自動運転車から人工知能 (AI)、個人化されたヘルスケア、コンピュータビジョンまで、さまざまなユースケースに対応する新しいツールキットを入手できます。

Amazon EMR は、Apache Spark、Apache Hive、PrestoApache HBase、Apache Flink などのフレームワークとともに、Amazon S3 で大量のデータを簡単かつ迅速に、コスト効率の高い方法で処理できるマネージド型 Hadoop フレームワークを提供します。ログの分析、ウェブインデックス作成、データ変換 (ETL)、財務分析、科学シミュレーション、リアルタイム処理、バイオインフォマティクスを含む、数多くのビッグデータのユースケースに低コストで対応し、確実かつ安全に処理できます。

EMR には、スケーラブルな機械学習ワークロードを実行可能にしてきた長い歴史があります。2013 年には、Apache Hadoop MapReduce を使用した分散型機械学習ワークロードの実行を支援するため、Apache Mahout のサポートが追加されました。2014 年には、お客様は Apache Spark を利用して (2015 年に公式サポートを追加)、Spark ML で利用できるさまざまなオープンソース機械学習ライブラリを使用して、スケーラブルな機械学習パイプラインを簡単に構築し始めました。

当社は過去 2 年間に、Jupyter ノートブックの簡単なインストールのための Apache Zeppelin ノートブックのサポート、およびデータサイエンティストが機械学習モデルを簡単かつ迅速に開発、トレーニングし、本番稼働に移行するための Apache Livy のサポートを追加しました。EMR の 1 秒あたりの請求と Amazon EC2 スポットインスタンスを使用した最大 80% のコスト削減により、機械学習パイプラインを大規模に、しかも低コストで簡単に実行できます。 (more…)

自律走行車の構築 パート 4: 自動運転の車で Apache MXNet と行動クローニングを使用

自律走行シリーズ 1 回目のブログでは、Donkey カーの構築と Amazon EC2 インスタンスでパイロットサーバーをデプロイしました。そして、2 回目のブログでは Donkey カーの運転を学び、Donkey カーが自律走行を学びました。3 回目のブログでは AWS IoT を使用して Donkey カーから AWS にテレメトリをストリーミングするプロセスをご紹介しました。

今回のブログでは、カーの運転を有効にするディープラーニングについて詳しく見ることにします。また、畳み込みニューラルネットワーク (CNN) を使用した行動クローニングの概念についても説明します。CNN は「前方には道がありますか、それともトラフィックコーンがありますか?」といったような、カーに対する質問に答えるなど、コンピュータビジョンタスクにおける最先端のモデリング技術として現れたものです。


1) AWS 自律走行車を構築し re:Invent の Robocar Rally でレースに参加
2) 自律走行車の構築 パート 2: 自律走行車の運転
3) 自律走行車の構築 パート 3: 自律走行車の接続
4) 自律走行車の構築 パート 4: 自動運転の車で Apache MXNet と行動クローニングを使用


P2 で Donkey のトレーニングデータをセットアップ

トレーニングの実行方法の詳細については、すでにシリーズ 2 回目のブログで説明しました。主なステップとコマンドを簡単に復習しておきましょう。

  1. Pi からデータを Amazon EC2 インスタンスにコピーするには
    $ rsync -rva --progress -e "ssh -i /path/to/key/DonkeyKP-us-east-1.pem" /home/pi/d2// ec2-user@ec2-your-ip.compute-1.amazonaws.com:~/d2/data/
  2. トレーニングプロセスを開始するには
    $ python ~/d2/manage.py train --model /path/to/myfirstpilot
  3. トレーニング済みのモデルを再び Pi へコピーするには
    $: rsync -rva --progress -e "ssh -i /path/to/key/DonkeyKP-us-east-1.pem" ec2-user@ec2-your-ip.compute-1.amazonaws.com:~/d2/models/ /home/pi/d2/models/

モデルの舞台裏

このセクションでは、モデルが学ぶ内容と独自で運転できる方法について説明します。現在の Donkey の構築には Keras がデフォルトのディープラーニングフレームワークとして使用されています。AWS は Apache MXNet や Gluon、PyTorch など他のフレームワークのサポートを追加する作業に取り組んでいます。このブログでは Apache MXNet を使用して、自動運転を有効にするモデルがどのように動作するのか詳しく見ることにします。以前にも触れましたが、AWS では行動クローニングという技術を使用してカーの自動運転を有効にします。基本的に、このモデルはトラックを運転した時に収集したトレーニングデータをもとに、運転することを学びました。データの大半が「クリーン」であることが大切です。つまり、この目的は意図した道を進むことなので、カーがトラックにいない状態または方向を間違えた場合などのイメージがトレーニングデータに多く含まれていないことが大切です。人がハンドルを握って道からそれないように運転する時と同じで、現状で与えられた状態で方向を定めるモデルを構築します。そうすることで問題を「入力イメージに従って運転するためのステアリング角度は?」といったようにモデリングすることができます。実際の運転状況にはアクセラレーションやトランスミッションギアといったコンポーネントが追加されるので、より複雑になります。まずはシンプルにしておくため、スロットルを一定の割合に設定してカーが運転できるようにすることから始めます。実際にやってみると、トレーニングデータ 25~30% のスロットルが Donkey カーには最適な速度であることが証明されました。

これを行うには畳み込みニューラルネットワーク (CNN) というディープラーニング技術を使用します。CNN はコンピュータビジョン問題において事実上のネットワークとして現れたものです。CNN は各ノードが受容フィールドと呼ばれる小さな枠と関連付けられた畳み込みレイヤーから成り立っています。これによりイメージ内にあるローカルの特徴を抽出することができます。「イメージにあるのは道ですか、それとも人ですか?」といった質問は、先に計算されたこうしたローカルの特徴を使用して、計算することができます。CNN がどのように機能するか説明した詳細情報はこちらをご覧ください。

データセット

このブログでは、トラックを 15 分ほど運転して収集したデータセットを使用します。先に説明したように、カーがトラックにいなかった場合のイメージを破棄してクリーンな状態にしました。Donkey ソフトウェアは「不適切」なイメージを削除するため、ブラウザベースの UI をすでに提供しています。 donkey tubclean <folder containing tubs>) です。これに似たトラックを運転しているカーのイメージのデータセットはこちらで入手できます。

(more…)

Amazon Rekognition がリアルタイム顔認識、イメージ内のテキスト認識のサポート、および機能強化された顔検出を発表

Amazon Rekognition に、3 つの新しい機能として、イメージ内のテキストの検出と認識、数千万の顔からのリアルタイム顔認識、および密集写真からの最大 100 個の顔検出が追加されました。顔の検証と識別に Amazon Rekognition をすでにご利用の場合は、ほとんどのケースで精度が最大 10% 向上します。

イメージ内のテキスト

Amazon Rekognition でイメージ内のオブジェクトや顔を検出しているお客様方から、イメージに埋め込まれたテキストを認識できないかとのご要望があります。たとえば、交通監視カメラで捉えた道路標識や車のナンバープレート、TV 画面のニュースや字幕、携帯に取り込まれた家族写真の図案化された文字などです。本日より、Rekognition の「イメージ内のテキスト」を使用して、イメージからテキストコンテンツを認識して抽出できるようになりました。「イメージ内のテキスト」は、ドキュメントのイメージよりも実際のイメージで特に効果を発揮するように構築されています。多種多様なレイアウト、フォント、スタイルで埋め込まれたほとんどのラテン文字や数字のテキストがサポートされます。また、バナーやポスターなどの背景のオブジェクトに様々な向きで重ねられたテキストもサポートされます。

「ビジュアル駆動型のプラットフォームである Pinterest では、イメージの速度と画質が極めて重要ですが、これらのイメージに付随するテキストも同じように重要です。テキストは、当社の 2 億を超えるアクティブユーザーに実際に Pin するための背景情報を提供します。Amazon Rekognition の『イメージ内のテキスト』を使うことで、大量のイメージに取り込まれたリッチテキストが抽出しやすくなり、Amazon S3 に保存された何百万という Pin のレイテンシーを低く抑えることができます。これからも AWS とのパートナーシップを深め、Pinner に高品質で高速なサービスを提供し、Pinterest のビジネスを成長させていくつもりです。」– Vanja Josifovski、CTO、Pinterest

「プロの写真家が SmugMug を使用して共有したり販売したりする写真に、マラソン大会のゼッケン番号などの数字が含まれていることがあります。Amazon Rekognition の『イメージ内のテキスト』を使用すると、大量のゼッケン番号をプログラムで抽出できるため、これらの大会で写真家が撮った写真をすばやく簡単に共有したり収益化したりできるようになります。」 – Don MacAskill、Co-founder、CEO & Chief Geek at SmugMug

リアルタイムの顔認識

何千万という顔のコレクションに対してリアルタイムの顔検索ができるようになりました。これにより、検索のレイテンシーが以前よりも 5〜10 分の 1 に短縮されると共に、コレクションに保存できる顔の数が 10〜20 倍に増えます。セキュリティと公共安全のアプリケーションでは、今回の更新により、何百万という顔のコレクションから目当ての人物をリアルタイムで識別できます。これは、迅速なレスポンスが要求されるユースケースに役立ちます。

ワシントン郡保安官オフィスは、オレゴン市民からの 911 番緊急通報に対するファーストレスポンダーです。このオフィスでは、全国の市警に対して犯罪防止のサポートも提供しています。昨年から Amazon Rekognition を使い始め、通報された容疑者の識別所要時間を 2〜3 日から数分に短縮し、新しいシステムを使用して最初の容疑者を 1 週間以内に逮捕しました。

「この改善により、現場の警察官はほぼリアルタイムで検索の結果を得られます。必要な情報を取得してすばやく対応できます。現場では、数秒の差が人命救助の分かれ目になることがあります。」– Chris Adzima、上級インフォメーションシステムアナリスト、ワシントン郡保安官オフィス

人混みモードの顔検出

本日より、1 つのイメージに含まれている多数の顔から最大 100 (以前は 15) までを検出、分析、インデックスできるようになりました。この機能強化により、グループ写真、混雑したイベントや公共の場所 (空港やデパートなど) の写真で、すべての顔の人口統計データを正確にキャプチャしてセンチメントを分析できます。

「過去にユーザーが購入した写真や、ユーザーから当社のプラットフォームにアップロードされた写真の膨大なコレクションがあります。これらのコレクションから特定のユーザーの子供の写真を探す場合があり、そのために Amazon Rekognition を利用しています。多くのグループ写真には何十という小さな顔が収められていて、これまでは 1 つ 1 つの顔を正確に検出するために元のイメージをトリミングして分割していました。新しい人混みの顔検出機能を使用すると、特に複雑な前処理をすることなく、一度ですべての顔を簡単に検出できます。」– Shinji Miyazato、Engineering Department SRE Lead、Sen Corporation

顔検出モデルの精度向上

顔検出アルゴリズムの精度も改善しました。これにより、チェックインカウンターや従業員用の回転式通用口、モバイルの顔ベースの認証で使用される顔検証/識別アプリケーションの精度が最大 10% 向上します。

特に注目に値する点として、さまざまな業界で大規模なイメージ分析ワークロードを本稼働環境で運用するお客様が増えています。代表的なお客様の例をいくつかご紹介します。

Butterfleye – この家庭および小規模企業向けのセキュリティカメラプロバイダーは、Amazon Rekognition を使用して顔/物検出カメラを低コストで迅速に開発し、開発所要時間を 18 か月から 4 か月に短縮して研究開発費を 100 万ドル以上削減しました。

Open Influence – この会社の業務は、エンタープライズ顧客がブランドを販売促進するためのソーシャルメディアインフルエンサーを見つけることです。Amazon Rekognition を自社独自のデータパイプラインと簡単に連携させることで高品質の検索結果を生成し、他の手段では見つけることができなかったインフルエンサーを顧客が発掘できるようにしています。

Marinus Analytics – 人身売買の防止に Amazon Rekognition を役立てています。この会社の主力ソフトウェアは、米国の法執行機関で性目的の人身売買の捜査に採用されています。Amazon Rekognition と Marinus Analytics を連携させた捜査により、何百万という記録から数秒で被害者を見つけ出し、迅速で効果的な対応ができます。

Amazon Rekognition の詳細については、こちらを参照してください。Amazon Rekognition をすぐに使用するには、こちらの開始方法を参照してください。ご質問があればコメント内に記入してください。


Ranju は、Amazon での勤務歴がほぼ 5 年で、Amazon Rekognition チームを率いています。Amazon Rekognition は、ディープラーニングベースのイメージ認識サービスであり、何百万というイメージを検索、検証、整理できます。Ranju は Amazon の前に Barnes & Noble で Nook Cloud エンジニアリングのチームリーダーでした。このチームは、Nook モバイルサービスおよびデジタルアセット管理サービスの戦略、設計、開発、および SaaS 運用を担当していました。