Amazon Web Services ブログ

Category: Artificial Intelligence

Mapillary が、Amazon Rekognition を使用して、米国の都市向けの駐車ソリューションを構築

Mapillary は、人々や組織がジオタグ付きの写真をアップロードできる協調型のストリートレベルの画像プラットフォームであり、これを使用してマッピングのシステムやアプリケーションを改善することができます。 Mapillary は、深層学習ベースの画像および動画分析サービスである Amazon Rekognition を使用してメタデータ抽出を強化しています。Amazon Rekognition の DetectText 操作を使用することにより、Mapillary は交通標識や駐車標識の画像からテキストを検出および抽出し、マッピングデータを充実させることができます。 「Amazon Rekognition でテキストを検出する際の精度が、一貫して正確であることが分かりました」と、Mapillary のコンピュータビジョン責任者である Yubin Kuang 氏は言います。「Mapillary は、既にストリートレベルの画像の世界で最も優れたコンピュータビジョンを構築しているため、Amazon Rekognition の DetectText API を統合すると、Mapillary の技術によって自動的に検出される交通標識や駐車標識からテキストを抽出できるようになります。このワークフローは開発サイクルを短縮し、駐車インフラの概要を大規模で把握することを可能にします。」 アーキテクチャ Mapillary は、Amazon S3 に何億もの画像を保存しています。こうした画像は、あらゆる場所の人々や組織によって Mapillary にアップロードされます。Mapillary の交通標識検出パイプラインで Amazon Rekognition の DetectText API 操作を使用すると、ストリートレベルの画像から抽出されたメタデータは、Elasticsearch クラスターを使用して検索可能になります。たとえば、次の例は、ユーザーが Mapillary にアップロードした画像を示しています。緑色のボックスは交通標識が Mapillary で検出されたことを、白色のボックスは Rekognition が検出、抽出し、機械で判読可能なテキストに変換したテキストであることを強調表示しています。 「Amazon Rekognition のこの作業により、米国の都市の駐車を改善するソリューションを開発できます」と、Mapillary の CEO 兼共同設立者である Jan Erik […]

Read More

AWS のメディア解析ソリューションを使用して、メタデータの自動抽出を使い始める

 AWS でメディア解析ソリューションを使用して、メディアファイルから意味のあるメタデータを簡単に抽出することができます。 メディア解析ソリューションは、数分でメディアファイルから意味のあるメタデータの抽出を始めるために使用できる AWS CloudFormation テンプレートを提供します。ウェブベースのユーザーインターフェイスを使用すると、簡単にファイルをアップロードし、自動的に抽出されたメタデータを表示することができます。 このソリューションは、顔認識に Amazon Rekognition、文字起こしの作成に Amazon Transcribe、文字起こしでの感情分析に Amazon Comprehend を使用します。独自の画像を Amazon Rekognition コレクションにアップロードして、個人を認識できるようにソリューションをトレーニングすることもできます。 料金を支払うのは、このソリューションをテストするときに使用するサービスに対してのみです。1080p HD ビデオの場合、このソリューションを開始するのに必要なコストは、1 時間あたり 8 USD 以下です。このソリューションは、メディアライブラリにインデックス付けされるメタデータの量に基づいて、さまざまなサイズで利用できます。サイズに応じた価格の範囲は月額 300 – 1,000 USD で、主にメタデータのインデックス付け、検索、保存のための Amazon Elasticsearch Service のコンピューティングとストレージのコストで構成されています。 このブログ記事では、ソリューションを起動して画像やビデオをアップロードする方法を段階的に示します。メタデータがどのようにしてシームレスに抽出されるかを直接見ることができます。 注意: このソリューションは、現在は特定の AWS リージョンでのみ利用可能である Amazon Rekognition、Amazon Comprehend、Amazon Transcribe を使用しています。したがって、このソリューションは、これらのサービスが利用可能な AWS リージョンで起動する必要があります。最新のリージョン別の AWS のサービスの利用可用性については、リージョン別の AWS のサービス内容をご覧ください。 ステップ 1: メディア解析ソリューションのデプロイ ユーザー名とパスワードを使って、AWS マネジメントコンソールにサインインします。メディア解析ソリューションへ移動して、[Deploy […]

Read More

Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法

  あなたがデータサイエンティストであるとしましょう。会社のシステムが統合され、膨大なデータセットの定義も完了し、データが容易に分析できるとしたら、ラッキーです。そんな会社はごく一握りだからです。 では、そのような恵まれた環境ではないとしましょう。機械学習用の準備作業の中で、フォーマットの異なるデータセットを統合し、データの分析や可視化を行ううえでの支援が必要なら、ぜひこの記事をお読みください。 このブログ記事では、Amazon SageMaker で、大量の企業データを予備解析する方法について説明します。Amazon SageMaker では、Jupyter ノートブックが動作しており、企業のデータレイクの中から注目すべきデータセットを探索したり、取り出したりすることができます。複数のデータセットのそれぞれに必要な情報のサブセットが含まれている場合には、それらを統合させて注目すべき情報を取り出し、Amazon SageMaker ノートブックでそのままシームレスにデータの分析と可視化を行うことができます。 概要 Amazon SageMaker は、機械学習の機能を提供するフルマネージドサービスです。Amazon SageMaker を使用することで、データサイエンティストや開発者は、機械学習モデルを短期間で容易に構築、トレーニングすることができます。また、用意したモデルを実稼動も可能なホステッド環境に直接導入することもできます。また、Jupyter のオーサリング環境が統合されており、データサイエンティストの初期のデータ探索や分析、モデル構築に便利です。 Jupyter ノートブックが Amazon SageMaker ノートブックのインスタンス上で実行されているため、Amazon S3 のデータセットを容易にノートブックに読み込み、処理することができます。ただ、最初に対象とするデータセットのロケーションを指定する必要があります。データレイクの規模が大きい場合、解析対象のフィールドを含んだデータセットを正確に特定することは、難しい作業になります。個々のデータセットのサイズが大きくなればなるほど、ノートブックに読み込ませる作業が現実的なものではなくなります。今日における一般的なデータセットのサイズに対し、ノートブックのディスク容量やメモリは限られているのです。また、よくあるケースとして、必要な情報が複数のデータセットに分散していることもあります。この場合は、データの探索がさらに難しいものとなります。必要なデータセットのロケーションを特定し、統合させてフィルタリングする必要が生じるのです。つまり、非常に規模の大きなデータセットを統合させて、ノートブックに読み込ませようとすると、生産性が損なわれることになります。データセットがさらに大きくなれば、そのような作業はもはや現実には不可能です。このようなデータの結合や探索に要する作業は、データサイエンティストの作業時間の 80% を占めています。機械学習プロジェクトを支障なく遂行するには、このような負担を軽減することが不可欠です。 多くの大企業が、データレイクの管理に AWS Glue を使用しています。AWS Glue はフルマネージド型のデータ抽出、変換、ロード (ETL) サービスです。このサービスを使用すれば、データに対する分類、クリーニング、エンリッチ、信頼性の高い方法でのデータストア間でのデータ移行が行えます。AWS Glue データカタログと称される一元化されたメタデータリポジトリが備えられており、データレイク内のデータをエンリッチおよび分類した上で、検索やクエリが実行できるようになっています。 データカタログ内のメタデータを使用することで、任意のデータセットの名前、ロケーション、コンテンツ、属性での指定が行えます。 Amazon S3 のデータレイクで、非常に大きなデータセットのフィルタリングや集計を行う場合や、他のデータセットと統合される可能性がある場合には、Amazon EMR 上で Apache Spark を使用するのが最適です。Apache Spark はクラスタコンピューティング用のフレームワークで、Python、Java、Scala などの複数の言語での分析をサポートする組み込みモジュールを備えています。企業のデータレイクによくみられる大規模データセットを扱ううえで、Amazon EMR で Spark を動作させることによるスケーリングの効果は絶大です。データセットが AWS Glue データカタログで定義されていれば、データセットへのアクセスがさらに容易になります。また、AWS […]

Read More

AWS でのビジュアル検索 – パート 1: Amazon SageMaker を使用したエンジンの実装

音声やテキストは使わずに、見つけたいものを表示することでビジュアル検索を行う。古いことわざにもあるように、「絵は千語の価値がある」と言います。 たいていは、実際の例や画像を示す方が、検索エンジンが効率的に探し出せる言葉で説明するよりも簡単です。専門的な用語を使って説明するだけの知識や理解が十分でないユーザーもいるからです。他にも、画像か動画データを使って検索を使いたいが、ビジュアル検索だと、取り込みが早すぎてラベルやメタデータを正確に割り当てられない、という場合があります。 ビジュアル検索を使って、ハードウェアストアで交換部品を探す、という小売業での例を見てみましょう。専門知識がないと難しい用語を使って部品を識別するのではなく、深層学習を利用できるビデオカメラの AWS DeepLens に部品をただ見せるだけです。するとデバイスは、視覚的に類似している部品の一覧と、それらが置いてある店舗内の場所を提示するのです。似たようなアイテムを購入したい場合、顧客が自宅に AWS DeepLens デバイスを持っていれば、家にあるアイテムをデバイスに見せるだけで済みます。ビジュアル検索の利点は、アイテムを示すだけで済むところでしょう。バーコード、QR コード、製品名、製品メタデータなど、他のデータは一切必要ありません。

Read More

Amazon SageMaker ランタイムが CustomAttributes ヘッダーのサポートを開始

 Amazon SageMaker はエンドツーエンドのプラットフォームで、データサイエンティストや開発者が使用して、大規模に機械学習 (ML) モデルの構築、トレーニング、チューニング、デプロイを行っています。Amazon SageMaker を使用すると、コンソールのワンクリックで、またはシンプルな API コールで、モデルのトレーニングを開始できます。トレーニングが完了して、モデルをデプロイする用意が整うと、Amazon SageMaker コンソールのワンクリックで起動が可能です。Amazon SageMaker のホスティングサービスを使用してモデルを本番環境にデプロイした後は、永続的な HTTPS エンドポイントが得られ、ここで機械学習モデルを利用し、InvokeEndpoint API アクションを介して推論を提供できます。 Amazon SageMaker InvokeEndpoint API アクションは、新しい HTTP ヘッダー、CustomAttributes のサポートを開始しています。この新しいヘッダーを利用すると、Amazon SageMaker エンドポイントでホストされているモデルに渡された推論のリクエストに関して、追加情報を提供できます。また、Amazon SageMaker エンドポイントでホストされているモデルが返した推論のリクエストに対するレスポンスで、追加情報を含めることもできます。たとえば、CustomAttributes ヘッダーを利用すると、リクエストの追跡に利用可能なアプリケーション固有の識別子であるトレース ID や、サービスエンドポイントが処理するようプログラムされたその他のメタデータを提供できます。 CustomAttributes ヘッダーで提供する情報は、逐語的に送られた不透明な値です。InvokeEndpoint の呼び出しは、AWS Signature Version 4 を使用して認証されます。カスタム属性は 1024 字を超えることはできません。また、表示可能な US-ASCII 文字で構成される必要があります。この US-ASCII 文字 については、セクション 3.3.6.Field Value Components of the Hypertext Transfer Protocol […]

Read More

Pixm が、AWS で Apache MXNet を使用して、深層学習でフィッシング攻撃に対処

膨大なサイバーセキュリティに関する努力にもかかわらず、フィッシング攻撃は依然として増加しています。フィッシングとは、加害者が評判の良い企業であるように偽り、個人を騙してパスワードやクレジットカード番号などの個人情報を公表させようとする詐欺の一形態です。最も一般的なソーシャルネットでの不正行為です。  最近の Verizon データ漏えい/侵害調査報告書によると、現在のすべての違反の 93% はフィッシングメールから始まっています。 フィッシング攻撃を阻止する従来のソリューションは、ブラックリスト、IP レピュテーション、迷惑メールフィルタをクラウドにデプロイして、既知のフィッシングサイトを停止します。この報告書によると、報告されているフィッシングキャンペーンは 17% に過ぎないため、未報告または新しいフィッシングサイト (ゼロデイフィッシングとも呼ばれる) からの攻撃は停止されません。そして、攻撃が検出されても、攻撃が検証されてブラックリストデータベースに登録されるまでに数分から数時間かかることがあります。 ニューヨークに本拠を置くスタートアップの Pixm は、コンピュータビジョンを使用して、ますます増大するフィッシングの問題に新たなアプローチを取ります。Pixm の深層学習コンピュータビジョンベースのエンドポイントセキュリティソリューションは、デスクトップまたはラップトップのブラウザ内で、クリックした時点でリアルタイムでフィッシング攻撃を検出します。 「マルウェアに重点が置かれていますが、すべてはフィッシングメールから始まります。ところが、まだフィッシングのセキュリティにそれほど重点が置かれているわけではありません」と、Pixm の共同創設者兼最高製品責任者である Arun K. Buduri 氏は説明します。「フィッシング攻撃を阻止するためのソリューションとしてはブラックリストと IP レピュテーションが好まれていますが、どちらも反応的であり事後的です。」 Pixm が 2016 年の米国での選挙でブロックした攻撃のヒートマップでは、攻撃の 70% 近くが米国の中小企業や大学でホストされていました。 Pixm のソリューションは、デスクトップにウイルス対策ソフトウェアをインストールするのと同じ方法で、エンドポイントのデバイスにデプロイされます。顧客がブラウザでフィッシングリンクを開くと、Pixm のソフトウェアがページを視覚的に分析し、コンピュータビジョンによるオブジェクト検出と空間分析を実行してフィッシング攻撃かどうかを判断し、1 秒以内に終了させます。たとえば、加害者が大手銀行の顧客をターゲットとし、正式な銀行のウェブサイトと同じように見えるフィッシングサイトを作成することがよくあります。 Pixem は、Apache MXNet 深層学習フレームワークで作成した深層学習コンピュータビジョンモデルを使用して、ウェブサイトのスクリーンショットを継続的に分析します。たとえば、Pixm はオブジェクト検出を使用してモデルをブランドのロゴでトレーニングし、銀行のログインページのロゴが本物かどうかを検出します。 Pixm は、Caffe、Caffe2、TensorFlow、Keras などの多数の深層学習フレームワークを評価しましたが、Amazon EC2 コンピューティングインスタンスを使用して複数のオペレーティングシステムと高性能のモデル推論をサポートしていることから、最終的に MXNet を選択しました。また、MXNet は、Amazon EC2 P3 インスタンスで利用できるグラフィック処理ユニット (GPU) を使用して、大量の画像データを素早く大規模でトレーニングすることも可能にしています。 「4 か月間で、顧客のために 800 […]

Read More

Amazon SageMaker を利用して都市の空気汚染データをもとに天気への影響を予測するモデルを構築する。

都市における大気汚染は、人々、動物、植物や財産への悪影響をもたらす深刻な問題を引き起こしかねません。大気汚染は都市の人口が増え続けるにつれて注目を浴びるようになってきた重要な問題です。今年は ACM SIGKDD が主催する、毎年開催されるデータマイニングとナレッジディスカバリーの競技大会、2018 KDD Cup のテーマとして取り上げられました。 輸送と家庭暖房用に化石燃料を燃焼すると、汚染物質の二酸化窒素 (NO2) が生成され、都市環境の大気が汚染される主な原因となっています。二酸化窒素は、一酸化窒素 (NO) が酸化することによって生成される二次汚染物質です。これは呼吸器疾患の主な原因となっています。  欧州連合においては、2008/50/EC (Cleaner Air For Europe、CAFÉ) 指令により、NO2 の上限を毎時 200μg/m3、年平均 40μg/m3 と定められました。1 時間あたりの制限値の上限が年間で 18μg よりも上回ることは許されていません。 世界中の多くの都市で、少なくとも 1 日単位で大気質の水準が報告されています。私たちは、Amazon SageMaker (開発者やデータサイエンティストがあらゆる規模の機械学習モデルを短期間で簡単に構築、トレーニング、デプロイできるようにする完全マネージド型プラットフォーム) を使用して大気質のデータを調べることにしました。 シナリオ このブログ記事のデモンストレーションでは、選択した都市の大気汚染物質 (NO2) と天気の関係を調べます。 アイルランド、ダブリン。 大気質データは、アイルランド環境保護庁が運営する、長年にわたって確かな地位を築いてきたモニタリングステーションから取得したものです。このモニタリングステーションは、アイルランドのダブリン市のラスミネスにあります。ラスミネスは市内中心部から約 3 キロ南のダブリンの郊外に位置しています。  アイルランド共和国の首都ダブリンの人口は、約 100 万です。ダブリンは東側には海、南側には山があり、そして西と北側には平坦な地形が広がっています。市の風速と風向きは、ダブリンの南側にある山々から影響を受けます。一般的に風向きが南であるとき、山があることで風向きは南西または南東に偏向させられます。 天気データは、ダブリン空港にある長年信頼されてきた気象観測所から取得したものです。ダブリン空港は都市の北側の平坦な地形に位置していて、ダブリン市内中心部からは約 12 キロ北にあります。 ツール 探索的データ解析と機械学習のための Amazon SageMaker Amazon Simple Storage Service (Amazon S3) […]

Read More

動的なDeepLearningによる時系列データの予測

時間の経過とともに展開していくイベントを予測することは、オプション価格決定や、病気の進行、音声認識、サプライチェーン管理などを扱う多くのアプリケーションにとって不可欠な機能です。と同時に、こうした予測は難しいことでも知られています。 全体的な結果を予測するのではなく、特定の時刻に発生するイベントの一連の動き ( シーケンス ) を正確に予測することを目指します。物理学のノーベル賞受賞者である Niels Bohr 氏は、「予測は非常に難しいもので、未来については特にそうです。」と述べています。 このブログ記事では、AWS での深層学習アプローチを使用した時系列予測の高度なテクニックについて見ていきます。この投稿では、任意の時系列値予測に注目します。ですので、時系列を研究している読者にとって興味深い内容になるでしょう。またこの投稿では、読者が機械学習の分野で基礎的な技術知識をすでに持っていることを仮定しています。  Amazon SageMaker (Bring-Your-Own-Algorithm を使用 ) を活用して、複数の要因の過去の傾向に基づく時系列を予測する、独自の RNN ( リカレントニューラルネットワーク ) 深層学習アルゴリズムを開発していきます。Amazon SageMaker は完全マネージド型の機械学習プラットフォームで、データサイエンティストや開発者が機械学習モデルを素早くかつ簡単に構築し、大規模な実稼動アプリケーションとなるようにトレーニングするのををサポートします。これにより、ビルトインアルゴリズムとビルトインフレームワークの両方を使用できるようになり、Docker コンテナを使ったカスタムコードをインポートすることも可能になります。

Read More

AWS PrivateLink を使用してすべての Amazon SageMaker API コールを保護する

すべての Amazon SageMaker API 操作が AWS PrivateLink を介して完全にサポートされるようになりました。これにより、インターネットへのデータ暴露を減らすことで、クラウドベースのアプリケーションと共有されるデータセキュリティが向上します。ノートブックインスタンスへのアクセスは引き続き、TLSを介したインターネット経由となり、AWSマネージメントコンソールへのログインクレデンシャルで保護される形態となります。このブログでは、AWS PrivateLink を使用して Amazon SageMaker API コールを保護するための VPC エンドポイントの設定方法を説明します。 AWS PrivateLink トラフィックはインターネットを通過しないため、ブルートフォースや分散型サービス拒否攻撃などの脅威への露出を低減します。お使いのアプリケーションと Amazon SageMaker API 操作間のすべての通信は VPC の内部で行われるため、Amazon SageMaker と通信するためにインターネットゲートウェイ、NAT デバイス、VPN 接続、または AWS Direct Connect は必要ありません。代わりに、AWS PrivateLink では、インターフェイス VPC エンドポイントを使用して、スケーラブルな方法でお使いの VPC からすべての Amazon SageMaker API 操作にプライベートアクセスすることが可能です。VPC エンドポイントはすべての Amazon SageMaker API コールのエントリポイントとして機能するプライベート IP アドレスを使用したサブネット内の Elastic Network Interface です。 AWS […]

Read More

人工知能 (AI) ハッカソンの開催 (機械学習とサーバーレス API を使用したインテリジェントアプリケーションの開発)

アマゾン ウェブ サービス (AWS) では、すべての開発者向けに、イメージ/ビデオ分析、自然言語処理、音声認識、テキスト読み上げ、機械翻訳を提供しています。AWS の Machine Learning (ML) サービスを使用することで、機械学習時のモデルを考慮することなく、あらかじめ用意された AI 機能をアプリケーションに組み込むことができます。 機械学習に関する専門知識を持っていない数多くの開発者が、Amazon の機械学習アプリケーションサービスを使用して、イノベーティブなソリューションを開発してきました。たとえば、あるユーザーはAmazon Polly と Amazon Translate を使用して双方向の翻訳アプリを開発し、別のユーザーは Amazon Polly と Amazon Lex で、コミュニケーションの際に特別な配慮が必要な人々の支援を行っています。また、あるユーザーは、Amazon Rekognition、Amazon Comprehend、Amazon Transcribe を使ってフルソーシャルビデオプラットフォームを強化し、画像のメタデータと感情データを抽出してこれまでにない水準のビデオ分析を行っています。 ただ、私たちはまだその可能性の一部にふれただけにすぎません。本日、私たちは AWS 人工知能 (AI) アプリケーションハッカソンの開催を発表します。みなさまのアイデアを披露するのに最適な機会です。高額な賞金をぜひ勝ち取ってください。 課題: 機械学習とサーバーレス API を使用したインテリジェントアプリケーションの開発 スキルを発揮するチャンスです。画像、音声、言語処理の人工知能で新しいアプリケーションを開発したり、既存アプリケーションを拡張しましょう。Amazon の機械学習アプリケーションサービスを使用すれば、顧客の分析情報の取得、コンテンツレコメンド機能のパーソナライズ、顧客の検索など、さまざまなことが可能になります。 AWS Lambda を使用すれば、サーバーレスコンピューティングを活用するアプリケーションのロジックを記述/実行できます。サーバーを管理しないでもコードを実行できます。 参加に際しては、要件が 2 つあります。 次の言語/画像処理 API サービスのうち、2 つ以上を使用してください。Amazon Comprehend、Amazon Transcribe、Amazon Polly、Amazon Lex、Amazon Translate、Amazon […]

Read More