Amazon Web Services ブログ

Category: Artificial Intelligence

Amazon Elastic Inference — GPUを利用した深層学習推論の高速化

近年の AI や深層学習の発展には、Graphics Processing Units (GPU) の素晴らしい処理能力が重要な役割を果たしてきました。 10年程前、研究者は機械学習や High Performance Computing (HPC) に対して、大規模なハードウェア並列演算能力を活用する方法を編み出しました。興味のある方は、2009年にスタンフォード大から発表され大きな影響を与えた、この論文 (PDF) をご覧ください。 現在では、GPU のおかげで開発者やデータサイエンティストは複雑なモデルを医療画像分析や自動運転の大量のデータで学習できています。例えば、Amazon EC2 P3 ファミリーを利用すると1インスタンスあたり最大8枚の NVIDIA V100 GPU、つまり混合精度演算で最大 1PFLOPS を利用できます。これが10年前の最速のスーパーコンピューターと同じパフォーマンスだなんて信じられるでしょうか?

Read More

AWS DeepRacer – 強化学習のハンズオン at re:Invent

強化学習は、”エージェント”が、インタラクティブな環境下でトライアンドエラーベースで行動が可能なときに、行動からのフィードバックを利用して、事前に定義されたゴールに到達する、あるいは、有る種のスコアや報奨を最大化するよう学習を行う機械学習の形式の一つです。強化学習は、教師あり学習などの他の型式の機械学習とは対照的に、一連の事実(ground truth)を利用してモデルの学習を行い、推論を行います。 AWS re:inventでは、皆様に強化学習のハンズオンをご提供します。本日その全てをご紹介します。このハードウェアとソフトウェアの組み合わせは、(文字通り)物事を前進させるのに役に立ちます! AWS DeepRacer ハードウェアとソフトウェアについてまず最初にご紹介します。AWS DeepRacerは、1/18スケールの4輪ラジコンカーです: オンボードIntel Atom® プロセッサー、1080p解像度の4メガピクセルカメラ、高速WiFi(802.11ac)、複数のUSBポート、およそ2時間稼働できるバッテリーを搭載しています。Atom processor上で、Ubuntu 16.04 LTS、ROS(Robot Operating System)、および Intel OpenVino™ コンピュータービジョンツールキットが稼働します。

Read More

Amazon Translate カスタム語彙のご紹介

Amazon Translate は高速で高品質な言語翻訳を手ごろな価格で提供するニューラル機械翻訳サービスです。本日 (2018/11/27) お客様が Amazon Translate の出力をカスタマイズし、企業や分野に固有の語彙を用いることのできるカスタム語彙を発表いたします。翻訳のリクエストとともにカスタム語彙をアップロードし呼び出すことで、文脈や Amazon Translate のアルゴリズムが出力する結果に関わらず、お客様固有のコンテキストに沿って、例えばブランド名、キャラクター名、モデル名が思い通りに翻訳されます。

Read More

新機能 – Amazon QuickSightへの機械学習(ML)によるインサイト機能をプレビューで提供

Amazon QuickSightは、高速で、クラウドを活用したBIサービスであり、機能リッチでインタラクティブなダッシュボードを活用することで組織の中の誰もがビジネス・インサイト(Insight – 知見)を得ることができます。Pay-per-session(セッション単位)の料金やダッシュボードの埋め込み(embed)機能により、BIをより誰もが、かつ高い費用対効果でアクセスできるようにしてきました。 しかし、お客様のデータは日々増え続けているため、データをビジネス・インサイトに活用することはより難しくなりつつあります。こういう時こそ機械学習(Machine Learning : ML)の出番でしょう。Amazonは機械学習を利用した自動化や大規模対応のパイオニアであり、ビジネスアナリシスを、サプライチェーン、マーケティング、リテール、ファイナンス等で利用しています。 AWSはこれらAmazonでの多様な機械学習の機能をサービスとしてお客様に提供しています。本日、Amazon内の利用で実績を積んできた3つの新機能をQuickSightに追加し、可視化するだけでなく、機械学習によるインサイト(知見)を得られるようになることを発表いたします: MLによる異常検知:10億ポイント以上のデータを継続的に分析することで異常を自動検知し、隠れていたインサイトを提供 MLによる予測:ポイント&クリックのシンプルな操作で、予測と、what-if分析を提供 自動ナラティブ:ダッシュボード上に分かりやすい説明文を表示し、お客様がデータを理解する事をサポートする

Read More

新機能 – Amazon Comprehend Medical – ヘルスケア業界のお客様のための自然言語処理

私は胃腸科医と皮膚科医の息子で、解剖学的構造、手術手順、投薬名、またそれらの略語など、複雑な医学用語が飛び交う、専門外には理解できない会話を聞きながら育ちました。好奇心を抱いた子供にとってこの経験はとても魅惑的で、両親がある種の魔法使いのようなものなのか、またはとってもちんぷんかんぷんなことを言っているのか、と不思議に思っていました。 このような理由から、Amazon Comprehend の拡張版である、ヘルスケア業界のお客様向けの Amazon Comprehend Medical をご紹介できることは、とても嬉しく思います。   Amazon Comprehend の簡単な振り返り Amazon Comprehend は、昨年の AWS re:Invent でローンチされたものです。簡単にいうと、言語検出、エンティティのカテゴリ分類、感情分析、キーフレーズ抽出などの、シンプルなリアルタイム API を提供する自然言語処理サービスです。さらに、テキストドキュメントを自動的に整理する、教師なし学習である「Topic modeling」もお使いいただけます。

Read More

Amazon EC2でのDeep Learningのためのダイナミックトレーニングの紹介

本日(2018/11/27)、Deep Learningモデルのためのダイナミックトレーニング(Dynamic Training: DT)を発表することに興奮しています。DTを使用すると、Deep Learningの実務者は、クラウドの弾力性と規模の経済性を活用して、モデルトレーニングのコストと時間を削減できます。DTの最初のリファレンス実装は、Apache MXNetに基づいており、オープンソースで Dynamic Training with Apache MXNet に公開されています。このブログ記事は、DTの概念、実現したトレーニングの結果やトレーニングへの活用方法を紹介します。

Read More

Amazon Rekognition が、顔の検出、分析、認識機能の更新を発表

本日、当社は顔の検出、分析、認識機能の更新を発表いたします。これらの更新により、画像からより多くの顔を検出し、より正確な顔のマッチングを実行し、画像内の顔から年齢、性別、感情の属性を取得する能力が向上します。Amazon Rekognition の顧客は、本日より、追加コストなしでこれらの各機能拡張を使用できます。機械学習の経験は必要ありません。 「顔検出」は、「この画像には顔がありますか?」という質問に答えようとします。 現実世界の画像では、さまざまな側面が、高い精度で顔を検出するシステムの能力に影響を与える可能性があります。そうした側面としては、頭部の動きおよび/またはカメラの動きによるポーズの変化、前景または背景の物体 (前景にいる他の人の帽子、髪、手で覆われた顔など)によるオクルージョン、照明の変化 (低いコントラストや影など)、顔が白っぽくなる明るい照明、ノイズが多かったり不鮮明である顔につながる低品質と解像度、カメラやレンズ自体の歪みなどがあります。こうした問題は、未検出 (顔が検出されなかった) または誤検出 (画像領域に顔がないのに顔として検出される) として現れます。たとえば、ソーシャルメディアのさまざまなポーズでは、カメラのフィルター、照明、オクルージョン (「フォトボム」など) が一般的です。金融サービスの顧客の場合、多要素認証および不正防止ワークフローの一部としての顧客 ID の検証で、高解像度の自撮り (顔画像) を、写真 ID 文書 (パスポートや運転免許証など) のより低解像度で、小さく、しばしばぼやけた顔画像と照合させることが必要になります 。また、多くの顧客は、カメラが明るい光に向いている画像から低コントラストの顔を検出して認識しなければならなりません。 最新の更新により、Amazon Rekognition は前に説明した最も困難な条件にある画像で、以前は見逃されていた顔の 40% を検出できるようになりました。同時に、誤検出の割合は 50% 削減されています。つまり、ソーシャルメディアアプリなどの顧客は、高い確度で一貫して信頼できる検出 (未検出と誤検出が少ない) が可能になり、自動化されたプロフィール写真レビューなどのユースケースでより良い顧客経験を提供できます。さらに、顔認識は、大規模な顔のコレクションを検索する場合に、以前のモデルと比較して 30% より正確な「最良の」一致 (最も類似した顔) を返します。これにより、不正防止などのアプリケーションでより良い検索結果を得ることができます。顔照合では、さまざまな照明、ポーズ、外観でより一貫性のある類似性スコアを取得できるようになり、ID 照合などのアプリケーションでより高い信頼性のしきい値を使用して誤った一致を回避し、人間による確認を減らすことができます。いつものように、市民の自由や顧客の感情が関係するユースケースで照合の正確さが重要な場合、ベストプラクティス、より高い信頼水準 (少なくとも99%) を使用し、必ず人間による確認を含めることをお勧めします。 それでは、いくつかの画像を見て、Amazon Rekognition が制約のない環境でキャプチャされた難しい画像のさまざまな側面をどのように処理するかを確認しましょう。 ポーズのバリエーション この問題は、急なカメラアングル (顔の上または下から撮影されたショットなど)、顔を横から見たショット、被写体が遠ざかっている場合に発生します。この問題は、ソーシャルメディアの写真 (例えば、被写体が遠くを見ているときなど)、自撮り、ファッションの写真撮影でよく見られます。顔検出アルゴリズムは、多くの場合、顔の半分以下しか見えないか、顔が通常ではない確度で傾いている (逆さまになるなど) 場合に、顔を検出することが困難です。 画像 1: 横から見た顔 画像 2: 様々な角度でカメラを見下ろす顔 画像 3: […]

Read More

Amazon SageMakerの新機能: ワークフロー、アルゴリズム、認定

過去12ヵ月間、MLを何万人もの開発者やデータ科学者の手に渡して、完全に管理されたサービスである、Amazon SageMaker を利用しているお客様が – 詐欺の発見、予測、エンジンのチューニングで machine learning に大進歩を遂げたのを見て参りました。昨年 re:Invent に SageMakerを導入して以来、その大半は顧客のフィードバックに基づいた、ほぼ100の新機能を追加しました。Amazon SageMakerの主な新機能の発表で、今日も同じドラムビートを継続しています。 SageMakerワークフローの紹介 今日では、machine learning のワークフローの構築、管理、共有を容易にするために、Amazon SageMakerの新しい自動化、統合化、それにコラボレーション機能を発表しています。 Machine learning は高度なコラボレーションプロセスです。ドメイン経験と技術スキルを組み合わせることは成功の基盤であり、さまざまなデータセットや機能を用いた複数の反復と実験が必要になることがよくあります。開発者が進捗状況を共有し、多くの共同作業者からフィードバックを収集する必要が頻繁にあります。成功モデルの訓練は、必ずしもホールインワンとはなるとは限らないので、重要な決定を追跡し、成功した部品を再生し、成功したものを再利用し、成功しなかったものに関する助けを得ることが重要になります。これらの反復の管理、繰り返し、共有を簡単にする新機能を導入しています。 SageMaker Search による実験管理 成功したMLモデルの開発には、継続的な実験、新しいアルゴリズムの試行、ハイパーパラメータのモデル化が必要です。その間には、潜在的に小さな変更が性能と正確さに及ぼす影響を観察しなければなりません。この反復運動は、データセット、アルゴリズム、パラメータのユニークな組み合わせで「勝利」モデルの醸成の追跡が難しいことを意味します。 データ科学者および開発者は、Amazon SageMaker Searchを使用して、machine learning モデルトレーニングの実験を整理、追跡、評価することができます。SageMaker Searchを使用すると、AWSコンソールから数千もの Amazon SageMaker モデルトレーニング実行の中から、最も関連性の高いモデルトレーニングの実行を即座に発見し評価することができます。 バージョン管理によるコラボレーション データ科学者、開発者、データエンジニア、アナリスト、ビジネスリーダーは、しばしばアイデアやタスクを共有し、協力してmachine learning を推進する必要があります。従来のソフトウェア開発とのこの種のコラボレーションの事実上の標準は、バージョン管理です。それはMLでも重要な役割を果たしており、Git の統合と視覚化をAmazon SageMaker に追加することで、簡単に作成しています。 顧客は、GitHub、AWS CodeCommit、または Git リポジトリとSageMaker ノートブックのリンク、公私のリポジトリの複製、IAM、LDAP、AWS Secrets Manager を用いた Amazon SageMaker でのリポジトリ情報の安全な保存を可能にしています。新しいオープンソースのノートブックアプリの使用で、SageMaker でのブランチ、マージ、バージョンを直接確認できます。 ステップ関数とApache Airflow によるオートメーション […]

Read More

Amazon Lex で会話型ビジネスインテリジェンスボットを構築する

会話型インターフェースの登場で、ソフトウェアアプリケーションやサービスとのやり取りの方法が激変しています。インターフェースをより自然なやり取りの仕方、つまり会話に置き換えることで、キーボードやスマートフォンを使っての意思表示方法から人々を開放したのです。質問に対する回答が必要な時、リマインダーを設定する時、あるいは製品やサービスを調達したい時に、ボットとの対話を利用する人々がますます増えています。 Amazon Lex では、これと同じレベルの利便性をデータにもたらすことが可能です。一連の質問を尋ね、会話コンテキストを維持し、ユーザーがデータセットを検索できるようにすることで、全く新しいエクスペリエンスとデータとの関係が実現しました。 このブログ記事では Amazon Lex を使用して、ビジネスインテリジェンス (BI) チャットボットを実装する方法を紹介します。このチャットボットを「BIBot」と呼んでいますが、別の名前を使うようカスタマイズできます。BIBot は、質問をバックエンドデータベースクエリに変換し、さらに結果セットを自然言語応答に変換することによって、データベース内のデータに関するユーザーの質問に答えることができます。例えば、「先月の在庫の増加を教えてください」というリクエストは、「month(received_date) = 10 の在庫から sum(item_qty) を選択する」に変換します。 BIBot は、ビジネスインテリジェンスとレポートアプリケーション向けの一般的なリレーショナルデータベースと統合されています。サンプルデータベースは Amazon Redshift TICKIT データベースです。これは、ユーザーが音楽コンサートや劇場でのショーのチケットをオンラインで購入したり販売できる架空のウェブサイトでの売り上げを追跡するものです。データベースは、2 つのファクトテーブル (販売、リスト) と 5 つのディメンションテーブル (イベント、日付、会場、カテゴリ、ユーザー) を持つスタースキーマです。詳細については、「Amazon Redshift」 » 「サンプルデータベース」を参照してください。 BIBot とのやりとりの例をいくつか紹介します。 これらの例から分かるように、BIBot は 6 月にヒューストンについて聞いたことと、何枚のチケットが売れたか聞いたことを覚えており、そのため、質問のコンテキストを把握することができます。会話は、データの「言葉」を利用します。つまりこの場合、チケット販売、都市、月、イベントなどです。これらは、サンプルチケット販売データベースのファクトとディメンションです。レポートデータベースを使用するように BIBot を調整すると、ボットとの会話はデータの言葉で行われます。 アーキテクチャ BIBot のアーキテクチャはシンプルです。Amazon Lex ボットは、ユーザーの各質問をインテントに送り、質問をスロットでパースします。次に、Amazon Lex ボットはインテントとスロットのデータを AWS Lambda 関数に渡します。この関数はデータを使用して、SQL クエリを構築し、Amazon Athena データベースに対して実行します。Athena は、Amazon S3 […]

Read More

Amazon SageMaker と Amazon Redshift を利用した、高速・柔軟・セキュアな機械学習基盤の構築

データウェアハウス環境として、 Amazon Redshift に販売データ・ログデータ・センシングデータ等を蓄積し、これらのデータを用いて機械学習の活用を検討されるケースは多いと思います。高速にクエリを実行できる Redshift と、Amazon SageMaker による Jupyter Notebook を用いた対話的なデータ分析と機械学習を活用し、需要予測・レコメンド・異常検知などを行うことが可能です。 本稿では、 Redshift から Amazon VPC 内でセキュアにデータを取得し、SageMaker を利用した分析・機械学習パイプラインを構築する方法をご紹介します。前半では、アーキテクチャの概要を説明します。後半では、そのアーキテクチャのサンプルを構築し 、SageMaker から SQL クエリを実行して、データを分析する方法について説明します。環境を簡単に構築できるよう、 AWS CloudFormation のテンプレートを用意しているので、実際に試しながら読み進めることができます。SageMaker や Redshift の概要については末尾に記載した参考記事をご覧下さい。 アーキテクチャ概要 大規模データに対し、高速・柔軟・セキュアにデータ分析を行うための、Redshift と SageMaker を組み合わせたアーキテクチャを以下に示します。     AWS を利用した分析・機械学習パイプラインとしては様々なアーキテクチャが考えられますが、ここでは Redshift に対して SageMaker の Jupyter Notebook 上から SQL クエリを実行し、必要なデータのみを取得して分析・可視化・機械学習を行うことを想定します。Redshift のサンプルデータが Amazon S3 にあるため事前にそれを読み込んでいます。 それでは、具体的にアーキテクチャの詳細を確認していきましょう。 速度と分析の柔軟さの両立 データの分析・可視化・機械学習を行う場合、ブラウザ上で動作する対話型データ分析ツールである Jupyter Notebook […]

Read More