Amazon Web Services ブログ

Category: Artificial Intelligence

新機能 – Amazon Comprehend Medical – ヘルスケア業界のお客様のための自然言語処理

私は胃腸科医と皮膚科医の息子で、解剖学的構造、手術手順、投薬名、またそれらの略語など、複雑な医学用語が飛び交う、専門外には理解できない会話を聞きながら育ちました。好奇心を抱いた子供にとってこの経験はとても魅惑的で、両親がある種の魔法使いのようなものなのか、またはとってもちんぷんかんぷんなことを言っているのか、と不思議に思っていました。 このような理由から、Amazon Comprehend の拡張版である、ヘルスケア業界のお客様向けの Amazon Comprehend Medical をご紹介できることは、とても嬉しく思います。   Amazon Comprehend の簡単な振り返り Amazon Comprehend は、昨年の AWS re:Invent でローンチされたものです。簡単にいうと、言語検出、エンティティのカテゴリ分類、感情分析、キーフレーズ抽出などの、シンプルなリアルタイム API を提供する自然言語処理サービスです。さらに、テキストドキュメントを自動的に整理する、教師なし学習である「Topic modeling」もお使いいただけます。

Read More

Amazon EC2でのDeep Learningのためのダイナミックトレーニングの紹介

本日(2018/11/27)、Deep Learningモデルのためのダイナミックトレーニング(Dynamic Training: DT)を発表することに興奮しています。DTを使用すると、Deep Learningの実務者は、クラウドの弾力性と規模の経済性を活用して、モデルトレーニングのコストと時間を削減できます。DTの最初のリファレンス実装は、Apache MXNetに基づいており、オープンソースで Dynamic Training with Apache MXNet に公開されています。このブログ記事は、DTの概念、実現したトレーニングの結果やトレーニングへの活用方法を紹介します。

Read More

Amazon Rekognition が、顔の検出、分析、認識機能の更新を発表

本日、当社は顔の検出、分析、認識機能の更新を発表いたします。これらの更新により、画像からより多くの顔を検出し、より正確な顔のマッチングを実行し、画像内の顔から年齢、性別、感情の属性を取得する能力が向上します。Amazon Rekognition の顧客は、本日より、追加コストなしでこれらの各機能拡張を使用できます。機械学習の経験は必要ありません。 「顔検出」は、「この画像には顔がありますか?」という質問に答えようとします。 現実世界の画像では、さまざまな側面が、高い精度で顔を検出するシステムの能力に影響を与える可能性があります。そうした側面としては、頭部の動きおよび/またはカメラの動きによるポーズの変化、前景または背景の物体 (前景にいる他の人の帽子、髪、手で覆われた顔など)によるオクルージョン、照明の変化 (低いコントラストや影など)、顔が白っぽくなる明るい照明、ノイズが多かったり不鮮明である顔につながる低品質と解像度、カメラやレンズ自体の歪みなどがあります。こうした問題は、未検出 (顔が検出されなかった) または誤検出 (画像領域に顔がないのに顔として検出される) として現れます。たとえば、ソーシャルメディアのさまざまなポーズでは、カメラのフィルター、照明、オクルージョン (「フォトボム」など) が一般的です。金融サービスの顧客の場合、多要素認証および不正防止ワークフローの一部としての顧客 ID の検証で、高解像度の自撮り (顔画像) を、写真 ID 文書 (パスポートや運転免許証など) のより低解像度で、小さく、しばしばぼやけた顔画像と照合させることが必要になります 。また、多くの顧客は、カメラが明るい光に向いている画像から低コントラストの顔を検出して認識しなければならなりません。 最新の更新により、Amazon Rekognition は前に説明した最も困難な条件にある画像で、以前は見逃されていた顔の 40% を検出できるようになりました。同時に、誤検出の割合は 50% 削減されています。つまり、ソーシャルメディアアプリなどの顧客は、高い確度で一貫して信頼できる検出 (未検出と誤検出が少ない) が可能になり、自動化されたプロフィール写真レビューなどのユースケースでより良い顧客経験を提供できます。さらに、顔認識は、大規模な顔のコレクションを検索する場合に、以前のモデルと比較して 30% より正確な「最良の」一致 (最も類似した顔) を返します。これにより、不正防止などのアプリケーションでより良い検索結果を得ることができます。顔照合では、さまざまな照明、ポーズ、外観でより一貫性のある類似性スコアを取得できるようになり、ID 照合などのアプリケーションでより高い信頼性のしきい値を使用して誤った一致を回避し、人間による確認を減らすことができます。いつものように、市民の自由や顧客の感情が関係するユースケースで照合の正確さが重要な場合、ベストプラクティス、より高い信頼水準 (少なくとも99%) を使用し、必ず人間による確認を含めることをお勧めします。 それでは、いくつかの画像を見て、Amazon Rekognition が制約のない環境でキャプチャされた難しい画像のさまざまな側面をどのように処理するかを確認しましょう。 ポーズのバリエーション この問題は、急なカメラアングル (顔の上または下から撮影されたショットなど)、顔を横から見たショット、被写体が遠ざかっている場合に発生します。この問題は、ソーシャルメディアの写真 (例えば、被写体が遠くを見ているときなど)、自撮り、ファッションの写真撮影でよく見られます。顔検出アルゴリズムは、多くの場合、顔の半分以下しか見えないか、顔が通常ではない確度で傾いている (逆さまになるなど) 場合に、顔を検出することが困難です。 画像 1: 横から見た顔 画像 2: 様々な角度でカメラを見下ろす顔 画像 3: […]

Read More

Amazon SageMakerの新機能: ワークフロー、アルゴリズム、認定

過去12ヵ月間、MLを何万人もの開発者やデータ科学者の手に渡して、完全に管理されたサービスである、Amazon SageMaker を利用しているお客様が – 詐欺の発見、予測、エンジンのチューニングで machine learning に大進歩を遂げたのを見て参りました。昨年 re:Invent に SageMakerを導入して以来、その大半は顧客のフィードバックに基づいた、ほぼ100の新機能を追加しました。Amazon SageMakerの主な新機能の発表で、今日も同じドラムビートを継続しています。 SageMakerワークフローの紹介 今日では、machine learning のワークフローの構築、管理、共有を容易にするために、Amazon SageMakerの新しい自動化、統合化、それにコラボレーション機能を発表しています。 Machine learning は高度なコラボレーションプロセスです。ドメイン経験と技術スキルを組み合わせることは成功の基盤であり、さまざまなデータセットや機能を用いた複数の反復と実験が必要になることがよくあります。開発者が進捗状況を共有し、多くの共同作業者からフィードバックを収集する必要が頻繁にあります。成功モデルの訓練は、必ずしもホールインワンとはなるとは限らないので、重要な決定を追跡し、成功した部品を再生し、成功したものを再利用し、成功しなかったものに関する助けを得ることが重要になります。これらの反復の管理、繰り返し、共有を簡単にする新機能を導入しています。 SageMaker Search による実験管理 成功したMLモデルの開発には、継続的な実験、新しいアルゴリズムの試行、ハイパーパラメータのモデル化が必要です。その間には、潜在的に小さな変更が性能と正確さに及ぼす影響を観察しなければなりません。この反復運動は、データセット、アルゴリズム、パラメータのユニークな組み合わせで「勝利」モデルの醸成の追跡が難しいことを意味します。 データ科学者および開発者は、Amazon SageMaker Searchを使用して、machine learning モデルトレーニングの実験を整理、追跡、評価することができます。SageMaker Searchを使用すると、AWSコンソールから数千もの Amazon SageMaker モデルトレーニング実行の中から、最も関連性の高いモデルトレーニングの実行を即座に発見し評価することができます。 バージョン管理によるコラボレーション データ科学者、開発者、データエンジニア、アナリスト、ビジネスリーダーは、しばしばアイデアやタスクを共有し、協力してmachine learning を推進する必要があります。従来のソフトウェア開発とのこの種のコラボレーションの事実上の標準は、バージョン管理です。それはMLでも重要な役割を果たしており、Git の統合と視覚化をAmazon SageMaker に追加することで、簡単に作成しています。 顧客は、GitHub、AWS CodeCommit、または Git リポジトリとSageMaker ノートブックのリンク、公私のリポジトリの複製、IAM、LDAP、AWS Secrets Manager を用いた Amazon SageMaker でのリポジトリ情報の安全な保存を可能にしています。新しいオープンソースのノートブックアプリの使用で、SageMaker でのブランチ、マージ、バージョンを直接確認できます。 ステップ関数とApache Airflow によるオートメーション […]

Read More

Amazon Lex で会話型ビジネスインテリジェンスボットを構築する

会話型インターフェースの登場で、ソフトウェアアプリケーションやサービスとのやり取りの方法が激変しています。インターフェースをより自然なやり取りの仕方、つまり会話に置き換えることで、キーボードやスマートフォンを使っての意思表示方法から人々を開放したのです。質問に対する回答が必要な時、リマインダーを設定する時、あるいは製品やサービスを調達したい時に、ボットとの対話を利用する人々がますます増えています。 Amazon Lex では、これと同じレベルの利便性をデータにもたらすことが可能です。一連の質問を尋ね、会話コンテキストを維持し、ユーザーがデータセットを検索できるようにすることで、全く新しいエクスペリエンスとデータとの関係が実現しました。 このブログ記事では Amazon Lex を使用して、ビジネスインテリジェンス (BI) チャットボットを実装する方法を紹介します。このチャットボットを「BIBot」と呼んでいますが、別の名前を使うようカスタマイズできます。BIBot は、質問をバックエンドデータベースクエリに変換し、さらに結果セットを自然言語応答に変換することによって、データベース内のデータに関するユーザーの質問に答えることができます。例えば、「先月の在庫の増加を教えてください」というリクエストは、「month(received_date) = 10 の在庫から sum(item_qty) を選択する」に変換します。 BIBot は、ビジネスインテリジェンスとレポートアプリケーション向けの一般的なリレーショナルデータベースと統合されています。サンプルデータベースは Amazon Redshift TICKIT データベースです。これは、ユーザーが音楽コンサートや劇場でのショーのチケットをオンラインで購入したり販売できる架空のウェブサイトでの売り上げを追跡するものです。データベースは、2 つのファクトテーブル (販売、リスト) と 5 つのディメンションテーブル (イベント、日付、会場、カテゴリ、ユーザー) を持つスタースキーマです。詳細については、「Amazon Redshift」 » 「サンプルデータベース」を参照してください。 BIBot とのやりとりの例をいくつか紹介します。 これらの例から分かるように、BIBot は 6 月にヒューストンについて聞いたことと、何枚のチケットが売れたか聞いたことを覚えており、そのため、質問のコンテキストを把握することができます。会話は、データの「言葉」を利用します。つまりこの場合、チケット販売、都市、月、イベントなどです。これらは、サンプルチケット販売データベースのファクトとディメンションです。レポートデータベースを使用するように BIBot を調整すると、ボットとの会話はデータの言葉で行われます。 アーキテクチャ BIBot のアーキテクチャはシンプルです。Amazon Lex ボットは、ユーザーの各質問をインテントに送り、質問をスロットでパースします。次に、Amazon Lex ボットはインテントとスロットのデータを AWS Lambda 関数に渡します。この関数はデータを使用して、SQL クエリを構築し、Amazon Athena データベースに対して実行します。Athena は、Amazon S3 […]

Read More

Amazon SageMaker と Amazon Redshift を利用した、高速・柔軟・セキュアな機械学習基盤の構築

データウェアハウス環境として、 Amazon Redshift に販売データ・ログデータ・センシングデータ等を蓄積し、これらのデータを用いて機械学習の活用を検討されるケースは多いと思います。高速にクエリを実行できる Redshift と、Amazon SageMaker による Jupyter Notebook を用いた対話的なデータ分析と機械学習を活用し、需要予測・レコメンド・異常検知などを行うことが可能です。 本稿では、 Redshift から Amazon VPC 内でセキュアにデータを取得し、SageMaker を利用した分析・機械学習パイプラインを構築する方法をご紹介します。前半では、アーキテクチャの概要を説明します。後半では、そのアーキテクチャのサンプルを構築し 、SageMaker から SQL クエリを実行して、データを分析する方法について説明します。環境を簡単に構築できるよう、 AWS CloudFormation のテンプレートを用意しているので、実際に試しながら読み進めることができます。SageMaker や Redshift の概要については末尾に記載した参考記事をご覧下さい。 アーキテクチャ概要 大規模データに対し、高速・柔軟・セキュアにデータ分析を行うための、Redshift と SageMaker を組み合わせたアーキテクチャを以下に示します。     AWS を利用した分析・機械学習パイプラインとしては様々なアーキテクチャが考えられますが、ここでは Redshift に対して SageMaker の Jupyter Notebook 上から SQL クエリを実行し、必要なデータのみを取得して分析・可視化・機械学習を行うことを想定します。Redshift のサンプルデータが Amazon S3 にあるため事前にそれを読み込んでいます。 それでは、具体的にアーキテクチャの詳細を確認していきましょう。 速度と分析の柔軟さの両立 データの分析・可視化・機械学習を行う場合、ブラウザ上で動作する対話型データ分析ツールである Jupyter Notebook […]

Read More

Amazon Kinesis Video Streams および Amazon SageMaker を使用したリアルタイムでのライブビデオの分析

Amazon SageMaker の Amazon Kinesis Video Streams Inference Template (KIT) の発売を発表できることを嬉しく思っています。この機能により、顧客はほんの数分で Amazon SageMaker エンドポイントに Kinesis Video streams をアタッチすることが可能です。これにより、他のライブラリを使用したり、カスタムソフトウェアを作成してサービスを統合することなく、リアルタイムの推論が可能になります。KIT は、Docker コンテナとしてパッケージ化された Kinesis Video Client Library ソフトウェアと、すべての必要な AWS リソースのデプロイを自動化する AWS CloudFormation テンプレートとで構成されています。 Amazon Kinesis Video Streams を使用すると、アナリティクス、機械学習 (ML) 、再生、その他の処理のために、接続したデバイスからオーディオ、ビデオ、関連メタデータを AWS に確実にストリームすることができます。Amazon SageMaker は、開発者やデータサイエンティストが ML モデルを迅速かつ容易に構築、トレーニング、および展開するための管理プラットフォームです。 ホームセキュリティカメラ、エンタープライズ IP カメラ、トラフィックカメラ、AWS DeepLens 、携帯電話などのソースからオーディオおよびビデオフィードを Kinesis Video Streams へと取り込みます。スマートホームのざまな業界からスマートシティへ、インテリジェント製造から小売業に渡るさまざまな業界のデベロッパーとデータサイエンティストが、AWS クラウドでこれらの動画フィードを分析するために、独自の 機械学習アルゴリズムを導入したいと考えています。これらの顧客が Kinesis Video […]

Read More

Amazon SageMaker IP Insights アルゴリズムを使用して、不審な IP アドレスを検出する

本日、Amazon SageMaker の新しい IP Insights アルゴリズムが公開されました。IP Insights は、IP アドレスの異常な動作や使用パターンを検出する教師なし学習アルゴリズムです。このブログ記事では、IP アドレスを使用した不正行為の特定、Amazon SageMaker IP Insights アルゴリズムの説明、実際のアプリケーションでの使用方法のデモンストレーション、およびその結果を社内で共有する方法について解説します。 悪意ある行為と戦う 悪意のある行為には、たいていの場合、オンラインバンキングアカウント、管理コンソール、ソーシャルネットワーキングまたはウェブメールアカウントへのアクセスなどのオンラインリソースへの不正なアクセス、いわゆるアカウントの乗っ取りが含まれます。乗っ取りは通常、盗まれたり、紛失またはリークされた認証情報を使用して行われ、不正なアクセスが、アカウントのいつもとは異なる IP アドレス (例えば、ユーザーからではなくハッカーのコンピュータ) から発信されることがほとんどです。 アカウントの乗っ取りを防ぐための一般的な防御策は、オンラインリソースに以前にはなかった IP アドレスでアクセスする際にフラグを立てることです。フラグ設定された対話はブロックすることができます。もしくは、ユーザーが追加の認証形式 (SMS への応答など) を利用して、乗っ取りに挑むこともできます。しかし、ほとんどのユーザーは、これまで使用していなかった IP アドレスから定期的にオンラインリソースにアクセスします。したがって、「新しい IP をフラグする」方法は、不適当に高い偽陽性率を生み、残念な顧客エクスペリエンスをもたらします。 ユーザーは定期的に新しい IP アドレスからオンラインリソースにアクセスしますが、新しい IP アドレスは完全な無作為での選択ではありません。ユーザーの移動習慣やインターネットサービスプロバイダーの IP 割り当て戦略など、いくつかの潜在的な要因が割り当てに影響します。これらの潜在的な要因すべてを明確に列挙することは、普通では困難です。しかし、オンラインリソースのアクセスパターンを見ることで、新しい IP アドレスが予期されたイベントなのか異常なのかを予測することは可能です。Amazon SageMaker IP Insights アルゴリズムは、これを行うために厳密に設計されています。 Amazon SageMaker IP Insights アルゴリズム Amazon SageMaker IP Insights アルゴリズムは、統計的モデリングとニューラルネットワークを使用して、オンラインリソース (オンライン銀行口座など) と […]

Read More

Amazon Comprehend カスタムエンティティの利用を開始する

プライベートなカスタムエンティティタイプのサポートを可能にする Amazon Comprehend の更新をリリースしました。お客様は、完全に自動で特定の用語を抽出できる、最先端のエンティティ認識モデルのトレーニングをすることができます。機械学習の経験は必要ありません。このサービスにより、お客様は ML の入力と出力を学習しなくても、すでにお持ちのデータを使用してカスタムモデルを作成することができます。お客様はこの機能を使用して、保険証券番号、部品コード、シリアル番号などの組織のニーズに合ったカスタムエンティティを抽出するモデルを簡単に構築できます。 カスタムエンティティタイプを学習するためにサービスをトレーニングすることは、エンティティのセットや、それを含む現実のドキュメントのセットを提供するのと同じくらい簡単です。開始するには、エンティティの一覧をまとめます。製品データベースや、会社が経営計画に使っているエクセルファイルからエンティティを収集します。このブログ記事では、カスタムエンティティタイプをトレーニングして、財務書類から主要な財務用語を抽出します。 CSV 形式では、カラムヘッダとして「Text」と「Type」を必要とします。エンティティとタイプを含む文字列が、作成しようとしているエンティティタイプの名前です。 次に、それらのエンティティがどのように使われているかという観点から、エンティティを含むドキュメントのセットを集めます。このサービスでは、一覧のエンティティを少なくとも 1 つ以上含むドキュメントが、最低 1000 は必要です。 次に、1 つのフォルダからエンティティの一覧の CSV を読み込み、別のフォルダからすべてのドキュメントを含むテキストファイル (1 行に 1 つ) を読み込むようにトレーニングジョブを設定します。 両方のトレーニングデータの準備が整ったら、モデルのトレーニングをします。このプロセスは、トレーニングデータの量や複雑さによって、数分の場合もあれば、数時間かかる場合もあります。Amazon Comprehend では、自動機械学習を使用して、そのデータに最もよく機能する正しい組み合わせを見つけるために、正しいアルゴリズムを選択し、モデルのサンプリングとチューニングを行います。 トレーニングが完了するとカスタムモデルの準備が整います。以下に、有益なメタデータと、トレーニングされたモデルを示します。 カスタムエンティティを探すドキュメントの分析を開始するには、AWS SDK を使用してポータルまたは API のいずれかを使用します。この例では、カスタムエンティティタイプを使用して財務書類を分析する分析ジョブをポータルに作成します。 CLI を使用した同じジョブ送信がどのようになるかを示します。 aws comprehend start-entities-detection-job \ –entity-recognizer-arn “arn:aws:comprehend:us-east-1:1234567890:entity-recognizer/person-recognizer“ \ –job-name person-job \ –data-access-role-arn “arn:aws:iam::1234567890:role/service-role/AmazonComprehendServiceRole-role” \ –language-code en \ –input-data-config “S3Uri=s3://data/input/” \ –output-data-config “S3Uri=s3://data/output/“ […]

Read More

AWS で独自の自然言語モデルを構築する (機械学習経験は必要ありません)

AWS は、昨年の AWS re:Invent で Amazon Comprehend を発表しました。これは、非構造テキストからキーフレーズ、場所、人物、名前、ブランド、イベント、およびセンチメントを抽出する自然言語処理サービスです。AWS によって訓練された高度な深層学習モデルによって動作する Comprehend では、機械学習スキルを必要とすることなく、開発者なら誰でもアプリケーションに自然言語処理を追加することが可能になります。 本日 のブログ記事では、開発者が Comprehend を拡張して、自然言語用語を識別し、そのチーム、ビジネス、または業界に特化したテキストを分類できるようにする、Comprehend の新しいカスタム化機能についてお知らせしたいと思います。 AWS では、大勢のお客様から、データ、特に非構造の自然言語で構成されるデータが過剰にあることをお聞きしていますが、大量に存在するカスタマー E メール、サポートチケット、会計報告、製品レビュー、ソーシャルメディア、または広告文の中に隠れている有力情報の宝庫を見つけるために組織の内部を掘り起こす必要はなくなると思われます。藁山の針を探す援助をすることは、機械学習が特に得意とすることです。機械学習モデルは、大量のテキストの中から関心がある特定のアイテムを探し出すことにおいて極めて正確になり得 (分析レポート内での企業名の検索など)、言葉の中に隠されたセンチメントにも敏感です (否定的なレビュー、またはカスタマーサービス担当者とカスタマーの建設的な交流の特定)。 Comprehend は一般名称 (場所および物など) の検索のために高精度のモデルを備えていますが、お客様は、その機能を拡張して、ポリシー番号や部品コードなどのより具体的な言語を識別したいと考えておられることがよくあります。これには通常、何もない状態から初めて、新しい専門的な機械学習言語モデルを構築すること (データに注釈を付ける、アルゴリズムを選択する、パラメータを調整する、モデルを最適化する、そして本番でモデルを実行する) が伴います。これらすべての手順には、深層機械学習に関する専門知識が必要となるだけでなく、「Undifferentiated Heavy Lifting」(差別化につながらない重労働)、つまり多くのアプリケーション開発者がむしろ独自の新しい機能の構築に費やしたいと考える労力も意味しています。 Amazon Comprehend のカスタマイズ (機械学習経験は必要ありません) 今日、AWS はお客様が藁山でより多くの針を見つけるためのお手伝いをしています。これに機械学習スキルは必要ありません。Comprehend は目に見えないところでカスタマイズされた機械学習モデルを構築、訓練、およびホストするための重労働を行い、プライベート API を通じてこれらのモデルを利用できるようにします。 カスタムエンティティは、開発者が Comprehend をカスタマイズして、開発者の分野に特定の用語を識別することを可能にします。Comprehend は、例から成る小規模のプライベートインデックス (例えば、ポリシー番号のリスト、およびそれらが使用されるテキスト) から学び、他のテキストブロックでこれらを認識するようにプライベートなカスタムモデルを訓練します。管理するサーバーもなければ、習得するアルゴリズムもありません。 カスタム分類は、開発者が名前が付けられたカテゴリにドキュメントをグループ化できるようにします。わずか 50 件の例で、Comprehend はドキュメントのすべてを分類するために使用できるカスタム分類モデルを自動的に訓練します。サポート E メールを部署ごとに、ソーシャルメディア記事を製品ごとに、または分析レポートを事業単位ごとにグループ化することができます。例がない、またはカテゴリが頻繁に変更される場合 (これはソーシャルメディアで良く見られます)、Comprehend はトピックモデリングを使用してドキュメントの内容だけに基づいて分類することもできます。 Amazon Comprehend […]

Read More