Amazon Web Services ブログ

Category: Artificial Intelligence

Amazon SageMaker と Deep Graph Library を使用して異種ネットワークの不正を検出する

詐欺的なユーザーや悪意のあるアカウントは、企業にとって年間数十億ドルもの収益の損失につながる可能性があります。多くの企業は、ルールベースのフィルターを使用してシステムでの悪意のあるアクティビティを防止していますが、このようなフィルターは脆弱で、悪意のある動作のすべてをキャプチャできない場合があります。 ただし、グラフ手法などの一部のソリューションは、詐欺師や悪意のあるユーザーの検出に特に適しています。詐欺師は行動を進化させて、ルールベースのシステムや単純な特徴ベースのモデルをだますことができますが、グラフ構造や、トランザクションや対話のログに記録されたユーザーと他のエンティティ間の関係を偽造することは困難です。グラフニューラルネットワーク (GNN) は、グラフ構造からの情報をユーザーやトランザクションの属性と組み合わせて、悪意のあるユーザーやイベントを正当なものと区別できる意味のある表現を学習します。 この記事では、Amazon SageMaker と Deep Graph Library (DGL) を使用して GNN モデルをトレーニングし、悪意のあるユーザーや不正なトランザクションを検出する方法を説明します。詐欺検出のためのフルマネージド AWS AI サービスをお求めの企業は、Amazon Fraud Detector を使用することもできます。これにより、偽のアカウントの作成やオンライン支払い詐欺など、潜在的に詐欺的なオンライン活動を簡単に特定できます。 このブログ記事では、Amazon SageMaker を使用したデータの前処理とモデルのトレーニングに焦点を当てています。  GNN モデルをトレーニングするには、最初にトランザクションテーブルやアクセスログの情報を使用して異種グラフを作成する必要があります。異種グラフは、さまざまなタイプのノードとエッジを含むグラフです。ノードがユーザーまたはトランザクションを表す場合、ノードは他のユーザーや、場合によっては他のエンティティ (デバイス識別子、機関、アプリケーション、IP アドレスなど) と異なる種類の関係をいくつか持つことができます。 これに当てはまるユースケースの例には、次のものがあります。 ユーザーが他のユーザーまたは特定の金融機関やアプリケーションと取引する金融ネットワーク ユーザーが他のユーザーと対話するだけでなく、個別のゲームやデバイスとやり取りするゲームネットワーク ユーザーが他のユーザーへのさまざまな種類のつながりを持つことができるソーシャルネットワーク 次の図は、異種金融取引ネットワークを示しています。 GNN には、人口統計情報などのユーザーに関する特徴や、アクティビティ頻度などのトランザクションに関する特徴を組み込むことができます。つまり、メタデータとしてのノードとエッジの特徴を用いて、異種グラフ表現を充実させることができます。異種グラフのノードと関係が確立された後、それらに関連する特徴を用いて、ノードまたはエッジの特徴およびグラフ構造の両方を使用して、GNN モデルをトレーニングして、さまざまなノードを悪意のあるノードと正当なノードに分類する方法を学習できます。モデルトレーニングは、半教師ありの方法で設定されます。グラフには、不正または正当とラベル付けされたノードのサブセットがあります。このラベル付けされたサブセットをトレーニング信号として使用して、GNN のパラメータを学習します。トレーニングされた GNN モデルは、ラベルを予測して、グラフ内の残りのラベルなしノードを見つけることができます。 アーキテクチャ 開始するには、Amazon SageMaker を用いた完全なソリューションアーキテクチャを使用できます。これにより、処理ジョブとトレーニングジョブを実行できます。Amazon SageMaker ジョブは、Amazon Simple Storage Service (Amazon S3) put イベントに応答する AWS Lambda 関数を使用して […]

Read More

検索インテントを使用してAmazon KendraとAmazon Lex を統合する

カスタマーサービスの会話は、一般的に1つ以上のトピックを中心に展開し、関連する質問を含みます。これらの質問にシームレスに答えることが良い会話を行うために不可欠です。例えば、レンタカーを予約する際には、「追加ドライバーにかかる料金はいくらですか?」や「子ども用のカーシートはありますか?」といった質問があると思います。 本日より、Amazon Lex ボットで検索インテントを使用して Amazon Kendra と統合できるため、ボットが Kendra からの回答を表示してくれるようになります。 Amazon Kendra は、最近、エキサイティングな新機能を搭載し、全ての AWS ユーザーに一般公開されました。Amazon Kendra は、機械学習を原動力として、高精度で使いやすいエンタープライズ検索サービスを提供します。これにより、自然言語を使用して直感的に検索したり、より正確な回答を返すことができるようになるため、エンドユーザーは組織の膨大な量のコンテンツ内に保存されている情報を見つけることができます。 以前、AWS Lambda 関数を Amazon Lex ボット内に追加して Kendra と統合する方法について説明しました。詳細はAmazon Kendra を使用して、よくある質問 ボットをよりスマートにをご覧ください。このアプローチでは、統合コードを記述して維持する必要があり、設定を更新する際には必ずこのコードを更新する必要があります。現在は、検索インテントを追加して、FAQ ドキュメントから探している回答を得ることができます。ボット定義の一部として、インテント内に検索インデックスパラメータを定義するだけで良いのです。ユーザー入力が他の構成されたインテントのいずれとも一致しない場合、ボットは対話中に Amazon Kendra 検索インデックスに問い合わせます。検索クエリの応答には、ボットが応答に使用できるリクエスト属性が入力されます。Lambda のコードを記述する必要は全くありません。この統合はシンプルで、Amazon Kendra から Amazon Lex の会話にシームレスに自然言語の回答を配信することができます。 この投稿は、検索インテントを使用して Amazon Lex ボットを Amazon Kendra と統合する方法を示しているため、会話において回答を提供するボットを素早く構築できます。下図に、今回のソリューションを示します。 Lex ボットの構築 以前の投稿と同じ会話を使ってボットの会話をモデル化します。 ユーザー: IT ヘルプデスクはどこにありますか? エージェント: 2 階の 201 号室 […]

Read More

Amazon Comprehend を使用して、ツイートから通信ネットワークのサービス停止を検出して視覚化する

今日の世界では、ソーシャルメディアは、顧客が消費するサービスの体験を共有する場所になっています。すべての通信プロバイダーは、顧客が不満な点をできるだけ早く理解し、頻繁に NOC (ネットワークオペレーションセンター) 内にソーシャルメディアチームを立ち上げることを望んでいます。このチームは、ツイートなどのソーシャルメディアメッセージを手動で確認し、キャリアのネットワークに特定の問題があることをほのめかす顧客の苦情や問題のパターンを特定するよう務めます。 不満を抱いている顧客はプロバイダーを乗り換える可能性が高いため、オペレーターは顧客体験を改善し、サービスの問題を報告している不満足な顧客に積極的にアプローチします。 もちろん、ソーシャルメディアは非常に大規模に運用されており、通信会社のお客様からはソーシャルメディアデータから顧客の問題を手動で明らかにすることは非常に困難であるとの声が伝わってきます。 この記事では、通信会社が Amazon Comprehend のカスタムマルチクラス分類を使用して、サービス停止を特定し、顧客と積極的に関わることができるように、ツイートをリアルタイムで分類する方法を示します。 ソリューションの概要 通信会社の顧客は、サービス停止についてソーシャルメディアに投稿するだけでなく、提供されたサービスについてコメントしたり、競合他社と比較したりしています。 会社は、それらのタイプのツイートを個別にターゲットにすることで有効活用できます。オプションの 1 つに、顧客からフィードバックをもらうことがあります。これを受けて、カスタマーサービスが顧客に対応することができます。サービス停止の場合、エンジニアが問題を特定できるように、情報を収集して外部システムでチケットを切る必要があります。 この記事のソリューションは、AI 主導型ソーシャルメディアダッシュボードソリューションを拡張したものです。次の図は、ソリューションのアーキテクチャを示しています。 AI 主導型ソーシャルメディアダッシュボードソリューションの実装アーキテクチャ このソリューションでは、Amazon Virtual Private Cloud (Amazon VPC) で実行される Amazon Elastic Compute Cloud (Amazon EC2) インスタンスをデプロイし、Twitter からツイートを取り込みます。Amazon Kinesis Data Firehose 配信ストリームは、ソリューションの Amazon Simple Storage Service (Amazon S3) バケットの raw プレフィックスにストリーミングツイートをロードします。Amazon S3 は AWS Lambda 関数を呼び出して、Amazon Translate を使用して生のツイートを分析し、英語以外のツイートを英語に翻訳します。そして Amazon […]

Read More

Amazon Polly が米国英語の子供の NTTS の音声の提供を開始

Amazon Polly はテキストをリアルな音声に変換するサービスです。これを利用して、音声対応アプリケーションの作成が可能です。米国英語の新しい子供の音声である Kevin の一般提供の開始を発表できることをうれしく思います。Kevin の音声は、最新のニューラルテキスト読み上げ (NTTS) テクノロジーを使用して開発されたため、自然で人間に近い音声となっています。この音声は男の子の声を模倣しています。Kevin の音声をお聞きください。 Kevin の音声サンプル 1 今すぐ再生 Amazon Polly の音声 Kevin の音声サンプル 2 今すぐ再生 Amazon Polly の音声 Amazon Polly では、14 のニューラル音声から選択できます。 米国英語 (en-US): Ivy、Joey、Justin、Kendra、Kevin、Kimberly、Joanna、Matthew、Salli 英国英語 (en-GB): Amy、Brian、Emma ブラジルポルトガル語 (pt-BR): Camila 米国スペイン語 (es-US): Lupe ニューラル音声は、以下のリージョンでサポートされています。 米国東部 (バージニア北部) 米国西部 (オレゴン) アジアパシフィック (シドニー) 欧州 (アイルランド) テキスト読み上げ音声の完全なリストについては、Amazon Polly の音声を参照してください。 お客様は、Amazon Polly の音声を使用して、ニュースコンテンツ、ゲーム、e ラーニングプラットフォーム、テレフォニーアプリケーション、ユーザー補助アプリケーション、IoT […]

Read More

機械学習を使用してリアルタイムのレース分析を提供

AWS DeepRacer は、機械学習 (ML) を初めて使用する経験のない開発者にとって、楽しく簡単な方法です。2019 年シーズンの終わりに、AWS DeepRacer リーグは、Amazon ML Solutions Lab と協力して、re:Invent 2019 で行われた AWS DeepRacer チャンピアオンシップカップの新しいスポーツ分析機能を開発しました。 このようなリアルタイム分析の目的は、上位の競争相手の戦略や戦術について、コンテキストやより詳細な経験を提供することにありました。これにより、視聴者は特定のモデル戦略がどのようにして順調に進展したのかを明確に理解でき、ML の開発をさらに分かりやすいものにし、実世界での応用できることを実証しました。この強化により、ファンは世界中の競争相手のパフォーマンスと運転スタイルを監視できるようになりました。 この投稿では、これらの分析を開発し、本番環境にデプロイし、ファンに配信した方法について説明します。 ML と従来の統計情報から得られるインサイトを活用 ML Sokutions Labは、モータースポーツに関する当社の専門知識を活用して、ML と従来の統計学の両方を活用したカスタムのアナリティクススイートを構築しました。 競争相手の勢いは、将来のパフォーマンスを示す重要な指標です。例えば、連勝状態にあると、超高速ラップを続けて記録する場合のように、自信を深めることができます。しかし、連敗状態になると、逆に働き、順調に進めることは困難になります。競争相手の次のラップタイムを予測することで、この傾向をファンに伝えました。Amazon Forecast で AutoML を使用してさまざまな予測方法を比較した結果、指数平滑化法( ETS )アルゴリズムを使うと、使用可能なデータセットが小さいにも関わらず正確な予測が得られることが分かりました。 ラップタイムの一貫性のようなメトリクスにより、ファンは、64 人の競技者が参加するチャンピオンシップカップ開幕戦では、さまざまな運転スタイルを解釈することができるようになりましたが、2 日目のトーナメント試合では、どのスタイルが優位に立つのははっきりしませんでした。ソラの攻撃的で危険なほど早いペースを、フミアキの一貫して正確なスタイルが抑えて勝利を収めるのでしょうか? シミュレーションされたレースを使用して、各対戦の勝者を予測することができ、ファンが最後まで大接戦となるようなレースを予測することできるようにしました。統計的アプローチをとり、各競合相手のラップタイムを確率分布でモデル化しました。2019 年の AWS DeepRacer サミットのデータを参照することで、特定の競合相手のラップタイムの分布は全体的に右に歪んでおり、時間の経過とともに改善していることが分かりました。このラップタイムの歪度をとらえるには、最尤推定法を用いてワイブル分布にあてはめることにより、最適スケールとシフトパラメータを見つけます。 次にグラフは、上位 3 名の競合相手のラップタイムの分布を示しています。 勝者の予測問題を、より早い競争相手の最速タイムに打ち勝つ可能性(テイル確率)としてとらえ、モンテカルトシミュレーションを使用して、各競争相手のワイブル分布からサンプルと採取し、その可能性を計算しました。 サーバレスアーキテクチャを使用したソリューションをデプロイ これらのインサイトをリアルタイムで計算するために、AWS 上で低レイテンシでサーバーレスのアーキテクチャに分析法一式をデプロイしました。次の図は、このアーキテクチャを示しています。 アーキテクチャには、次の手順が含まれます。 競争者がラップを完了すると、その時間は Amazon Aurora サーバーレスを動作させている Amazon Relational […]

Read More

Amazon EKS が EC2 Inf1 インスタンスのサポートを開始

Amazon Elastic Kubernetes Service (EKS) は、短期間で機械学習ワークロードのための主要な選択肢になりました。開発者の俊敏性と Kubernetes のスケーラビリティを組み合わせており、AWS で利用可能な Amazon Elastic Compute Cloud (EC2) インスタンスタイプの幅広い選択肢 (C5、P3、G4 ファミリーなど) からお選びいただけます。 モデルがより高度になるにつれ、高スループットで予測を素早く提供するためにハードウェアアクセラレーションがますます求められています。本日より、AWS のお客様は、Amazon Elastic Kubernetes Service で Amazon EC2 Inf1 インスタンスを使用できるようになりました。これにより、クラウドでの高いパフォーマンスを最小限の予測コストで実現できます。 EC2 Inf1 インスタンス入門 Inf1 インスタンスは、AWS re:Invent 2019 でリリースされました。これらは AWS が一から構築したカスタムチップの AWS Inferentia を使用しており、機械学習の推論ワークロードが加速します。 Inf1 インスタンスは複数のサイズで利用可能で、1、4、または 16 の AWS Inferentia チップがあり、最大 100 Gbps のネットワーク帯域幅と最大 19 Gbps の EBS […]

Read More

Amazon SageMaker を使用して本番稼働で ML モデルの A/B テストを行う

 完全マネージドサービスの Amazon SageMaker では、開発者やデータサイエンティストが機械学習 (ML) モデルを迅速に構築、トレーニング、デプロイできます。Intuit、Voodoo、ADP、Cerner、Dow Jones、Thompson Reuters をはじめとする何万人ものお客様が、Amazon SageMaker を使って ML プロセスで発生する負担の大部分を解消しています。Amazon SageMaker を使用すれば、ホストされたエンドポイントに ML モデルをデプロイし、リアルタイムに推論結果を取得できます。エンドポイントのパフォーマンスメトリクスは Amazon CloudWatch で簡単に表示でき、自動スケーリングを有効化することで、トラフィックに基づいて自動的にエンドポイントのスケールを調整できるほか、可用性を失うことなく本番稼働でモデルを更新できます。 e コマースアプリケーションなど、多くの場合、オフラインでのモデル評価では不十分であり、モデル更新の意思決定をする前に、本番稼働でモデルの A/B テストを実施する必要があります。Amazon SageMaker を使用すると、エンドポイントで複数の本番稼働用バリアントを実行することで、ML モデル上で A/B テストを簡単に実施できます。本番稼働用バリアントを使用することで、さまざまなトレーニングデータセット、アルゴリズム、および ML フレームワークを使用してトレーニングされた ML モデルをテストしたり、異なるインスタンスタイプのモデルの振る舞いをテストしたり、あるいは上記すべてを組み合わせたテストを行うことができます。 今までの場合、Amazon SageMaker は、ユーザーがエンドポイント上の各バリアントに指定した配分に基づいて、バリアント間の推論トラフィックを分割していました。これは、各バリアントにどれくらいのトラフィックを送るかを制御する必要がある一方で、リクエストを特定のバリアントにルーティングする必要がない場合に役立ちます。たとえば、本番稼働でモデルを更新して、トラフィックの一部を新規モデルに転送することで、既存のモデルと比較する必要がある場合などです。しかしユースケースによっては、特定のモデルで推論リクエストを処理して、特定のバリアントを呼び出す必要があります。たとえば、異なるカスタマーセグメントをまたいで ML モデルがどのような振る舞いをするかをテストおよび比較し、あるセグメントのカスタマーからのリクエストすべてを、特定のバリアントを用いて処理する必要がある場合などです。 今では、どのバリアントで推論リクエストを処理するかを選べるようになりました。各推論リクエストで TargetVariant ヘッダーを指定することで、Amazon SageMaker は指定されたバリアントでリクエストを処理します。 ユースケース: Amazon Alexa Amazon Alexa では、Amazon SageMaker を使用して、さまざまな ML ワークロードを管理しています。Amazon Alexa […]

Read More

Amazon SageMaker と Amazon Augmented AI によるオブジェクトの検出とモデルの再トレーニング

ヘルスケア、メディア、ソーシャルメディアプラットフォームなどの業界では、画像分析ワークフローを使用して、画像内のオブジェクトやエンティティを識別し、画像全体を把握しています。たとえば、e コマースのウェブサイトでは、画像内に存在するオブジェクトを使って関連する検索結果を表示することも可能です。画像がぼやけていたり、微妙なニュアンスがある場合、画像分析が困難な場合があります。このような場合には、人による判断で機械学習 (ML) のループを終了させたり、画像についてアドバイスする必要が出てくるでしょう。 この投稿では、Amazon SageMaker を使用して物体検出の ML モデルを構築、トレーニング、デプロイします。さらに Amazon Augmented AI (Amazon A2I) を使って、画像内で見つけたオブジェクトをレビュー担当者が識別またはレビューできるようにするカスタムワーカーテンプレートを作成し、レンダリングできるようにします。完全マネージドサービスの Amazon SageMaker では、開発者やデータサイエンティストが ML モデルを迅速に構築、トレーニング、デプロイできます。Amazon SageMaker により ML 処理の各ステップでの面倒な作業から解放されるため、高品質なモデルの開発がさらに容易になります。Amazon A2I は、お客様がヒューマンレビューワークフローを構築し、ML モデルの予測をレビューおよび検証するのに役立つ完全マネージドサービスです。 さらに Amazon Rekognition を使ってオブジェクトを検出し、事前に定義したクラスのセットからオブジェクトを識別したり、Amazon Rekogition Custom Labels でカスタムモデルをトレーニングします。ご自身のデータを持ち込むだけで、ビジネスニーズに固有の画像内のオブジェクトやシーンを検出することができます。 ヒューマンワークフローが必要となる他の一般的なユースケースには、画像や動画のコンテンツモデレーション、さらにドキュメント、翻訳、感情分析からのテキストやエンティティの抽出があります。ML モデルで不適切なコンテンツを識別したりエンティティを抽出したりできますが、ユースケースに基づいたモデルの予測を検証するには人の介入が必要になることもあります。Amazon A2I は、これらのヒューマンワークフローを迅速に作成する支援を行います。 Amazon A2I を使って、ML 予測のランダムなサンプルをヒューマンレビュー担当者に送信することもできます。これらの結果を使い、利害関係者にモデルのパフォーマンスを通知し、モデルの予測を監査できます。 前提条件 この投稿では、次の前提条件が必要です。 IAM ロール – ヒューマンタスク UI でレンダリングするオブジェクトを読み込み、結果を書き込むためには、Amazon Simple Storage Service (Amazon […]

Read More

REA Group は、Amazon Rekognition を使用していかに画像コンプライアンスの自動化を実現したか

 Amazon Rekognition は、画像や動画内のオブジェクト、人物、文字、場面および活動を識別し、さらに不適切な内容を検知する、機械学習 (ML) ベースの画像および映像分析サービスです。Amazon Rekognition のテキスト検出機能は、画像や動画のテキストコンテンツを認識し、抽出することを可能にします。たとえば画像共有アプリやソーシャルメディアアプリでこの機能を使用すると、テキスト検索により、同じキーワードでインデックス化された画像を表示させることができます。メディアアプリやエンターテインメントアプリの場合、広告、ニュース、スポーツのスコア、字幕など、画面上のテキストに基づいて動画をカタログ化できます。 次のスクリーンショットは、画像内テキスト の抽出例を示しています。 この記事では、REA Group が DetectText API を通じてAmazon Rekognition Text in Image 機能を使用することで、不動産リスティングにいかに自動画像コンプライアンスソリューションを導入したかについて説明します。 REA Group について REA Group は、不動産向けデジタル広告を専門とする多国籍企業です。創業から 20 年以上を数える同社は、オーストラリア、マレーシア、香港、タイ、インドネシア、シンガポール、中国で事業を展開しています。REA Group は、アジアで iproperty.com.my、 squarefoot.com.hk、thinkofliving.com といった主要ポータルブランドを運営しているほか、シンガポールとインドネシアで不動産広告サイトを展開する 99 Group を傘下に収めています。さらに、インドの不動産広告サイトである Move, Inc や PropTiger の大株主でもあります。REA Group のウェブサイトは、消費者に向けた不動産の売買および賃貸サービスに加え、最新の不動産ニュース、改装のヒント、ライフスタイル情報などを提供しており、1 日あたりの訪問者数は何百万人にも上ります。 画像コンプライアンスの課題 REA Group が提供する検索ベースのポータルでは、消費者は売主がアップロードした販売中の不動産の画像を検索し、幅広い選択肢の中から選び出すことができます。REA チームは、アップロードされた画像がしばしば利用規約に違反していることに気づきました。たとえば、売主の商標や連絡先の詳細が含まれた画像がアップロードされていることがあり、そのことがリード帰属問題を引き起こしていました。そこで同社は、画像の中に許可されないコンテンツがないかを人の目で確認するためのチームを立ち上げましたが、日々膨大な量の画像がアップロードされる中、審査プロセスが増えたことで不動産リスティング広告が掲載されるまでに数日の遅れが出るようになってしまいました。 画像コンプライアンスソリューション REA チームは、規約に準拠していない画像を自動的に検出し、売主に通知する画像コンプライアンスシステムを開発しました。当初は、Amazon Elastic Compute […]

Read More

Amazon SageMaker Ground Truth での 3D オブジェクトトラッキングとセンサーフュージョンのデータのラベル付け

 Amazon SageMaker Ground Truth は、3D ポイントクラウドデータのラベル付けをサポートするようになりました。リリースされた機能セットの詳細については、この AWS ニュースブログの記事を参照してください。 このブログ記事では、3D ポイントクラウドデータから必要なデータ変換を実行して、SageMaker Ground Truth で 3D オブジェクト追跡ユースケースのラベル付けジョブを作成する方法を具体的に説明します。 自律型運転車 (AV) 企業は通常、LiDAR センサーを使用して、車両周辺環境の 3D についての理解度を高めます。たとえば、LiDAR センサーを車両に取り付けて、特定の時点で周囲の 3D 環境スナップショットを継続的にキャプチャします。LiDAR センサーの出力は、一連の 3D ポイントクラウドフレームです (通常、キャプチャレートは 1 秒あたり 10 です)。車両の周囲から関心のあるオブジェクト (他の車両や歩行者など) を自動的に追跡できる知覚システムを構築するために、これらの企業は、最初に 3D ポイントクラウドフレーム内のオブジェクトに手動でラベルを付け、次にラベル付けされた 3D フレームを使用して機械学習 (ML) モデルをトレーニングします。 知覚システムの構築に関しては、複数のセンサーからの入力を使用して、個々のセンサーの欠点を軽減するのが一般的な方法です。たとえば、ビデオカメラは、信号が赤、黄、緑のいずれであるかなどの重要なコンテキスト情報を提供できますが、通常、暗い状況では知覚が制限されます。一方、LiDAR センサーは、交通信号の色のような特定のコンテキストを理解することはできませんが、外が明るいか暗いかに関係なく、360 度にわたって深度ある知覚を提供できます。 SageMaker Ground Truth は、ML トレーニングデータセットを構築するための一連の 3D ポイントクラウドフレームにわたってオブジェクトに簡単にラベルを付け、最大 8 台のビデオカメラ入力を備えた LiDAR データのセンサーフュージョンをサポートします。ビデオフレームと […]

Read More