Amazon Web Services ブログ

Category: Artificial Intelligence

Pixm が、AWS で Apache MXNet を使用して、深層学習でフィッシング攻撃に対処

膨大なサイバーセキュリティに関する努力にもかかわらず、フィッシング攻撃は依然として増加しています。フィッシングとは、加害者が評判の良い企業であるように偽り、個人を騙してパスワードやクレジットカード番号などの個人情報を公表させようとする詐欺の一形態です。最も一般的なソーシャルネットでの不正行為です。  最近の Verizon データ漏えい/侵害調査報告書によると、現在のすべての違反の 93% はフィッシングメールから始まっています。 フィッシング攻撃を阻止する従来のソリューションは、ブラックリスト、IP レピュテーション、迷惑メールフィルタをクラウドにデプロイして、既知のフィッシングサイトを停止します。この報告書によると、報告されているフィッシングキャンペーンは 17% に過ぎないため、未報告または新しいフィッシングサイト (ゼロデイフィッシングとも呼ばれる) からの攻撃は停止されません。そして、攻撃が検出されても、攻撃が検証されてブラックリストデータベースに登録されるまでに数分から数時間かかることがあります。 ニューヨークに本拠を置くスタートアップの Pixm は、コンピュータビジョンを使用して、ますます増大するフィッシングの問題に新たなアプローチを取ります。Pixm の深層学習コンピュータビジョンベースのエンドポイントセキュリティソリューションは、デスクトップまたはラップトップのブラウザ内で、クリックした時点でリアルタイムでフィッシング攻撃を検出します。 「マルウェアに重点が置かれていますが、すべてはフィッシングメールから始まります。ところが、まだフィッシングのセキュリティにそれほど重点が置かれているわけではありません」と、Pixm の共同創設者兼最高製品責任者である Arun K. Buduri 氏は説明します。「フィッシング攻撃を阻止するためのソリューションとしてはブラックリストと IP レピュテーションが好まれていますが、どちらも反応的であり事後的です。」 Pixm が 2016 年の米国での選挙でブロックした攻撃のヒートマップでは、攻撃の 70% 近くが米国の中小企業や大学でホストされていました。 Pixm のソリューションは、デスクトップにウイルス対策ソフトウェアをインストールするのと同じ方法で、エンドポイントのデバイスにデプロイされます。顧客がブラウザでフィッシングリンクを開くと、Pixm のソフトウェアがページを視覚的に分析し、コンピュータビジョンによるオブジェクト検出と空間分析を実行してフィッシング攻撃かどうかを判断し、1 秒以内に終了させます。たとえば、加害者が大手銀行の顧客をターゲットとし、正式な銀行のウェブサイトと同じように見えるフィッシングサイトを作成することがよくあります。 Pixem は、Apache MXNet 深層学習フレームワークで作成した深層学習コンピュータビジョンモデルを使用して、ウェブサイトのスクリーンショットを継続的に分析します。たとえば、Pixm はオブジェクト検出を使用してモデルをブランドのロゴでトレーニングし、銀行のログインページのロゴが本物かどうかを検出します。 Pixm は、Caffe、Caffe2、TensorFlow、Keras などの多数の深層学習フレームワークを評価しましたが、Amazon EC2 コンピューティングインスタンスを使用して複数のオペレーティングシステムと高性能のモデル推論をサポートしていることから、最終的に MXNet を選択しました。また、MXNet は、Amazon EC2 P3 インスタンスで利用できるグラフィック処理ユニット (GPU) を使用して、大量の画像データを素早く大規模でトレーニングすることも可能にしています。 「4 か月間で、顧客のために 800 […]

Read More

Amazon SageMaker を利用して都市の空気汚染データをもとに天気への影響を予測するモデルを構築する。

都市における大気汚染は、人々、動物、植物や財産への悪影響をもたらす深刻な問題を引き起こしかねません。大気汚染は都市の人口が増え続けるにつれて注目を浴びるようになってきた重要な問題です。今年は ACM SIGKDD が主催する、毎年開催されるデータマイニングとナレッジディスカバリーの競技大会、2018 KDD Cup のテーマとして取り上げられました。 輸送と家庭暖房用に化石燃料を燃焼すると、汚染物質の二酸化窒素 (NO2) が生成され、都市環境の大気が汚染される主な原因となっています。二酸化窒素は、一酸化窒素 (NO) が酸化することによって生成される二次汚染物質です。これは呼吸器疾患の主な原因となっています。  欧州連合においては、2008/50/EC (Cleaner Air For Europe、CAFÉ) 指令により、NO2 の上限を毎時 200μg/m3、年平均 40μg/m3 と定められました。1 時間あたりの制限値の上限が年間で 18μg よりも上回ることは許されていません。 世界中の多くの都市で、少なくとも 1 日単位で大気質の水準が報告されています。私たちは、Amazon SageMaker (開発者やデータサイエンティストがあらゆる規模の機械学習モデルを短期間で簡単に構築、トレーニング、デプロイできるようにする完全マネージド型プラットフォーム) を使用して大気質のデータを調べることにしました。 シナリオ このブログ記事のデモンストレーションでは、選択した都市の大気汚染物質 (NO2) と天気の関係を調べます。 アイルランド、ダブリン。 大気質データは、アイルランド環境保護庁が運営する、長年にわたって確かな地位を築いてきたモニタリングステーションから取得したものです。このモニタリングステーションは、アイルランドのダブリン市のラスミネスにあります。ラスミネスは市内中心部から約 3 キロ南のダブリンの郊外に位置しています。  アイルランド共和国の首都ダブリンの人口は、約 100 万です。ダブリンは東側には海、南側には山があり、そして西と北側には平坦な地形が広がっています。市の風速と風向きは、ダブリンの南側にある山々から影響を受けます。一般的に風向きが南であるとき、山があることで風向きは南西または南東に偏向させられます。 天気データは、ダブリン空港にある長年信頼されてきた気象観測所から取得したものです。ダブリン空港は都市の北側の平坦な地形に位置していて、ダブリン市内中心部からは約 12 キロ北にあります。 ツール 探索的データ解析と機械学習のための Amazon SageMaker Amazon Simple Storage Service (Amazon S3) […]

Read More

動的なDeepLearningによる時系列データの予測

時間の経過とともに展開していくイベントを予測することは、オプション価格決定や、病気の進行、音声認識、サプライチェーン管理などを扱う多くのアプリケーションにとって不可欠な機能です。と同時に、こうした予測は難しいことでも知られています。 全体的な結果を予測するのではなく、特定の時刻に発生するイベントの一連の動き ( シーケンス ) を正確に予測することを目指します。物理学のノーベル賞受賞者である Niels Bohr 氏は、「予測は非常に難しいもので、未来については特にそうです。」と述べています。 このブログ記事では、AWS での深層学習アプローチを使用した時系列予測の高度なテクニックについて見ていきます。この投稿では、任意の時系列値予測に注目します。ですので、時系列を研究している読者にとって興味深い内容になるでしょう。またこの投稿では、読者が機械学習の分野で基礎的な技術知識をすでに持っていることを仮定しています。  Amazon SageMaker (Bring-Your-Own-Algorithm を使用 ) を活用して、複数の要因の過去の傾向に基づく時系列を予測する、独自の RNN ( リカレントニューラルネットワーク ) 深層学習アルゴリズムを開発していきます。Amazon SageMaker は完全マネージド型の機械学習プラットフォームで、データサイエンティストや開発者が機械学習モデルを素早くかつ簡単に構築し、大規模な実稼動アプリケーションとなるようにトレーニングするのををサポートします。これにより、ビルトインアルゴリズムとビルトインフレームワークの両方を使用できるようになり、Docker コンテナを使ったカスタムコードをインポートすることも可能になります。

Read More

AWS PrivateLink を使用してすべての Amazon SageMaker API コールを保護する

すべての Amazon SageMaker API 操作が AWS PrivateLink を介して完全にサポートされるようになりました。これにより、インターネットへのデータ暴露を減らすことで、クラウドベースのアプリケーションと共有されるデータセキュリティが向上します。ノートブックインスタンスへのアクセスは引き続き、TLSを介したインターネット経由となり、AWSマネージメントコンソールへのログインクレデンシャルで保護される形態となります。このブログでは、AWS PrivateLink を使用して Amazon SageMaker API コールを保護するための VPC エンドポイントの設定方法を説明します。 AWS PrivateLink トラフィックはインターネットを通過しないため、ブルートフォースや分散型サービス拒否攻撃などの脅威への露出を低減します。お使いのアプリケーションと Amazon SageMaker API 操作間のすべての通信は VPC の内部で行われるため、Amazon SageMaker と通信するためにインターネットゲートウェイ、NAT デバイス、VPN 接続、または AWS Direct Connect は必要ありません。代わりに、AWS PrivateLink では、インターフェイス VPC エンドポイントを使用して、スケーラブルな方法でお使いの VPC からすべての Amazon SageMaker API 操作にプライベートアクセスすることが可能です。VPC エンドポイントはすべての Amazon SageMaker API コールのエントリポイントとして機能するプライベート IP アドレスを使用したサブネット内の Elastic Network Interface です。 AWS […]

Read More

人工知能 (AI) ハッカソンの開催 (機械学習とサーバーレス API を使用したインテリジェントアプリケーションの開発)

アマゾン ウェブ サービス (AWS) では、すべての開発者向けに、イメージ/ビデオ分析、自然言語処理、音声認識、テキスト読み上げ、機械翻訳を提供しています。AWS の Machine Learning (ML) サービスを使用することで、機械学習時のモデルを考慮することなく、あらかじめ用意された AI 機能をアプリケーションに組み込むことができます。 機械学習に関する専門知識を持っていない数多くの開発者が、Amazon の機械学習アプリケーションサービスを使用して、イノベーティブなソリューションを開発してきました。たとえば、あるユーザーはAmazon Polly と Amazon Translate を使用して双方向の翻訳アプリを開発し、別のユーザーは Amazon Polly と Amazon Lex で、コミュニケーションの際に特別な配慮が必要な人々の支援を行っています。また、あるユーザーは、Amazon Rekognition、Amazon Comprehend、Amazon Transcribe を使ってフルソーシャルビデオプラットフォームを強化し、画像のメタデータと感情データを抽出してこれまでにない水準のビデオ分析を行っています。 ただ、私たちはまだその可能性の一部にふれただけにすぎません。本日、私たちは AWS 人工知能 (AI) アプリケーションハッカソンの開催を発表します。みなさまのアイデアを披露するのに最適な機会です。高額な賞金をぜひ勝ち取ってください。 課題: 機械学習とサーバーレス API を使用したインテリジェントアプリケーションの開発 スキルを発揮するチャンスです。画像、音声、言語処理の人工知能で新しいアプリケーションを開発したり、既存アプリケーションを拡張しましょう。Amazon の機械学習アプリケーションサービスを使用すれば、顧客の分析情報の取得、コンテンツレコメンド機能のパーソナライズ、顧客の検索など、さまざまなことが可能になります。 AWS Lambda を使用すれば、サーバーレスコンピューティングを活用するアプリケーションのロジックを記述/実行できます。サーバーを管理しないでもコードを実行できます。 参加に際しては、要件が 2 つあります。 次の言語/画像処理 API サービスのうち、2 つ以上を使用してください。Amazon Comprehend、Amazon Transcribe、Amazon Polly、Amazon Lex、Amazon Translate、Amazon […]

Read More

Amazon Rekognition Video を使用して、大規模なコンテンツを簡単に管理できる自動アラートシステムを構築する

ビデオを制作したり、ビデオを見るのに時間を費やしたり、ビデオを共有したりする人々が急激に増えつつあります。今日制作されるビデオの大半はユーザーが作成したコンテンツですが、こうしたコンテンツをそのまま公開するとリスクが生じます。不適切なコンテンツや望ましくないコンテンツを削除して、顧客にとって肯定的なウェブサイト体験を確保するために、企業はスケーラブルなコンテンツモデレーションプロセスが必要です。 このブログ記事では、Amazon Rekognition Video を使用してコンプライアンスとモデレーションを強化するために、ビデオコンテンツを評価するためのサーバーレスアーキテクチャを構築する方法を説明します。顧客 (特にメディアやエンターテインメント企業) は、対象者の年齢に応じたコンテンツを構築したり、ビデオで不適切なコンテンツを識別したりするために、ビデオを分類するという課題に直面しています。Amazon Rekognition Video は、物体の経路を追跡し、アクティビティを検出し、物体、有名人、コンテンツのタイプを認識する、深層学習による動画分析サービスです。Amazon Rekognition Video は明示的で疑わしいコンテンツを検出できるため、アプリケーションやコンプライアンスの要件に基づいてビデオをフィルタリングできます。 従来、ビデオ内でのコンプライアンスは企業にとって手作業であり、ビデオを検証するには完全に視聴する必要がありました。このプロセスは時間がかかり、スケーラビリティがなく、間違いが発生する可能性がありました。私たちが提案するソリューションは、オペレータの手作業の効率を大幅に改善し、レビューされるビデオコンテンツの量を減らし、レビュー担当者はフラグが立てられたコンテンツにのみ集中することができます。このブログ記事で使用されているサーバレスソリューションは Amazon Rekognition であり、費用対効果に優れたスケーラブルなコンテンツモデレーションプロセスを顧客に提供します。これは、企業がビデオをモニターし公開するのに役立ちながら、肯定的な顧客体験を保証し、潜在的な評価に関するリスクを限定します。 ソリューションを起動するには、次の AWS CloudFormation スクリプトを使用します。   ソリューションのアーキテクチャ概要 この例では、不要なコンテンツのフラグが設定されているビデオのコンテンツ管理者に警告する、実際のユースケースに近い例を取り上げます。コンテンツのパイプラインに統合するために、Amazon S3 イベントを使用するワークフロートリガー (新しいアセットの到着)、Amazon DynamoDB を使用するコンテンツメタデータストレージ、および Amazon Glacier を使用するデジタルアセットアーカイブで表現します。この例では、最小限のコードベースによって、Amazon Simple Notification Service(SNS)、AWS Lambda、Amazon Rekognition を使用するサーバーレスワークフローのカップリングのシンプルさを示しています。 アセットを取り込む Amazon S3 バケットにメディアをアップロードした直後に処理が開始されます。Amazon S3 イベント通知が、ビデオファイルで StartContentModeration API アクションを開始するビデオプロセッサ Lambda 関数をトリガーします。Amazon Rekognition Video によるメディア処理の完了ステータスは、Amazon SNS を介して取得され、次にコンテンツ警告 Lambda […]

Read More

身元確認に Amazon Rekognition を使うことで、これまで銀行を利用できなかった人々を自立させた Aella Credit 社

Aella Credit 社は、西アフリカに本拠を置く金融サービス会社で、生体的データおよび雇用主のデータを利用し、新興市場で証明できる収入源を持つ個人に即時融資を提供しています。 新興市場では、リテール銀行サービスに簡単にアクセスできない人々にとって、身元確認と検証は大きな課題の 1 つです。Aella Credit 社はこの問題を解決するため、深層学習を基礎とした画像およびビデオ解析サービスの Amazon Rekognition を使って、モバイルアプリケーション上で生体的身元確認を行っています。アプリケーションで Rekognition を使用することで、自身の身元確認を行い、問題を最小限に抑えて銀行サービスにアクセスすることが可能となります。 「新興市場にいる何十億人もの信用を構築する上で、ユーザーを正確に識別できないことは、とても大きな障害でした。」と、Aale Credit 社の最高技術責任者かつ共同創設者である Wale Akanbi 氏は言います。「当社のモバイルアプリケーション上で本人確認を行うのに Amazon Rekognition を使用することで、エラーが大幅に減り、ビジネスを拡大することが可能となりました。」 この機能を使って、政府発行の ID 写真をアップロードしてから、確認のために自分の写真をリアルタイムで撮影します。Aella Credit 社はまず政府発行の ID を政府のデータベースで検証した後、Amazon Rekognition を使用して、2 つの画像を比較し、一致しているかどうかを確認します。 「今では、人間が操作しなくても個人の身元をリアルタイムで検出および確認できるようになったので、当社のサービスにより早くアクセスできるようになりました。」と Akanbi 氏は言います。「 Amazon Rekognition のおかげで、当社のお客様の顔を効果的に認識できるようになりました。また、KYC (Know Your Customer 、顧客確認 ) にも有効で、重複するプロファイルやデータセットを検出できます。」  そのしくみ プロフィール写真を撮影し、申請プロセスを完了します。 顔が検出され、アプリケーション処理が完了します。 「 Amazon Rekognition を選んだのは、使いやすさと一貫した正確性のためです。」と Akanbi 氏は説明します。「よく宣伝を見る様々なソリューションを試しました。でも、いろんな肌の色合いを正しく認識できるものはありませんでした。いろんな肌の色を持つ顔の検出するのに、他のソリューションだと 40% の精度しかないのですが、ReKognition の精度は一貫して […]

Read More

Curalate は、AWS で Apache MXNet を使用して AI によるソーシャルセールを行う

Curalate は、ブランドが SNS での影響力を販売に変換するのをサポートします。フィラデルフィアにあるこのスタートアップ企業は、デジタルに精通した消費者にとって、ソーシャルチャネルで見られる製品と、まったく同じ製品を購入できる場所との関連付けを容易にします。以前は、消費者はソーシャルイメージから特定の製品を見つけるには、オンラインカタログで捜し求めなければなりませんでした。Curalate を利用すれば、購入できる場所に製品を自動的にリンクすることができます。 すべてのソーシャルメディアへの投稿は潜在的影響力を持つので、ブランドはソーシャルユーザーが生成した単語、画像、ミームを活用して、多くの声で合唱効果を生み出すことができます。 「私たちは、発見プロセスをオンラインにしています。私たちの製品は、店を歩いているときに何かを見るのと同じ方法で、インスタグラムやその他のソーシャルチャンネルでこうしたつながりを作るのに役立ちます」と、Curalate の研究エンジニアである Jesse Brizzi 氏は説明します。 Neiman Marcus や J.Crew を含む 1,000 社以上のブランド企業や小売業者、そして 1 ヶ月に 1 億人以上の消費者が Curalate を使用しています。これらのブランドは、Curalate のソーシャルコマースプラットフォームを利用して 1 回の訪問で 20〜50 % の収益増加を実現し、製品の発見を最大で 60 倍に増加させています。Karl Lagerfeld の場合、Curalate の画像認識技術を使用して写真にタグを付けることで、顧客が商品を手に入れるための最も速くて最も効果的な方法を可能にしています。 Curalate の成功の要因は、ソーシャルメディアでの製品の発見を促進する AWS の深層学習技術です。Curalate のインテリジェント製品タグ付け (IPT) サービスを使用する顧客は、ユーザーが作成したソーシャルコンテンツの収集と管理をパイプラインで自動化し、カタログ内の適切な製品に接続することができます。IPT は、Apache MXNet フレームワークを使用して開発された深層学習アルゴリズムを使用してトレーニングされており、これを使用するブランド企業は購入者に推奨する製品と画像を簡単に一致させることができます。 Brizzi 氏は次のように述べています。「当初、顧客は手作業で製品にタグを付けなければなりませんでした。アイテムをクリックする場所、タグを付ける場所、製品カタログの中に入って手作業で一致させる場所。ところが現在は深層学習で一致させることができるので、それを確認するだけです。IPT を使用することで、時間を節約し、精度を向上させ、消費者が時間を無駄にすることなく簡単に商品を見つけられるよう支援することができます。」 MXNet を使用して、Curalate は AWS で実運用モデルを迅速に構築およびデプロイすることができます—Amazon EC2 P3 […]

Read More

Amazon Translate が Memsource 翻訳管理システムで利用可能に

本記事は Memsource のソリューションアーキテクトチームのチームリードを努める Andrea Tabacchi によるゲスト投稿です。 Memsource では最先端の翻訳ソリューションを強化する注目の新統合を常に模索しています。ローカライゼーション業界では引き続き機械翻訳 (MT) が話題の中心ですが、Memsource ではお客様の増大する MT ニーズに相応しいイノベーティブな MT エンジンとの統合に重点を置いています。 特に、Memsource では Amazon Translate など、ニューラル機械翻訳 (NMT) エンジンを提供するために全力を尽くしています。NMT が大きな影響力を持つテクノロジーであることは明らかです。NMT の成果物の品質は継続的に改善され、パワフルな生産性向上ツールとなり、その結果さらに需要増につながっています。独自の深層学習メソッドを搭載した Amazon Translate は、翻訳およびローカライゼーション業界において、その足跡を残し始めました。Memsource にとって、自社の MT エンジンにこれを組み込むことが優先事項となっています。また、この製品は既存の AWS のお客様にも自然に適合するようになっています。 また、このエンジンが Memsource の事業的な対象、特に、B2C (一般消費者向けビジネス) に一致するということも魅力の 1 つです。Amazon Translate は消費者向け製品やコミュニケーション、そして、機械翻訳を使用して、同社が解決したローカリゼーション関連の問題にまつわる Amazon の専門知識に基づいて構築されています。 Memsource-Amazon Translate の統合はどのように機能するか? Memsource と Amazon Translate は Amazon Translate API を介してつながっています。 つまり、ユーザーは自分の […]

Read More

Amazon Rekognition を利用して人身売買と戦う Marinus Analytics 社

Marinus Analytics 社は女性が経営する 2014 年に創設した会社で、ビッグデータを実用的なインテリジェンスに変える AI ツールを構築しています。特に、Amazon Rekognition の顔認識機能といった人工知能の利用に積極的で、人身売買の被害者を発見し、家族と再会ができるよう取り組んでいます。 Marinus Analytics 社の社長兼共同創業者である Emily Kennedy 氏は、「人間は人工知能を恐れるべきではないと思います。人間は他の方法よりもはるかに優れた結果を出し、広域に影響を与えることができるからです。」と言います。「Marinus Analytics 社にとって、人身売買と戦っている人たちが、当初はどうにもしようのない山ほどのデータを目の当たりにしながらも、難しい課題を克服するために AI 技術を使い、命を救うことができたのは、幸運なことでした。」 Marinus Analytics 社は、Amazon Rekognition などの人工知能を利用し、Traffic Jam といった被害者の特定や発見を支援するツールを機関に提供し、人身売買の調査に携わっている人たちを支援しています。Traffic Jam は Amazon Rekognition を利用して作動し、FaceSearch と呼ばれる顔認識機能を備えています。このツールを使用すると、数百万の記録を秒単位で自動的に検索する画像解析が可能となり、貴重な時間を節約することができるのです。これで、Traffic Jam を使わずに解析する方法と比較して、著しい改善をもたらすことができます。 Kennedy 氏の説明によると、「 Traffic Jam を使わないと、何千ものオンライン広告を手作業で選別することになります。」「つまり、コンピュータに張り付いて、マッチングするかもしれないと期待しつつ、画面にある被害者の写真を、オンライン上のあらゆる写真と比較しているのです。ですが昔と違って現在では、このような重要なタスクは、Amazon Rekognition のような AI 技術を使用することで、より正確にそして数秒で行えるようになりました。被害者が次の町へと移動してしまう前に、限られた時間で彼らを見つける必要がある場合には、特に大事なことなのです。」 Marinus Analytics 社が開発のプロセスにあった頃、複数のコンピュータ・ビジョン・サービスをテストしつつ、人身売買のケースの捜査官が使うツールをテクノロジーで補完できるかどうかを調査していました。多くのサービスでデータをテストしましたが、残念ながら利用できそうなサービスは見つかりませんでした。分析に必要な画像は通常きめが粗く、顔がカメラから遠く離れたところにあるのが普通で、さらに適切な照明のもとで写真が撮影されることはあまりないからです。 しかし、2017 年に Amazon Reognognition を発見し、必要とする AI ツールの類であると分かったのです。 「 Amazon […]

Read More