Amazon Web Services ブログ

Category: Artificial Intelligence

Amazon SageMaker Jupyterノートブックを使用してAmazon Neptune グラフを分析する

 新しいグラフデータモデルやクエリを作成する、あるいは、既存のグラフデータセットを探索するかどうかに関わらず、結果を視覚化できるインタラクティブなクエリ環境があると便利です。このブログ記事では、Amazon SageMaker ノートブックを Amazon Neptune データベースに接続して、これを実現する方法を紹介します。ノートブックを使用して、データをデータベースにロードし、クエリをして結果を視覚化します。 Amazon Neptune は高速かつ信頼性の高いグラフデータベースです。クエリワークロードで、接続をナビゲートし、エンティティ間の関係の強さ、重さ、または品質を活用する必要がある場合に理想的です。 Amazon SageMaker は、機械学習モデルの構築、トレーニング、および開発のための完全管理プラットフォームです。このブログの記事では、その機能に対応した SageMaker を使用し、ホストされた Jupyter ノートブックを提供します数回クリックするだけで、Jupiter のノートブックを作成し、それを Neptune に接続し、データベースのクエリを開始できます ソリューションの概要 このブログの記事で紹介されているソリューションは、以下のリソースを作成します。 3 つのサブネットと VPC S3 エンドポイントを持つ Neptune VPC 適切なサブネット、パラメータ、およびセキュリティグループを持つ、単一の r4.xlarge インスタンスを含む Neptune クラスター Neptune が S3 からデータをロードすることを許可するIAM ロール SageMaker Jupyter ノートブックインスタンス、IPython Gremlin 拡張モジュール、Gremlin コンソール、および一部のサンプルノートブックコンテンツ Neptune データベースのエンドポイントは、アカウントの新しい VPC にプロビジョニングされます。 SageMaker の Jupyter ノートブックは、Amazon SageMaker VPC […]

Read More

Model Server for Apache MXNet v1.0 がリリース

AWS が最近リリースした Model Server for Apache MXNet (MMS) v1.0 はサービス使用状態を管理するための新しい API を特徴としており、ランタイム中のモデルの動的ロード、レイテンシーの低減、高いスループットを可能にします。本記事では、新機能を詳しくご紹介するとともに、MMS v1.0 のパフォーマンス向上についてご覧いただきます。 Model Server for Apache MXNet (MMS) とは? MMS はモデルサーバーを提供するオープンソースのフレームワークで、スケーラブルなトレーニングおよび推論のための深層学習モデルのタスクを簡略化を目的に設計されました。下図に、MMS のスケーラブルにデプロイしたアーキテクチャの例を示します。 以下は、MMS v1.0 の主要な機能です。 MXNet、Gluon、ONNX ニューラルネットワークモデル対応用途に設計。 モデルアーカイブにパッケージされたカスタムコードを使用して、推論実行パイプラインの各ステップをカスタマイズ。 REST API エンドポイントを含む、軽量かつスケーラブルなサービススタックの事前設定。 ランタイム中のモデルのロード、アンロード、スケーリングを可能にする管理 API の公開。 大規模な推論のためのビルドおよび最適化済みのコンテナイメージ。 リアルタイムのオペレーションメトリクスを使用して、システムおよび API の健全性、パフォーマンス、ロードをモニタリング。 MMS のクイックスタート MMS 1.0 では、Java 8 以上の環境が必須です。サポート対象のプラットフォームごとにインストール方法を以下に示します。 # Ubuntu/Debian ベースのディストリビューション sudo apt-get install openjdk-8-jre # Fedora、Redhat […]

Read More

AWS のディープラーニングを使い、自然災害による損害賠償を軽減する

2017 年のサンタローザ火災やハリケーンハーベイのような自然災害は、毎年何百億 USD もの損害賠償をもたらし、住宅所有者の生活において経済的混乱を招きました。保険会社は影響を受けた家屋を評価するために最善を尽くしますが、評価を開始するまでに数週間かかることもあり、それでようやく家屋を修復し保護することができます。 プロパティデータ分析会社である EagleView 社 は、  AWS における ディープラーニング に取り組んでいます。 EagleView 社のデータサイエンスと機械学習の指導者である Shay Strong は、「通常、保険会社は所有物損害の評価のために損害査定人を派遣するが、その地域が浸水したり、アクセスできないために、対応するのに数週間かかる場合があります。「EagleView 社は、衛星、航空写真、無人機の画像を使い、AWS Cloud でディープラーニングを実行し、24時間以内に損害賠償を正確に評価します。住宅所有者に情報を提供し、次の段階へ準備を迅速に行うために、データを大手保険保険会社や小規模な地域の保険会社の両方に提供しています。 多くの場合、この迅速な処理により、損害賠償において数百万 USD を節約することができます。フロリダ州のハリケーンアーマーからの洪水の際、クライアントはこのタイムリーなデータを使用して、防水シートで家屋の一部を覆い、二次的な水害を防ぐことをできるようにしました。 損害査定人による不動産評価の精度と一致させるために、EagleView 社は嵐の影響を受けた地域の多次元空間 (空間、時間、スペクトル) 全てをカバーする豊富な画像セットを使用する必要があります。この課題を解決するため、EagleView 社は米国全土で、120 台以上の航空機を使用して 1 インチ以下の解像度で撮影します。ディープラーニング画像分類器、オブジェクト検出器、およびセマンティックセグメンテーションアーキテクチャを実行するために、画像を小さな画像タイル(しばしば区画固有のタイルまたは一般的な 256×256 TMS タイル)に分解します。各画像タイルは、対応する地理空間および時間座標と関連付けることができ、追加のメタデータとして保持され、学習プロセスおよび推論プロセスを通じて維持されます。推論後、地理空間データを使用してタイルが貼り合わされて、ニューラルネットワーク予測を含む、関心領域の情報を地理登録したマップを形成することができます。予測は、AWS Cloud で管理されている永続ストレージ用のプロパティレベルのデータベースに集約することもできます。 以下の図は、2017 年のハリケーンハーベイ後のテキサス州ロックポートの一部で、EagleView 社のディープラーニングモデルによる損傷予測の精度を示しています。左の画像の緑色の箇所は、人間の分析結果による壊滅的な構造的損傷が発生する土地を示します。右側の画像のピンクの箇所は、モデルが作成したセグメント化した損傷予測です。このデータの場合、モデルは人間の分析と比較してアドレス当たり 96 % の精度を持ちます。 「暫定的な前処理能にディープラーニングを使い、アドレスレベルの属性を生成する前に画像が良好であるかどうか (たとえば、曇っていないか、ぼやけていないかなど)、また画像に関心のある適切な土地が含まれているかどうかを見極めます。我々は中間神経網を鎖状につないで、画像を前処理して、土地属性を生成するニューラルネットの効率と精度を向上させています。」と Strong 氏は付け加えています。 EagleView 社は、Apache MXNet フレームワークを使用してディープラーニングモデルを構築しました。モデルは、 AWS 上の Amazon EC2 P2、P3、およびG3 GPU […]

Read More

Amazon Translate が 113 の新言語ペアを提供できるようになりました

Amazon Translate は、良心的な価格で迅速かつ高品質な翻訳を実現するニューラル機械翻訳サービスです。本日、113 の新言語ペアの提供が開始されます。フランス語からスペイン語など、現在サポートされている言語間を単一の API リクエストで翻訳することができるようになりました。この更新により、サポートされる言語ペアの数が 24 から 137 に拡大されます。サポートされる言語ペアはすべて、最先端のニューラル機械翻訳アルゴリズムに基づいています。このドキュメントページでサポート対象言語ペアの完全なリストをご覧ください。 これまで、X <> Y ペア (X 語と Y 語のどちらも英語以外の言語) を翻訳する場合には、2 つの翻訳コールを順に実行する必要があり、X 語を英語に翻訳した後で、英語の出力を Y 語に翻訳しなければなりませんでした。つまり、実際に必要な翻訳を得るためには、翻訳を 2 度実行しなければならないということです。新しい拡大によって、この余分なステップが取り除かれると共に、X <> Y 翻訳のコストが実質上 50 パーセント削減され、翻訳が迅速化されます。 パリに拠点を置くスタートアップ企業、Clevy は、従業員からのよくある質問に自動的に返答するチャットボットを組織が作成、デプロイ、および維持することを可能にするプラットフォームを提供しています。これらの質問は、HR、IT サポート、および変更管理など、社内における事柄である場合がほとんどです。そのボットを通じて、Clevy は世界各国 100 万人を超える従業員にサービスを提供しています。Clevy は、このチャットボットを多言語対応とするために、その背景で Amazon Translate を使用しています。ボットは単一の言語で作成されますが、ユーザーは現在、10 もの他言語で質問することができます。質問が来ると、Clevy は Amazon Comprehend を使ってソース言語を検知します。次に、Clevy は Amazon Translate を使って質問をボットの言語に翻訳し、それを Clevy 独自の自然言語処理 (NLP) アルゴリズムで処理できるようにします。最後に、ユーザーに対して、ユーザーの元の言語で回答が返されます。例えば、英語でボットを作成する顧客は、世界各国の従業員が 10 の他言語で質問し、回答を得ることがきるようにすることもできます。 そのボットに多言語処理を追加することは、Clevy […]

Read More

Amazon SageMaker ノートブックインスタンスのネットワーク設定と高度なルーティングオプションについて理解する

Amazon SageMaker ノートブックインスタンスは、完全マネージド型の機械学習 (ML) Amazon EC2 インスタンスを通じて、Jupyter ノートブックアプリケーションを提供します。Amazon SageMaker Jupyter ノートブックは、高度なデータ探索、トレーニングジョブの作成、Amazon SageMaker ホスティングへのモデルのデプロイ、モデルのテストや検証に使用されます。 ノートブックインスタンスには、さまざまなネットワーク設定が用意されています。このブログ記事では、さまざまなオプションの概要を説明するとともに、お客様の一般的な事例を紹介していきます。 ベーシック Amazon SageMaker ノートブックインスタンスは、Virtual Private Cloud (VPC) がアタッチされているかどうかにかかわらず起動できます。VPC をアタッチして起動すると、ノートブックは、直接インターネット接続ありまたはなしで設定することができます。 重要な注意事項: 直接インターネット接続があるとは、Amazon SageMaker サービスが、サービスによって管理される VPC を通じて、ノートブックをインターネットに接続できるネットワークインターフェイスを提供していることを意味します。 Amazon SageMaker コンソールを使用する際、次の 3 つのオプションがあります。 お客様の VPC のアタッチなし。 お客様の VPC のアタッチあり (直接インターネット接続あり)。 お客様の VPC のアタッチあり (直接インターネット接続なし)。 それはどういう意味ですか? 3 つのオプションはそれぞれ、マネージド EC2 インスタンスのネットワークインターフェイスを一連のルーティング設定で自動的に設定します。特定の状況では、これらの設定を変更して、特定の IP アドレスの範囲を別のネットワークインターフェイスにルーティングすることができます。次に、これらのデフォルト設定をそれぞれ順を追って説明します。 アタッチしたお客様の VPC なし […]

Read More

Amazon SageMaker のバッチ変換が Amazon VPC および AWS KMS に基づく暗号化をサポート開始

Amazon SageMaker が、Amazon Virtual Private Cloud (Amazon VPC) での AWS Key Management Service (AWS KMS) を使用するバッチ変換ジョブのサポートを開始します。Amazon VPC を使用すると、機械学習 (ML) モデルのコンテナやデータへのアクセスをコントロールし、それらをプライベートに保ってインターネット経由でアクセスできないようにすることができます。AWS KMS を使用すると、バッチ変換ジョブを実行する ML コンピューティングインスタンスにアタッチされたストレージボリュームのデータを暗号化できます。これにより、バッチ変換ジョブで使用されるモデルのアーティファクト、ログ、および一時ファイルは常に安全です。このブログでは、こうした機能をバッチ変換ジョブに適用する方法を説明します。 Amazon SageMaker のバッチ変換は、データのバッチが大量にあり、トレーニングデータを前処理して変換する必要があるか、レイテンシーが 1 秒未満であることを必要としないシナリオに最適です。バッチ変換は、ペタバイトのデータから非常に小さなデータセットまで、さまざまなデータセットで使用できます。既存の機械学習モデルは、一切の変更なしで、この新しい機能でシームレスに動作します。Amazon SageMaker は、バッチ変換ジョブの開始時にリソースのプロビジョニングを管理します。ジョブが完了するとリソースが解放されるので、ジョブの実行中に使用されたリソースに対してのみを支払うことになります。 VPC を使用すると、プライベートでインターネットに接続されないように VPC を設定できるため、データやモデルアーティファクトを保存する Amazon S3 バケットなど、アクセスするモデルコンテナや AWS リソースを保護することができます。VPC を使用する場合、VPC フローログを使用して、モデルコンテナ内外のすべてのネットワークトラフィックを監視することもできます。VPC を指定しない場合、Amazon SageMaker はデフォルトでは VPC でバッチ変換ジョブを実行します。 Amazon SageMaker のバッチ変換は、すでに Amazon S3 SSE による入出力データの暗号化をサポートしています。現在は、AWS KMS を使用すると、バッチ変換ジョブで使用するストレージボリュームを、管理する暗号化キーで保護できます。推論を実行したり、データのバッチを変換したりするときに、集中キー管理、キー使用状況監査ログ、マスターキーローテーションなどの […]

Read More

買い物客のセンチメント: 店内での顧客経験の分析

小売業者は何年もの間、顧客の行動とデモグラフィックを分析するために店内ビデオを使用してきました。 一般に、異なるタスクには別個のシステムが使われます。 例えば、あるシステムは店内を歩く顧客の人数を数え、これらの顧客が店のどの部分で、およびどの製品の近くで立ち止まるかを調べます。 店のレイアウトを保持するシステムもあれば、取引を記録するシステムもあるかもしれません。 歴史的に見て、戦略に従って売り上げをさらに伸ばすことができる洞察を得るために、小売業者がこれらのデータソースを結合させるには、複雑なアルゴリズムとデータ構造が必要となります。また、それらの実現にも多額の投資が必要で、継続的なメンテナンスコストが発生します。 このブログ記事では、店内ビデオ分析のためのエンドツーエンドソリューションを構築するために、AWS のサービス (Amazon Rekognition、AWS Lambda、Amazon S3、AWS Glue、AWS Athena および AWS QuickSight) を使ってこのプロセスを簡素化する方法を説明します。ここでは、既存の損失防止用店内カメラを活用した静止画像の分析に焦点を当てて、小売店内経験のデータを生成します。 以下の図は、全体的なアーキテクチャと、関与する AWS のサービスを示すものです。 Amazon Rekognition などの AWS 上の Machine Learning サービスを使用して、それらを店舗からの動画ビデオまたは静止画像に適用することで、顧客の行動 (つまり、店舗のどの箇所を頻繁に訪れているか)、来店者のデモグラフィックセグメンテーション (つまり、性別またはおおよその年齢など) から洞察を引き出すと同時に、顧客センチメントのパターンも分析することが可能になります。この方法はすでにこの業界で一般化していますが、AWS が提案するソリューションは、これをより簡単、迅速、かつ正確にします。センチメント分析は、例えば、ブランドコンテンツとサイネージ、エンド陳列のディスプレイ、または宣伝キャンペーンに顧客がどのように反応するかに対する洞察を、以下の例に似たダッシュボードを使って提示しながら得るために使用できます。 全体的なソリューションは、収集、保存、処理、および分析という 4 つの主なステップに分解できます。  これらのコンポーネントを一つずつ説明していきましょう。 収集 この段階での目的は、カメラから顧客の店内経験の画像または動画ビデオを収集することです。   これは、既存の CCTV または IP カメラシステムなどの各種カメラ、カメラモジュールが接続された (設定済みの) Raspberry Pi、AWS DeepLens、またはその他同様のカメラを活用することで実行できます。   これらの静止画像または動画ビデオのファイルは、さらなる処理のために Amazon S3 バケットに保存されます。 この例では、モーションパッケージがインストールされた Raspberry Pi を使用しました。このパッケージは、処理する必要があるデータの量を制限する、興味深いイベントがあった時に画像を収集するために役立ちます。このパッケージはまた、動作を検知してローカルフォルダに静止画像を作成します。このフォルダは、入力 S3 バケットに簡単に同期化 (リアルタイムで、またはバッチ的に) できます。AWS […]

Read More

テキストの向こう側にある世界: Spokata が Amazon Polly を使用して、リアルタイム音声でニュースと情報のユニバーサルアクセスを実現する方法

今回ご紹介するのは、Spokata 創業者 Zack Sherman からの寄稿記事です。同社の説明によれば、「Spokata はリアルタイムのニュースをストリーミング配信するモバイルオーディオプラットフォームです。BBC、ブルームバーグ、ガーディアンなど 100 社を超える検証済みデジタルニュースソースから選び出して、ユーザーに最新トップ記事の要旨を使いやすいオーディオ形式で提供します」 白黒からカラーへ転換したテレビのように、ウェブはテキストベースのメディアから音声と映像中心のメディアへと変貌を遂げています。その状況に対応して、コンテンツ制作の変化は破壊的と言っていいでしょう。出版業界は自分たちのビジネスモデルを損なうことなくユーザーの要求に応えようと、この変革の時代を切り抜けるために日々奮闘しています。 モバイルリスニングが普及し、車載技術が従来型のラジオ放送を破壊し始めるにつれて、出版業界はオンデマンドオーディオに大きな関心を寄せるようになっています。この傾向は、一般に普及しているポッドキャストに顕著に見られます。しかし、急激に台頭する多様性に満ちた新しいデジタルオーディオフォーマットのエコシステムにおいては、ポッドキャストはほんの始まりにすぎません。Amazon Echo や Amazon Polly のような先進的なテキスト読み上げサービスは、これら新たなオーディオ製品の創出を可能にしています。 本ブログ記事では、Spokata が Amazon のテクノロジーを活用してテキストベースのニュースや情報を、リアルタイム音声で誰でもアクセス可能にしていく過程をご紹介します。 インターネット上のすべてのテキストが新たなオーディオ体験の原材料であるとしたら何か起きるのか Spokata はオンデマンドオーディオが得意とする分野に投資していますが、考えられる最小単位の時間、ユーザーに 1 分か 2 分しか時間がないようなケースへさらに踏み込んでいきます。ニュース記事を 1 本聴くには 5 分以上かかることがあります。そこで、新しい種類の短いオーディオフォーマットを作りました。私たちは数百万のニュース記事を調査研究して、多様なコンテンツタイプにわたってほぼ完全な正確さで自動的に要約する技法を開発しました。 Spokata の SaaS プラットフォームは、あらゆる出版社のウェブサイトのテキストを要約し、リアルタイムで短いストリーミングオーディオに変換します。Spokata API は新しいコンテンツがテキストで作成されると、出版社のウェブサイトとモバイルアプリで聴取可能な音声を生成し、同時に Amazon Echo や他のスマートデバイスに配信します。Spokata のテクノロジーのアプリケーションがカバーするコンテンツタイプはニュース、交通情報、天気予報、映画批評、料理レシピ、教育、研修コンテンツと広範囲におよび、実質的にはテキストで存在するあらゆる情報が対象となります。 Spokata はユーザーに対しては信頼できる情報源へのリアルタイムのアクセスを、出版社に対しては自動化され高い利益率をもたらすコンテンツの制作メソッドを提供します。Spokata を利用するのに必要なことは、ウェブサイトがあること、そしてコードを数行挿入することだけで、あとは Spokata プラットフォームが処理します。 Spokata のコアミッションはソフトウェアを使用したメディアの創出、そしてそこから生まれた効率性をコンテンツクリエイターに還元することにあります。そのためにも、メディア制作における根本的な収益構造に対するまったく新しいアプローチを必要としていたのです。デジタルビデオ制作費用は、1 分あたりおよそ 1000 米ドルかかります。ポッドキャストの制作予算は番組の制作価値にもよりますが、1 話あたりでその額を超えることは間違いありません。競争力を高めるには、Spokata のオーディオ制作費は「ドル」のレベルではなく、少額の「ペニー」のレベルでなければならないと強く感じていました。 テキスト読み上げサービスを活用すると、これらのアセットをいとも簡単にリアルタイム音声に変えることができ、なおかつほんのわずかな費用でビデオ、ポッドキャストはもちろん、テキスト情報を制作できます。 技術的なハードル 着手にあたっては、乗り越えなければならない技術的なハードルが多数ありました。 規模 […]

Read More

Apache MXNet を Amazon SageMaker および AWS Greengrass ML Inference と共に使用する脳組織のセグメント化 – パート 2

 このブログ記事のパート 1 では、Amazon SageMaker を使用した簡単で合理的な方法によって、MRI スキャンから脳組織を自動的にセグメント化するためにニューラルネットワークをトレーニングおよびデプロイする方法を説明しました。パート 1 では、「Bring Your Own Script」というパラダイムを使用して、Amazon SageMaker で畳み込みニューラルネットワーク (CNN) をトレーニングするために Apache MXNet を使い、U-Net と効率的で低レイテンシーの ENet の 2 つのネットワークをトレーニングしました。パート 2 では、AWS Greengrass ML Inference を使用して、接続性が低い、または接続のない環境で、オフライン推論用のポータブルエッジデバイスに ENet をデプロイする方法を説明していきます。 このユースケースでは、医療画像を保護医療情報 (PHI) ではなく未処理画像として取り扱っていますが、以下の点に注意してください。 AWS Greengrass は、この記事の執筆時点では AWS HIPAA 準拠サービスではありません。AWS Business Associate Addendum (BAA) に従って、AWS Greengrass は、米国の医療保険の携行と責任に関する法律 (HIPAA) における保護医療情報 (PHI) の作成、受信、維持、送信に使用してはなりません。HIPAA の対象であるかどうかを判断する責任はお客様にあります。対象である場合は、HIPAA とその実施規則をどのように遵守するのが最適であるかを判断する必要があります。HIPAA 準拠サービスを使用して […]

Read More

Amazon SageMaker Neural Topic Model で、補助語彙チャンネル、新しいトピック評価メトリクス、およびトレーニングサブサンプリングのサポートを開始

このブログ記事では、Amazon SageMaker Neural Topic Model (NTM) の 3 つの新機能をご紹介します。これらの新機能では、ユーザーの生産性を向上し、トピック評価機能を強化し、さらにはモデルトレーニングのスピードアップに貢献しています。これらの新機能に加えて、スパース (疎) 処理とパラメータサーバーを最適化することで、アルゴリズムの速度をトレーニングに 2 倍、単一 GPU 上での評価に 4 倍向上させました。マルチ GPU トレーニングでは、さらなるスピードアップが可能です。 Amazon SageMaker NTM は、大量の文書集合 (コーパス) のトピック分布を学習する、教師なし学習アルゴリズムです。SageMaker NTM を使用して、文書分類、情報検索、コンテンツの推奨といったユースケースのための機械学習ソリューションを構築できます。Amazon SageMaker NTM についてもっと知りたい方は、Introduction to the Amazon SageMaker Neural Topic Model をご参照ください。 機械学習をよく知らない、あるいは他のタスクに専念したいという方には、完全自動化した Amazon Comprehend トピックモデリング API が最適です。データサイエンスの専門家の方で、ご自身のトピックモデルの構築やチューニングのさまざまなレイヤーをもっと細かく制御したい場合には、Amazon SageMaker NTM がぴったりです。例えば、カスタマイズした語彙を必要とするドキュメントトピックタグ付けアプリケーションを構築していて、ニューラルネットワークのレイヤー数などのアルゴリズムハイパーパラメータを調整する必要があるとしましょう。Amazon SageMaker NTM なら、一貫性および一意性スコアの目標精度を満たすトピックモデルをトレーニングすることができます。このような場合には、Amazon SageMaker NTM は適切なツールでしょう。 補助語彙チャネル トピックモデルをトレーニングする際に、顧客がトピックの内容を理解できるよう、各トピックのトップワードを知ることが重要です。Amazon […]

Read More