Category: Artificial Intelligence

正確な3D 地震波データの分析は、原油や天然ガスが埋蔵あるいは滞留している可能性のある地質的な特質を割り出すことに役立てられます。Amazon SageMaker と Apache MXNet on AWS により、深層学習を使った地中探査が自動化できます。 このブログ記事では、これらのサービスを使い、3D 地震波データが示す地質的特質の解釈を行う、カスタム深層学習モデルの構築とトレーニングを行ってみます。この記事の目的は、カスタム化されたセマンティックセグメンテーションモデルの素早く簡単な作成方法を、原油と天然ガス事業に携わるデータサイエンティストの方に示すことにあります。 Amazon SageMaker は、データサイエンティストが、機械学習モデルをあらゆる規模で構築、トレーニング、チューニング、そしてデプロイできるようになる、完全マネージド型のサービスです。このサービスでは、パワフルかつスケーラブルであり、同時に使用法も簡単なコンピューティング環境を提供しています。 このブログ記事について 読む時間 15 分 完了するまでの時間 ～1 時間 完了するためのコスト 60 USD 未満 学習レベル 中級 (200) AWS のサービス Amazon SageMaker、EC2、Amazon S3 概要 どの地点をどの程度深く掘り下げるか決定し、原油や天然ガス生産の最適化とその他のことを行う際、地下の地質について詳しく知ることが重要になります。3D 地震波イメージングという技術により、地震波データの画像変換が行えます。その後、必要な地層 (たとえば岩塩層) と構造 (断層や褶曲) の特定が行われます。この「picking horizons」と呼ばれる、手動での特定プロセスは、ときに数週間を要することがあります。 セマンティックセグメンテーションなどの深層学習テクニックを使うと、手動による地中探査が自動化できます。このテクニックでは、深層畳み込みニューラルネットワークを使い特性の抽出と緻密層の検知をし、その分割と分類を行います。しかしながら、地震波を扱うアプリケーションで深層学習モデルをトレーニングするためには、 GPU が必須です。原油や天然ガスに携わる多くのデータサイエンティストたちにとって、コンピューティングリソースの不足は、地震波向けアプリケーションへの深層学習の応用を困難にしているのです。 今回の記事では、セマンティックセグメンテーションには U-Net のストラクチャを使用し、また、Kaggle によるコンペティションからパブリックドメインに提供された画像データセットも合わせて使用します。これらのリソースを使い、地表下に存在する岩塩層を特定するためのアルゴリズムを構築していきます。このノートブックは簡単に複製および拡張ができるので、地震波データにセマンティックセグメンテーションを応用する他のアプリケーションにも利用いただけます。 ワークフロー Amazon SageMaker によるセマンティックセグメンテーションを実施するには、次の手順に従います。 Kaggle からのデータをアップロードしデータファイルを作成します。 画像を準備します。 […]

地球の気候は非常に複雑で動的なシステムです。異なる気候変数がどのように相互作用するかを理解し、予測することは困難です。今日の気候研究で因果関係を見つける作業は、主に高価で時間のかかるモデルシミュレーションに依存しています。幸いなことに、大規模な気候データの利用可能性が爆発的に増加し、クラウドを介した計算能力が向上しているため、機械学習 (ML) と因果推論を使用して、降雨や海水温などの気候データの関係を理解するための新しい補完方法があります。この理解は、天気予報を改善し、ハリケーンや竜巻などの極端なイベントの原因を特定するのに役立ちます。進歩を加速するために、AWS は 2019 年に NeurIPS で気候の因果関係 (C4C) 大会を後援しました。この大会は気候データを理解するための新しい方法論における原因の発見と開発に焦点を当てており、承認された NeurIPS 2019 の大会 12 個のうち 1 つでした。Jakob Runge とドイツ航空宇宙センターの同僚とバレンシア大学の協力者によって組織されました。 機械学習は、厳格な統計モデルを前提とするのではなく、気候データの特性を学習して適応する柔軟な方法を提供します。これは、複数のサブコンポーネント間の相互依存性を示す気候データの複雑な性質を考える上で重要なことです。気候観測の量がかつてないほど増えたとしても、パターンを見つけてデータ間の複雑な関係を特定することは困難です。大会の目標は、新しいベンチマークを開発し、現実世界の気候課題に適用できる新しい方法を見つけることでした。参加者には、気候データ (降水量、湿度、温度など) と AWS クレジットを特徴とする時系列データセットが提供されます。ここで新しい方法論を発見し、気候データを分析するための新しい学際的研究を開くことを目指しました。 最優秀賞は、コペンハーゲン大学数学科学部のコペンハーゲン因果関係研究所の博士号と博士研究員のチームに贈られました。彼らは 34 個の異なるデータセットを使用し、変数間の因果関係を特定することを目的としていました。チームはシンプルなベースラインアプローチから始め、新しいバリエーションを導入して綿密に結果を監視し、競技トラック全体で最高のパフォーマンスを発揮した方法を特定しました。全体的に、気候データはブラインドで、参加者は異なる時系列がどの測定に対応するかを知らなかったため、先入観が含まれる仮説や仮定に影響されることなく、最良の方法論を最適化できました。詳細については、GitHub リポジトリを参照してください。 コペンハーゲン大学の博士研究員である Sebastian Weichwald 氏は、次のように述べています。「現代の最も差し迫った問題の 1 つに集中するようにコミュニティの意識を高めることは、このような大会の利点ですね」「大会データの背後にあるものを見つけることにわくわくしています。次の手順として、私たちが採用した方法がこの大会でうまくいった理由をさらに調査し、繰り返し続け、最終的に持続可能性と気候科学に影響を与える方法を学びたいと思います」 コペンハーゲン大学の優勝チームです。左から: Lasse Petersen、Nikolaj Thams、Phillip Bredahl Mogensen、Sebastian Weichwald、Gherardo Varando、Martin Emil Jakobsen。 ゲント大学 (ベルギー)、パレルモ大学 (イタリア)、バーリ大学 (イタリア)、ローマ・ラ・サピエンツァ大学 (イタリア) の教授と博士で構成されるチームは、気候相互作用の非線形性に焦点を当て、2 位として受賞しました。その方法は、カオスシステムの理論に影響を受けました。この理論は、天気を研究するところから生まれました。天気は、数日後の天気を予測できないカオスシステムです。チームは、これらの動的機能をより適切にとらえるアプローチを使用しました。そのため、カオス非線形データセットを含むカテゴリで成功しました。天気予報を予測するためのより良いツールの開発に取り組むことで、気候変動や極端な気象現象を理解できます。詳細については、GitHub リポジトリを参照してください。 受賞者は、2019 年 12 […]

Amazon Polly はテキストをリアルな音声に変換するサービスです。これを利用して、音声対応アプリケーションの作成が可能です。AWS は、中東 (バーレーン) およびアジアパシフィック (香港) リージョンにおいて、すべてのスタンダード音声が一般に利用可能になったことを発表しました。これらのリージョンのお客様は、Amazon Polly のポートフォリオで 29 言語でご利用いただける 60 種類を超えるスタンダード音声を音声合成できるようになりました。 Amazon Polly をご使用のお客様は、ニュースコンテンツ、ゲーム、e ラーニングプラットフォーム、テレフォニーアプリケーション、ユーザー補助アプリケーション、IoT などの音声認識対応製品という新しいカテゴリを構築しています。Amazon Polly の音声は高品質で費用対効果が高く、またレスポンスも速いため、低レイテンシーのユースケースに適しています。Amazon Polly は SSML タグもサポートしています。このため、音声出力をさらに制御できます。 詳細については、「Amazon Polly とは」をご参照ください。 利用可能な音声の完全なリストについては、「Amazon Polly の音声」をご覧ください。または、Amazon Polly コンソールにログインして、ご自分で試してみてください。 著者について Ankit Dhawan は Amazon Polly のシニアプロダクトマネージャーです。テクノロジーを愛し、Liverpool FC の大ファンです。お客様の対応をしていないときには、奥さんと愛犬とともにアメリカ太平洋岸の北西部エリアを探索しています。いつも楽観主義で、また伝記を読んだり、ポーカーをプレイするのが大好きです。テクノロジーや起業家精神、サッカーについてなら、話が尽きることはありません。  

Amazon SageMaker や AWS Data Exchange などのクラウドサービスのおかげで、機械学習 (ML) がこれまで以上に簡単になりました。この記事では、AWS Data Exchange と Amazon SageMaker を使用して、NYC レストランのレストラングレードを予測するモデルを構築する方法について説明します。Amazon SageMaker とともに、AWS Data Exchange の 23,372 のレストラン検査グレードとスコアのデータセットを使用して、線形学習アルゴリズムによりモデルをトレーニングしてデプロイします。 バックグラウンド ML ワークフローは反復プロセスであり、トレーニングデータが必要かどうか、どの属性をキャプチャするか、どのアルゴリズムを使用するか、トレーニング済みモデルをどこにデプロイするかなど、多くの決定が必要です。これらの決定はすべて、学習システムの結果に影響します。問題が定義されたら、4 種類の学習システムから選択する必要があります。一部の学習システムは完全にトレーニングデータに依存していますが、他のトレーニングシステムではトレーニングデータをまったく必要とせず、むしろ明確に定義された環境とアクションスペースが必要です。アルゴリズムがトレーニングデータに依存する場合、最終モデルの品質と感度はトレーニングセットの特性に大きく左右されます。ここで多くの人が、機能の適切なバランスを見つけてバランスのとれた正確なモデルを得ようとする退屈なループに入ります。各学習システムの概要を以下に示します。 教師あり – 教師あり学習では、トレーニングセットにラベルが含まれているため、アルゴリズムは属性セットが与えられると正しいラベルを認識します。たとえば、ラベルが魚の一種である場合、属性は魚の色と重さである可能性があります。モデルは最終的に、正しいか、最も可能性の高いラベルを割り当てる方法を学習します。典型的な教師あり学習タスクは分類です。これは、テキストや画像などの入力情報をいくつかの定義済みカテゴリの 1 つに割り当てるタスクです。たとえば、メッセージヘッダーとコンテンツに基づいてスパム E メールを検出し、MRI スキャンの結果に基づいて悪性または良性としてセルを分類し、その形状に基づいてギャラクシーを分類します (Tan et al.2006)。このカテゴリで使用するアルゴリズムは通常、k 最近傍、線形回帰、ロジスティック回帰、サポートベクターマシン、およびニューラルネットワークで構成されています。 教師なし – 教師なし学習では、ラベルなしデータの関係を発見するアルゴリズムを使用します。アルゴリズムは、データを探索し、既知の特徴に基づいて関係を見つける必要があります。教師なし学習で使用される一般的なアルゴリズムには、同様のデータポイントをグループ化するクラスタリング (K-means、DBSCAN、階層クラスター分析)、異常値を見つけようとする異常検出、それに特徴間の相関を発見しようとする相関ルール学習が含まれます (Aurélien 2019)。実際には、これは犯罪率に基づいて都市をクラスタリングして類似する都市を見つけたり、顧客の年齢に基づいて食料品店で製品をクラスタリングしてパターンを発見したりすることで確認できます。 半教師あり – 半教師あり学習では、ラベル付きデータとラベルなしデータの両方で構成されるトレーニングデータを使用します。アルゴリズムは、多くの場合、教師なしアルゴリズムと教師ありアルゴリズムの両方の組み合わせです。ラベルなしデータを含むデータセットがある場合、最初のステップは、データにラベル付けすることです。データセットにラベルを付けたら、従来の教師ありの学習手法でアルゴリズムをトレーニングして、特徴を既知のラベルにマッピングできます。フォトホスティングサービスは、多くの場合、スキルを活かすことでこのワークフローを使用して、未知の顔にラベルを付けます。顔がわかると、別のアルゴリズムがすべての写真をスキャンして、現在既知の顔を特定できます。 強化 – 強化学習 (RL) は、トレーニングデータから学習する必要がないため、上記の学習システムとは異なります。代わりに、モデルは、明確に定義された環境のコンテキストにおける独自の経験から学習します。学習システムはエージェントと呼ばれ、エージェントは環境を観察し、ポリシーに基づいてアクションを選択および実行し、見返りに報酬を取得します。エージェントは、最終的にその以前の経験に基づいて、時間をかけてその報酬を最大化することを学習します。RL の詳細、またはその説明については、Amazon SageMaker […]

開発者はモデルの予測を継続的に改善できるよう、絶えず機械学習 (ML) モデルのトレーニングと再トレーニングを行っています。データセットのサイズに応じて、モデルトレーニングジョブは数分から数時間、または数日かかることもあります。ML 開発は、複雑で費用のかかる反復的なプロセスになることがあります。コンピューティング集約型であるため、ML 開発のコンピューティングコストを低く抑えることは重要で、コスト削減はスケーラビリティを達成する上でのカギを握っています。 Amazon SageMaker は、ML モデルを大規模に構築・トレーニング・チューニングおよびデプロイするための完全マネージド型のサービスです。Amazon SageMaker のマネージドスポットトレーニングでは、Amazon EC2 スポットインスタンスをトレーニングに使用することで、トレーニングコストを最大 90% 節約できます。 EC2 スポットインスタンスは、ML トレーニングワークロードの計算コストを最適化するための優れた方法です。 Amazon EC2 の空きキャパシティを利用することでオンデマンドインスタンスよりも最大 90% の割引が可能です。特定のアベイラビリティーゾーン (AZ) で特定のオンデマンドインスタンスタイプのリクエストが急増すると、AWS は 2 分間の通知でスポットインスタンスを回収することがあります。 この記事では、Cinnamon AI が Amazon SageMaker マネージドスポットトレーニングを使用して、予算を増やすことなく、ML トレーニングコストを 70% 削減し、毎日のトレーニングジョブ数を 40% 増加させた方法について説明します。

Amazon Comprehend は、機械学習 (ML) を使用してテキストの洞察と関係を見つける自然言語処理 (NLP) サービスです。Amazon Comprehend はテキストの言語を識別し、キーフレーズ、場所、人、ブランド、またはイベントを抽出し、テキストがどれほどポジティブかネガティブかを理解します。Amazon Comprehend でできることの詳細については、「Amazon Comprehend の機能」を参照してください。 研究段階をリードすることなく、ニーズに合わせてすぐに使用できる NLP 機能が必要になる場合があります。それがあれば、ビジネスに固有のドキュメント分類を実行できます。たとえば、エンティティタイプを認識し、業界固有の用語を認識したり、顧客のフィードバックをさまざまなカテゴリに分類したりできます。 Amazon Comprehend は、このようなユースケースに最適です。2018 年 11 月、Amazon Comprehend は、カスタムエンティティを認識してカスタム分類を実行するようにトレーニングする機能を追加しました。詳細については、「AWS で独自の自然言語モデルを構築する (ML の経験は不要)」を参照してください。 この記事では、特定のラベルを特定のテキストに割り当てることができるカスタムテキスト分類子を作成する方法を説明します。ML の予備知識は必要ありません。 このブログ記事について 完了するまでの時間 縮小されたデータセットの場合は 1 時間。完全なデータセットの場合は 2 時間 完了するためのコスト 縮小されたデータセットの場合は 50 USD。完全なデータセットの場合は 150 USD これには、トレーニング、推論、モデル管理の料金が含まれます。詳細については、Amazon Comprehend の料金表をご覧ください。 学習レベル 高度 (300) AWS のサービス Amazon Comprehend Amazon S3 AWS […]

TensorFlow は、複数のホストで複数の GPU を使用した分散型トレーニングを必要とするヘビーウェイトなディープニューラルネットワーク (DNN) の開発に広く使用されるオープンソースの機械学習 (ML) ライブラリです。Amazon SageMaker は、アクティブラーニングを使用したデータのラベル付けから、モデルの分散型トレーニング、トレーニングの進捗状況のモニタリング、訓練されたモデルの自動スケーリング可能な RESTful サービスとしてのデプロイメント、並列的な ML 実験の一元管理までの ML ワークフローをシンプル化するマネージドサービスです。 この記事では、Amazon SageMaker を使用した分散型 TensorFlow トレーニングに注目していきます。 コンセプトの概要 この記事における分散型トレーニングコンセプトの多くは、さまざまなタイプの TensorFlow モデル全体に広く該当するものですが、この記事ではCommon Object in Context (COCO) 2017 データセット での Mask R-CNN モデルの分散型 TensorFlow トレーニングに焦点を当てます。 モデル Mask R-CNN モデルはオブジェクトインスタンスセグメンテーションのために使用されるものであることから、このモデルは画像内の各オブジェクトインスタンスを区分するために、ピクセルレベルのマスク (シグモイドバイナリ分類) と、オブジェクトカテゴリでアノテーションが付けられた (SoftMax 分類) 境界ボックス (Smooth L1 回帰) を生成します。Mask R-CNN の一般的なユースケースには、自動運転車における認知、表面欠陥検出、および地理空間画像の分析などがあります。 この記事に Mask R-CNN […]

Amazon Textract は、スキャンしたドキュメントからテキストとデータを自動的に抽出するだけではありません。テンプレート、設定、または機械学習の経験を必要とせず、単純な光学文字認識 (OCR) の域を超えて、テーブルのフィールドと情報に関するコンテンツも識別します。Intuit、PitchBook、Change Healthcare、Alfresco などのお客様は、すでに Amazon Textract を使用してドキュメント処理ワークフローを自動化し、数百万におよぶページを数時間で正確に処理しています。さらに、スマート検索インデックスを作成し、自動承認ワークフローを構築して、編集を必要とする可能性のあるデータにフラグを立てることによりドキュメントアーカイブルールへのコンプライアンスをより良いかたちで維持します。 本日、アマゾン ウェブ サービス (AWS) は、Amazon Textract が PCI DSS 認定を取得したことをご報告します。 この取得で、カード所有者のデータ (CHD) や機密認証データ (SAD) など、ペイメントカード業界のデータセキュリティ標準 (PCI DSS) の情報セキュリティ標準を必要とするあらゆるワークロードに、Amazon Textract を使用できるようになりました。Amazon Textract は HIPAA に適したサービスであるため、Amazon Textract で保護された健康情報 (PHI) ワークロードを処理することもできます。加えて、本日より AWS は新しい品質強化を開始し、テーブル (固定した行と列に編成された構造的なデータ) およびフォーム (キーと値のペアと、チェックボックスやラジオボタンなどの選択可能な要素として表される構造的なデータ) からさらに多くのデータを取得できるようになりました。 Amazon Textract は分割セルと結合セルなどの複雑なテーブルから、より多くのデータをより正確に取得できるようになりました。Amazon Textract は境界線が明示的に描かれていないテーブルであっても、折り返しを設定しているテキスト (複数行にわたって表示されるテキスト) のあるセルの行と列をより正確に識別します。Amazon Textract はさらに、同じページ上のテーブル、およびテーブル内に入れ子にされたキーと値のペアも含むドキュメントからフォームデータをより正確に取得します。こうした機能の強化は 2019 年 10 […]

会話のインターフェースを提供する製品のオーナーにとって、それに対応する可視性やテレメトリーなしでユーザーエクスペリエンスを解釈し向上しようとするのは、目隠ししながら自動車を運転するのと同じだと言えるでしょう。ご使用になっているボットとユーザーの間のやり取りを理解することは重要です。やり取りの履歴に基づいて継続的な改善を行うことができます。こういった実用的な洞察は、ボットが行った会話をモニタリングすることで取得することが可能です。ユーザー入力のキャプチャーであれば、アプリケーションにカスタムロジックを書き加えることで実現できます。しかし、追加コードと関連するインフラストラクチャの構築や管理といった作業は、扱いが難しく作業時間も消費するものです。さらに、このカスタムロジックが、エンドユーザー側のレイテンシーを増加しないようにする必要もあります。 今回、Amazon Lex 用の Conversation logs の発表により、ボットとユーザー間のやり取りをネイティブに保存できるようになったことを、とても喜ばしく思います。これにより、テキスト入力は Amazon CloudWatch Logs に、音声入力 Amazon S3 にログ記録するよう定義できます。このログには、ユーザーからの入力とボットによる応答に加え、適用したインテントや取りこぼした発言に関する情報も記述されます。スロットの値としてキャプチャーされた機密データを保護するためには、スロットを難読化し、ログに対しその値をマスクすることもできます。 この会話ログは、定義済みのインテントにマップされていない発言を追跡するために利用できます。こういった取りこぼした発言により、ボットの設計を改善できるようになります。今回から、セッション全体の会話についてのトランスクリプションが利用可能になりました。会話の流れをより良く分析し、そのデザインを改善しながら、ユーザーエンゲージメントの向上をはかることができます。 今回の記事では、会話ログの有効化、機密を含むスロットの難読化、ボットに関する先進的なモニタリング機能のセットアップなどの方法を解説します。 ボットの構築 この記事では、自動車ローン向けボットをモデリングするために、次のような会話を使用します。 ユーザー: 自動車ローンの未払い残高を確認したいのですが。 エージェント: 承知しました、お客様のアカウント番号をお教えいただけますか? ユーザー: 12345678 です。 エージェント: 確認のため、SSN の最後の 4 桁をお伝えいただけますか? ユーザー: 1234 です。 エージェント: ご協力ありがとうございました。アカウント番号 12345678 の自動車ローンには、12,345 USD の残高があります。 ユーザー: どうもありがとう。 次のようなインテントを使い、AutoLoanBot (download) という名の Amazon Lex ボットを構築します。 ApplyLoan – 名前や SSN といった必要な情報を聞きだし、リクエストを新たに作成します。 PayInstallment – ユーザーのアカウント番号、ユーザーの […]

Amazon SageMaker Ground Truth は、機械学習 (ML) 用の高精度なトレーニングデータセットをすばやく構築できるよう支援します。Ground Truth で、サードパーティおよび独自のラベル付けを行う人間の作業者に簡単にアクセスでき、一般的なラベル付けタスク用のビルトインのワークフローとインターフェースも提供できるようになります。さらに、Ground Truth では自動データラベル付けを使用して、ラベル付けのコストが最大 70% 削減します。自動データラベル付けとは、人間がラベルを付けたデータから Ground Truth をトレーニングし、サービスが独自にデータにラベルを付けることを学習するものです。 セマンティックセグメンテーションとは、画像内の個々のピクセルにクラスラベルを割り当てるなどのコンピュータービジョン ML の手法です。たとえば、移動中の車両が撮像した動画フレームで、クラスラベルに車両、歩行者、道路、信号機、建物、背景を含めることが可能です。画像内のさまざまなオブジェクトの位置を高い精度で理解することができるため、自律走行車やロボットの知覚システムの構築によく使用されます。セマンティックセグメンテーション用の ML モデルを構築するには、まずピクセルレベルで大量のデータにラベルを付ける必要があります。しかし、このラベル付けプロセスが複雑で、熟練したラベル付けの作業者とかなりの時間を要します。画像を正確にラベリングするのに最大 2 時間もかかる場合もあります。 Ground Truth ではセマンティックセグメンテーションのラベリングユーザーインターフェイスに自動セグメント機能を追加し、ラベル付けスループットと精度を向上し、かつ作業者の疲労を軽減することを目指しました。自動セグメント化ツールでは、最小限の入力だけで画像内の関心対象の領域に自動的にラベルを付けることができるため、タスクが簡素化します。これで、自動セグメントからの結果出力を受け入れる、元に戻す、または修正することができます。次のスクリーンショットは、ツールバーの自動セグメント化機能部分を強調し、画像内の犬をオブジェクトとしてキャプションしたことを示しています。この犬に割り当てられたラベルは Bubbles です。 この新機能で、セマンティックセグメンテーションタスクの作業が最大 10 倍早くなります。多角形をきっちり描画したり、ブラシツールを使って画像内のオブジェクトをキャプションする必要はなく、オブジェクトの最上部、最下部、左端、右端の 4 つの部分を描画するだけです。Ground Truth はこれら 4 つのポイントを入力すると、Deep Extreme Cut (DEXTR) アルゴリズムを使用して、オブジェクトの周りにぴったりとフィットするマスクを生成します。次のデモは、このツールでより複雑なラベル付けタスクのスループットを高速化する方法をご紹介しています。 まとめ この投稿では、セマンティックセグメンテーションと呼ばれるコンピュータービジョン ML の手法の目的と複雑さについてご紹介しました。自動セグメント化機能を使えば、作業者による最小限の入力で画像の関心領域のセグメンテーションを自動化でき、セマンティックセグメンテーションのラベリングタスクが高速化します。 いつものように、AWS では皆さんのフィードバックをお待ちしています。コメント欄よりご意見やご質問をお送りください。 著者について Krzysztof Chalupka は Amazon ML Solutions Lab […]