Amazon Web Services ブログ

Category: Amazon SageMaker

AWS DeepRacer ご利用後のリソース削除方法について

先日 2019年6月12日~14日に開催されたAWS Summit Tokyo 2019 では AWS DeepRacer リーグが行われました。AWS DeepRacer のご利用の際は、ご利用後に使わないリソースを適宜削除し、不要な課金を防いで利用しましょう。 AWS DeepRacer シミュレータのアーキテクチャ この図のように、AWS DeepRacer を立ち上げると、VPC 内に AWS DeepRacer の学習・推論評価用途 SageMaker, RoboMaker、描画、学習データの保存・データ転送に S3, Kinesis Video Stream, NAT Gateway が自動的に起動し、それぞれのサービスに対して課金が発生します。下記では、AWS DeepRacer ご利用後のリソース削除方法を紹介します。 注)本ブログは2019年6月15日時点の仕様を基にしており、今後変更の可能性がございます。   継続的な課金を停止するのに必要なこと リソースの自動削除 一度サービスを立ち上げると、学習・評価が終了しても、一部のサービスが起動したままの状態になっています。継続的な課金を防ぐために、下記の手順で関連リソースを削除することで、継続的な課金が防げます。 AWS DeepRacer → Reinforcement learning → Create model を選択 Account resources で、4つのリソースの左チェック印が緑色の場合、関連リソースが利用可能な状態となっています。 不要な課金を防ぐためには、Reset resources をクリックすれば、S3以外の関連リソースは削除されます。   S3 バケットの削除方法 また、S3バケットの削除は別途行う必要があります。S3 […]

Read More

Amazon SageMaker Neo が、エッジデバイスでの物体検出と画像の分類を支援

野村総合研究所 (NRI) は、日本におけるシステムソリューションおよびコンサルティングサービスの世界的大手プロバイダーであり、APN プレミアムコンサルティングパートナーです。NRI では、顧客が在庫と生産計画を最適化し、コストを削減し、より良いカスタマーエクスペリエンスを創造するのを支援する要求がますます高まっています。こうした要求に応えるために、同社は、顧客のより良い事業運営を支援するために、新しいデータソース、特に動画や写真に目を向けています。 例えば、NRIでは日本のコンビニエンスストアの店内カメラ画像を利用した在庫管理のサポートや、日本の空港で空港利用者の導線パターンを分析し、空港内の利用者の導線の最適化のサポートなど実施もしくは予定しています。 こうしたシナリオでは、物体を検出する機械学習モデルを作成する必要がありました。商品 (飲み物、軽食、紙製品など) や、小売店の店舗を出る人々、空港の通勤者を検出する必要がありました。 NRI は、こうした目標を達成するために Acer と AWS に着目しました。Acer aiSage は、コンピュータビジョンと AI を使用してリアルタイムの洞察を提供するエッジコンピューティングデバイスです。 Acer aiSage は、物体を検出して画像を一度分類するとどこでも実行できるモデルをトレーニングするサービスである Amazon SageMaker Neo、およびローカルコンピューティング、メッセージング、データキャッシング、同期、および機械学習の推論機能をエッジデバイスに提供するサービスである AWS IoT Greengrass を利用します。 NRI の執行役員/DX生産革新本部長である 大元 成和 氏は、「当社の顧客であるヤマハ発動機は、AIによる店舗解析、スマートストア機能の評価を検討中です」と述べています。「こうしたソリューションには、複数のコンピュータビジョンモデルを構築する必要があります。MXNet GluonCV を使用してモデルを構築後、Amazon SageMaker Neo を使用してモデルをコンパイルし、AWS IoT Greengrass を利用して Acer の aiSage にモデルをデプロイします。  Amazon SageMaker Neo は ML フレームワークを抽象化することでモデルのフットプリントを削減し、エッジデバイスでより高速に動作するように最適化できます。当社では、AI ソリューションのエッジ領域までを含めてフルに AWS の技術スタックを活用しています。」 以下は、NRI で物体検出と画像分類が機能している仕組みです。 […]

Read More

Bewgle が AWS を原動力にして、非構造化テキストをインサイトに変える

SAP.iO および Techstars の資金提供を受ける企業である Bewgleは、AWS のサービスを使用してユーザー側で生成されたテキストや音声ストリームからインサイトを浮上させます。同社はインサイトの生成により、美容器具や電子機器といったさまざまな製品において、顧客満足度やエンゲージメントの向上を目指すプロダクトマネージャーのサポートを行っています。  AWS の技術を原動力とする Bewgle の支援を受けて顧客の声に耳を傾けると、プロダクトマネージャーは製品の売り上げの増大が実現できるようになります。 平均的な人間が 1 分間に読める文字数は約 250 字にすぎません。そのため、1000 件のカスタマーレビューをまとめるには、8 時間あまりかかってしまいます。すると、こうしたレビューすべてに加え、フォーラム投稿やブログ投稿のようなその他のテキスト、そしてアンケート結果の逐語的記録や音声ストリームを分析することなど実行できるはずがありません。 AI、特に natural language processing (NLP) と呼ばれる機械学習 (ML) が優れているのはまさにこの分野です。Bewgle の中心的なソリューションは AWS 上ですべてが開発された AI プラットフォームで、数百万規模のコンテンツを分析し、キートピックおよびその背後に潜む感情を抽出します。Amazon Machine Learning および AWS テックスタック全体では、通常なら数年かかる作業をわずか数分で完了できます。 Bewgle のソリューションはまさに、幅広い AWS のサービスを活用しているのです。Bewgle のデータ処理パイプラインが依存する AWS Lambdaおよび Amazon DynamoDB は以下の ML タスクのコアを形成します。 大規模な分析データを保存する。 データのクリーンアップする。 さまざまな処理機能をダイナミックに活用して分析を生成する。 チームは、システムのスケーリング、大まかに結合されたさまざまなワークフローを組織するために、革新的でサーバーレスな ML ワークフローを開発しました。チームはこれにより、さまざまなアプローチを評価、選択するにあたって驚異的な俊敏性および柔軟性を得て、スピーディーなイノベーションを推進することが可能になりました。 Bewgle のワークフローは通常、大規模かつオンデマンドのデータの収集、タグ付けを行うAmazon […]

Read More

Amazon SageMaker による検索エンジンの強化

この記事は、Ibotta 社の機械学習マネージャー、Evan Harris 氏によるゲスト投稿です。Ibotta 社によると、「Ibotta は、単一のスマートフォンアプリを通じて消費者が簡単に普段の買い物に対するキャッシュバックを獲得できるようにすることでショッピング体験を変革しており、食料品、電子機器、衣料、ギフト、家庭および事務用品、レストランでの食事などに対する特典を提供するために、一流のブランドおよび小売業者と提携してる」とのことです。 急成長するミドルステージの企業間における技術面での隔たりは、ユニークな課題を生みがちです。  このような企業の多くで重要視されるのは、高品質アプリケーションを迅速かつ効率的に構築することです。 普段の買い物に対するキャッシュバックを何百万ものユーザーに提供するモバイルアプリ、Ibotta の機械学習 (ML) チームは、このトピックについてかなりの考察と実験を行ってきました。  今日は、Amazon SageMaker を使った検索など、コア機能を実現するために当社が AWS を活用する方法についてお話したいと思います。 この記事では、Ibotta の検索エンジンのアーキテクチャ、そしてリアルタイムの ML を当社のモバイルアプリケーションの検索経験に統合するために Amazon SageMaker とその他の AWS サービスを使用する方法について説明します。この記事が、皆さんの組織の規模に関わらず、組織内における同じような課題に対する実行可能なソリューションを探す期間を短縮するために役立てば幸いです。 包括的で使いやすい検索フローを備える能率化されたモバイルアプリ経験を生み出すことは、私たちのビジネスにとって必要不可欠です。買い物前にお買い得情報を探すお客様は、価値ある情報をすばやく見つける必要があり、そうでなければあきらめてしまう傾向があります。 検索関連性エンジニア、ML エンジニア、設計者、およびモバイル開発者の専属チームを持つ当社では、検索関連性に対する新しくクリエイティブな改善を迅速に開発し、テストするために出来る限り多くの最新テクノロジーを使用しています。Ibotta はデータ主導のインテリジェンスを検索エンジンに投入するための ML の使用を優先しており、これは私たちを従来の情報取得手法を超えたレベルに押し進めます。 基礎を成す検索インフラストラクチャ Ibotta での検索のコアインフラストラクチャは、アプリの幅広いマイクロサービスを土台としています。インデックス化されたドキュメントは Amazon Elasticsearch Service に保存され、これにはモバイルクライアントが任意の時点で利用できるコンテンツのすべてが収められています。リクエストに応じて社内のコンテンツサービスがこのドキュメントストアと通信し、リクエストを行っているユーザーが利用できるコンテンツのみが返されることを確実にするための、追加のルールベースのフィルタリング機能を提供します。 このコンテンツサービスは入力検索クエリを受け取り、他の文脈上の考慮事項を計算に入れながら、関連するコンテンツで応答することができます。コンテンツサービスは典型的な lucene スタイルの検索関連性手法を使用して Elasticsearch ドキュメントストア内の適切なコンテンツを取得します。 ML で強化された検索インフラストラクチャ 基礎となる検索インフラストラクチャには、大きな改善の余地があります。Ibotta の検索問題領域には、特にコンテンツに関してユニークな課題があり、ある週に特定ブランドのための特典がアプリ内にあっても、別の週にはその特典がなくなっているという場合があります。これは、私たちが提携する小売業者によるものです。小売業者は、限定された期間だけアイテムを宣伝したいということが多々あるからです。 これに加えて、当社のアプリでは全く利用できないブランドと製品のカテゴリもあります。これは、当社がまだこれらの小売業者と連携していないからですが、私たちは、ユーザーの検索クエリがアプリ内のコンテンツに完全に一致しない場合でも、それらのユーザーに関連するコンテンツを表示したいと考えています。例えば、取り扱っていないブランドのコーヒーに対する検索は、重要な属性 (フレーバー、サイズ、価格など) 全体に一致する他のコーヒーブランドを返すべきです。 これに対するソリューションがクエリ拡大です。これは、データストアをクエリする前に、ユーザーの検索クエリにコンテンツを追加する一般的な検索手法です。ある状況では、リアルタイムで検索クエリをカテゴリ別に分類することによって価値を付加し、コンテンツ取得とソートアルゴリズムを強化します。別の状況では、カテゴリに分類した後、予測されたカテゴリを専門とするオンライン小売業者を検索してソートし、それらを提案としてユーザーに返します。 Ibotta では、これらのオンデマンドのカテゴリ推論をリアルタイムで行うために Amazon […]

Read More

【開催報告】第5回 Amazon SageMaker 事例祭り

アマゾン ウェブ サービス ジャパン株式会社 (AWS Japan) アソシエイトソリューションアーキテクトの針原 (Twitter: @_hariby) です。AWS Japan 目黒オフィスでは「Amazon SageMaker 事例祭り」(Twitter: #sagemaker_fes) を毎月開催しています。2019年5月21日に開催された第5回 Amzon SageMaker 事例祭りでは、AWS Japan のソリューションアーキテクトによるサービス紹介と、Amazon SageMaker をご利用いただいているお客様をゲストスピーカーにお招きした具体的な導入・運用事例紹介をさせて頂きました。各セッションの様子を以下にまとめます。

Read More

機械学習と Amazon SageMaker ノートブックを使用したデータウェアハウステーブルの探索

あなたは、機械学習 (ML) 環境で探索したいデータウェアハウステーブルを持つデータサイエンティストですか? もしそうなら、読んでください。 この記事では、データウェアハウスに保存され、Amazon SageMaker ノートブックから AWS Glue データカタログでカタログ化されている大規模データセットに対して探索的分析を実行する方法を紹介します。Amazon SageMaker で実行されている Jupyter ノートブックから企業データウェアハウス内のデータセットを特定して探索する方法について詳しく説明します。Amazon Redshift から Amazon EMR に興味深い情報を抽出し、そこでさらに変換する方法を示します。そうすると、すべてシームレスな体験として、ノートブックのデータを分析して視覚化し続けることができます。 この記事は、以下の以前の記事を基にしていますので、最初にその記事を確認することをお勧めします。 Amazon EMR で Spark によってサポートされる Amazon SageMaker ノートブックを作成する Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 Amazon SageMaker の概要 Amazon SageMaker は、フルマネージド ML サービスです。Amazon SageMaker を使用することで、データサイエンティストや開発者は、ML モデルを迅速かつ容易に構築、トレーニングすることができます。また、用意したモデルを実稼動も可能なホステッド環境に直接デプロイすることもできます。Amazon SageMaker には Jupyter のオーサリング環境が統合されており、データサイエンティストの初期のデータ探索や分析、モデル構築に便利です。 課題は、対象となるデータセットを見つけることです。データがデータウェアハウスにある場合は、関連する情報のサブセットを抽出し、それを Jupyter ノートブックにロードして詳細な探索やモデリングを行います。個々のデータセットが大きくなり、数が増えるにつれて、対象となる可能性があるすべてのデータセットを抽出し、ノートブックにロードしてマージすると、実用的ではなくなり生産性が低下します。こうした種類のデータの組み合わせや探索に、データサイエンティストは最大 80% […]

Read More

Amazon SageMaker と Apache Airflow でエンドツーエンドの機械学習ワークフローを構築する

機械学習 (ML) ワークフローは、データの収集と変換を可能にすることによって、一連の ML タスクを調整して自動化します。続いて、成果を達成する ML モデルのトレーニング、テスト、および評価が行われます。たとえば、Amazon SageMaker でモデルをトレーニングし、そのモデルを本番環境にデプロイして推論呼び出しを行う前に、Amazon Athena でクエリを実行するか、AWS Glue でデータ集約の準備を行うことがあります。これらのタスクを自動化し、複数のサービスにわたって調整を行うことで、繰り返し可能で再現可能な ML ワークフローを構築することができます。これらのワークフローは、データエンジニアとデータサイエンティストの間で共有できます。 概要 ML ワークフローは、モデルの精度を向上させ、より良い結果を得るために、循環的かつ反復的なタスクで構成されています。私たちは、最近、Amazon SageMaker との新しい統合を発表しました。統合により、これらのワークフローを構築および管理できます。 AWS Step Functions は、エンドツーエンドのワークフローで Amazon SageMaker 関連のタスクを自動化および調整します。  Amazon S3 への公開データセットの自動化、Amazon SageMaker でデータの ML モデルのトレーニング、予測にモデルのデプロイすることができます。AWS Step Functions は、Amazon SageMaker およびその他のジョブが成功または失敗するまでモニタリングし、ワークフローの次のステップへ移行するか、ジョブを再試行します。それには内蔵エラー処理、パラメータ渡し、状態管理、実行中のMLワークフローの監視可能なビジュアルコンソールが含まれています。 現在、多くのお客様が Apache Airflow を使用しています。これは、複数ステージにわたるワークフローの作成、スケジューリング、およびモニタリングを行うための一般的なオープンソースフレームワークです。この統合により、モデルのトレーニング、ハイパーパラメータの調整、モデルのデプロイメント、バッチ変換など、複数の Amazon SageMaker 演算子が Airflow を利用できます。これにより、同じ調整ツールを使用して、Amazon SageMaker で実行されているタスクで ML ワークフローを管理できます。 このブログ記事では、Amazon Sagemaker と Apache […]

Read More

Amazon SageMaker Ground Truth を使ったカスタムデータラベリングワークフローの構築

優れた機械学習モデルは大量の高品質トレーニングデータで構築されていますが、このようなトレーニングデータの作成は高額かつ複雑で、時間もかかります。モデルが正しい判断を行う方法を学べるように助けるには、通常、人に手動でトレーニングデータへのラベル付けを行ってもらう必要があります。 Amazon SageMaker Ground Truth は、人が画像とテキストの分類、物体検出、およびセマンティックセグメンテーションのラベリングジョブに取り組むためのラベリングワークフローを提供します。また、データラベリングジョブ用のユーザーインターフェイス (UI) を定義するためのカスタムワークフローを構築することもできます。これらを開始できるようユーザーを援助するために、Amazon SageMaker は画像、テキスト、および音声データのラベリングジョブのためのカスタムテンプレートを提供します。これらのテンプレートは、データラベリング UI の構築をシンプル化する Amazon SageMaker Ground Truth の crowd HTML 要素を使用します。UI には独自の HTML を指定することも可能です。 カスタムワークフローは、以下にある理由のために構築するとよいでしょう。 カスタムデータラベリング要件がある。 入力データが複雑で、タスクごとに複数の要素 (例えば、画像、テキスト、またはカスタムメタデータ) がある。 タスクの作成時に特定のアイテムがラベラーに送信されないようにしたい。 ラベリング出力を統合し、精度を向上させるためのカスタムロジックが必要。 IEEE が後援する学会のような科学学会には何千編ものアブストラクトが届き、これらは手作業でレビューされます。科学論文の典型的なアブストラクトには、背景、目的、手法、結果、限界、および結論といった情報が含まれます。何千編ものアブストラクトについてこれらのセクション、つまりエンティティをレビューすることは、手間のかかる作業になり得ます。 必要なエンティティのすべてに自動でタグ付けすることによってレビューアーを助けることができる自然言語処理 (NLP) モデルがあったとしたらどうでしょう? テキストラベリングツールが投稿されたアブストラクトからエンティティを抽出できるととしたらどうでしょうか? Amazon Comprehend は、テキスト内のインサイトと関係性を見つけるために機械学習を使用する自然言語処理 (NLP) サービスですが、この記事では、固有表現抽出 (NER) モデル用のトレーニングデータセットを構築するための、科学論文アブストラクトから名前付きエンティティを抽出するカスタムテキストラベリングワークフローの構築について段階的に説明していき、ユーザー独自の既存のウェブテンプレートを Amazon SageMaker Ground Truth に簡単に取り入れる方法を紹介します。 ソリューションの概要 カスタムワークフローの構築には、arxiv.org のご厚意により提供された科学論文 10 編の最初のページからの入力画像を使用しました。 論文からのテキストの抽出には、Amazon Textract […]

Read More

Udacity の機械学習ナノ学位プログラムに Amazon SageMaker が追加されました

ここ数年の間に、機械学習のスペシャリストとエンジニアの需要が急増しています。これら 2 つの役割は現在、LinkedIn で最も注目されている職種にランクインしています。ここ最近では、機械学習は、医療診断会社から金融機関その他まで、幅広い業界で採用されています。Udacity はこの需要に応えて機械学習ナノ学位プログラム入門と機械学習エンジニアナノ学位プログラムを作成し、より幅広い視聴者がこの技術分野へアクセスできるようにしました。 ボイスアシスタントやリコメンデーションエンジンなどの世界的に利用できるプロダクションアプリケーションに機械学習モデルを統合できるエンジニアに対する需要が高まっています。機械学習モデルを構築する方法を知ることは素晴らしい出発点です。けれども、真の影響を与えるためには、データサイエンティストや開発者は、モデルをラボから実世界に取り込む方法を理解し、何千何万という予測に活かすことができるようにする必要があります。 「最新の AI スキルに対する業界の需要は過去最高に高まっています。Amazon と共同で、AWS プラットフォームで世界中のどこでも最新の機械学習デプロイスキルを習得できるようにするために、Udacity の機械学習ナノ学位プログラムを更新しました」と Udacity の共同設立者、社長兼会長の Sebastian Thrun 氏は言います。 AWS Educate と Amazon SageMaker は、Udacity と共同で 機械学習エンジニアナノ学位プログラムの新しいデプロイメントコンテンツを作成しました。AWS Educate は、Udacity の生徒が AWS のコンテンツと AWS のプロモーションクレジットへアクセスできるようにしています。これらの利点により、生徒は AWS の内容領域専門家 (SME) と連携して開発した課題に Amazon SageMaker を使用することができます。このコースでは、実世界のタスクに大規模に適用されるさまざまな機械学習モデルについて説明しています。生徒は教師ありと教師なしの両方のアルゴリズムをデプロイする方法を学び、それらをフィーチャーエンジニアリングや時系列予測などのタスクに適用します。このコンテンツは、次のような質問に対処します。 与えられたタスクにピッタリの機械学習モデルをどのように決定するか? Amazon SageMaker などのクラウドデプロイメントツールを使用してデータを操作し、機械学習モデルを改善するにはどうすればよいか? Udacity.com による機械学習エンジニアナノ学位プログラムの説明 モデルのデプロイについて学ぶことに加えて、生徒はモデルの提供と更新についても学びます。このコースでは、AWS API を使用して、デプロイされたセンチメント分析モデルをウェブサイトに接続する方法を説明しています。モデルをデプロイした後、基礎となるテキストデータの変更を説明するためにそれを更新します。これは、データを継続的に収集する業界で特に価値のあるスキルです。このセクションの終わりまでに、生徒は自分の設計のタスクを解決するためにモデルをトレーニングしてデプロイするのに必要なスキルを身につけているはずです。 初級者から上級者までの機械学習コース Udacity の機械学習入門および機械学習エンジニアのナノ学位プログラムは、Udacity’s AI of School の一部です。それはソフトウェア開発者によってソフトウェア開発者のために設計された一連の無料のコースおよびナノ学位プログラムです。機械学習に慣れていないのであれば、Udacity […]

Read More

Amazon SageMaker Ground Truth が、ラベル付けワークフローを簡素化し続ける

AWS re:Invent 2018 で発表された Amazon SageMaker Ground Truth は Amazon SageMaker の機能であり、機械学習システムのトレーニングに必要なデータセットの効率的で高精度なラベル付けをお客様が簡単に行えるようにします。 Amazon SageMaker Ground Truth の簡単なまとめ Amazon SageMaker Ground Truth は、機械学習用の高精度なトレーニングデータセットをすばやく構築するお手伝いをします。SageMaker Ground Truth を使用すると、パブリックおよびプライベートでラベル付けを行う人間の作業者への簡単なアクセスと、一般的なラベル付けタスクのための組み込みのワークフローとインターフェースが提供されます。さらに、SageMaker Ground Truth は自動データラベル付けを使用してラベル付けのコストを最大 70% 削減します。自動データラベル付けは、人間がラベルを付けたデータから Ground Truth をトレーニングし、サービスが独自にデータにラベルを付けることを学習することによって機能します。 Amazon SageMaker Ground Truth は以下のデータセットの構築をお手伝いします。 テキスト分類。 画像分類 (画像を特定のクラスに分類する)。 物体検出 (画像内の物体の位置をバウンディングボックスとともに取得)。 セマンティックセグメンテーション (ピクセル精度で画像内の物体の位置を取得)。 文字通りお客様が何でも注釈を付けることができるカスタムのユーザー定義タスク。 ラベラーのチームを使用して、ラベル付けの要求を直接ラベラーにルーティングすることを選択できます。あるいは、スケールアップが必要な場合は、組織外のラベラーと連携するためのオプションが Amazon SageMaker Ground Truth コンソールに直接表示されます。Amazon Mechanical Turk との統合により、50 […]

Read More