Amazon Web Services ブログ

Category: SageMaker

正確な住宅料金予想を: Entrata が Amazon SageMaker の使用および 1Strategy との提携によりアパートの占有率上昇に成功

住宅市場は複雑な状況に置かれています。  例えば、大学キャンパス付近の学生用物件では供給状態が常に変動します。さらに、賃貸価格の許容値も、物理的・社会的な要因によって絶え間なく変化します。こうした要因には、他の物件と比較してキャンパスに近いか、近隣に友達が住んでいるか、そしてその他の物件と同じように近隣に駐車場があるかが含まれるでしょう。このような相互作用はあらゆるレベルで起こります。物件全体の価値が変化することにより、特定の物件の価値がさらに下がったり、反作用が発生したりするケースもあります。 不動産管理会社が賃貸物件から最大の収益を得るには、テナントごとのプライスポイントの範囲内で各物件の料金を設定する必要があります。しかし、不動産管理会社側は料金制約条件が何か分からないことがあります。  料金を下げ過ぎて収益を失うことはしたくありません。逆に料金を上げ過ぎると空室状態を招き、結局物件の維持費を管理会社側で支払わなければならなくなります。価格のバランスをとるのは難しい問題です。 集合住宅管理ソリューションを提供する総合テクノロジープロバイダーである Entrata は、AWS の機械学習 (ML) を導入することによってこの問題を解決しています。 具体的には、地域、さらには建物に特化したデータ (占有率やキャンパスへの近さ、賃貸契約期間など) を Amazon SageMaker を実行する ML ベースの動的料金エンジンに入力しています。このモデルにより、Entrata の顧客である不動産管理業者は占有率レベルの予測を行い、結果として学生用住宅物件の料金を最適化することができています。 こうして実装されたこのソリューションでは、数多くの AWS サービスが使用されています。  まず、AWS Glue によって Entrata の履歴データが Amazon S3 に抽出されます。このデータによって Amazon SageMaker での料金予想が可能になります。この価格予想は Amazon S3 のアウトプットバケットに書き出されます。Entrata のアプリケーションは API Gateway を使用してこのデータリクエストを消費します。これにより、AWS Lambda 関数がトリガーされ、空室の物件に最も関連性の高い価格予想が提供されます。 このソリューションは、Entrata と、AWS プレミアコンサルティングパートナーである 1Strategy とのパートナーシップによって開発されました。シアトルに拠点を置く同社は、ビジネスによる AWS 上のワークロードのアーキテクチャ設計、移行、最適化をサポートしているコンサルティング会社です。1Strategy と Entrata の長きに渡るパートナーシップの中、この ML プロジェクトは直近のものであり、間違いなく最高の合同テクニカル事業であると言えます。 2 社のコラボレーションは、以前は […]

Read More

言葉がゲームボードであり、Amazon Polly が楽しさをもたらす Volley での音声プレイ

音声による体験が、勢いを増し、人気を集めています。Volley は、一連の人気のあるスマートスピーカーゲームでの音声制御エンターテイメントの最先端にいます。そして、Volley の多くの側面は Amazon Polly を活用しています。 毎日、ますます多くの人々がボタンを押すことによってではなく、スマートスピーカーへの口頭でのコマンドでライトをつけ、お天気をチェックし、音楽を楽しんでいます。Volley は、元はハーバードでのルームメートであった Max Child 氏 (CEO) と James Wilsterman 氏 (CTO) によって 2016 年に共同設立されたサンフランシスコに拠点を置くスタートアップ企業です。同社の使命は、スマートスピーカーを使って、楽しい体験を築くことです。 Volley は、歌のクイズから政治的風刺、ロールプレイングゲームまで、あらゆる種類のゲームを制作しています。「Yes Sire」などの後者のゲームの多くは、自分独自の冒険スタイルを選ぶゲームを特徴としており、そこでは各プレイヤーの選択によって無限の対話が繰り広げられます。Volley が複数のキャラクターがやり取りする中でこうした対話を拡大できるのは、Amazon Polly に大きく依存しています。 「それぞれのキャラクターを特定の Amazon Polly の声に関連付けています」と、Wilsterman 氏は語りました。「私たちのオンザフライ TTS 生成がうまくいくのは、Amazon Polly の text-to-speech API のレイテンシーがユーザーが本質的に知覚できないほど十分に低いからなのです。」 コストの観点からすると、この比較は非常に簡単です。ゲームを発声するために声優を雇うことは、1,000 倍もコストがかかることになります (文字通り、一斉射撃 (Volley) が成果をあげたのです)。Amazon Polly は反応速度が決まっており、人間よりも反応が速いのです。また、録音された脚本に従った声優の場合よりも多様なキャラクターや反応を提供できます。 「私たちは、ゲームで多様で記憶に残るキャラクターを披露したいのです」と、Wilsterman 氏は言いました。「Amazon Polly が、そのために役立つさまざまな言語、アクセント、年齢層をサポートしていることに感謝しています。」 たとえば、Amazon Polly に組み込まれているドイツ語のサポートは、Volley が最近ドイツ向けにローカライズ版の「Yes Sire」 (名前は「Ja […]

Read More

Course Hero, により学生の学習を支援、Amazon SageMaker による対応

Course Hero は学生に学習ガイド、クラスノート、および多くの科目の練習問題を含む 2500 万のコース特有の学習資料へのアクセスを提供するオンライン学習プラットフォームです。このプラットフォームは AWS 上で実行され、各学生が自信をもち、準備ができた気持ちでコースを受講できるように設計されています。Course Hero はそれを実現するために、Course Hero にパワーを与え、主たる人工知能と ML プラットフォームとして機能する Amazon Machine Learning (Amazon ML) を使用して、自ら学習できるように装備しています。 Course Hero の人工知能グループは、会社のセマンティック知識グラフを作成することをタスクとしています。この常に拡大しているグラフにより、受講生はパーソナライズされた学習体験にアクセスでき、教育者は独自のコースコンテンツを作成するためのツールを利用できます。 Course Hero のオファーのほとんどの側面は、様々な形態で AWS に依存しています (計算または ML のいずれか)。たとえば、Amazon Elasticsearch Service (Amazon ES) は、学生と教育者が教材を検索するために使用する検索機能を強化します。Amazon ES プラットフォームは、Course Hero チームが API 拡張プラグイン を通じて独自の実施を書くことができるようにします。このプラグインにより、ローカルに凝縮したセマンティック検索機能を必要とするより難解な検索に対しても、関連性のあるユーザーエクスペリエンスを柔軟に作成できます。 学生および教育者は、自分のコンテンツをアップロードするのと引き換えに、Course Hero のドキュメントライブラリ(自由にアクセス可能)を検索します。Course Hero はすべての文書を公開可能なライブラリ資料として受け付けていません。 文書は、クラウド主導の審査プロセスを経た後でライブラリに受け入れられます。新しい文書がアップロードされると、Amazon EMR および Amazon SageMaker Inference Pipelines で実行中の人工知能プラットフォームが文書に不正、倫理規定違反、著作権侵害、およびスパムがないかどうか確認し、検証します。 […]

Read More

Model Server for Apache MXNet を使って、独自の深層学習フレームワークを Amazon SageMaker で使用する

深層学習 (DL) フレームワークを使用すれば、機械学習 (ML) モデルを構築し、トレーニングできます。しかし ML モデルを本番環境でデプロイし、予測 (推論ともいう) をリアルタイムで処理するプロセスは複雑です。そのため ML の実践者は、これらのモデルをホストし推論リクエストを大規模に処理できる、スケーラブルかつパフォーマンスの高いモデルサーバーを構築する必要があります。 この問題に対処しようと、Model Server for Apache MXNet (MMS) が開発されました。MMS は極めてスケーラブルなだけでなく、すぐに使える推論サーバーです。MMS は ML/DL フレームワークに依存しないように設計されているため、どんな ML/DLフレームワークでトレーニングしたモデルでもホストできます。 この記事では MMS を利用して、運用中の ML/DL フレームワークまたはツールキットを使ってトレーニングしたモデルをホストする方法をご紹介します。本番用ホスティングには、Amazon SageMaker を使います。この PaaS ソリューションはインフラストラクチャを構築する数多くの作業を行ってくれるため、自身のユースケースに集中できます。 今回のソリューションでは、「Amazon SageMaker ホスティングサービスでの独自の推論コードの使用」で概説したアプローチを使用します。この記事では、必要とされるすべての依存関係、ライブラリ、フレームワークとその他のコンポーネントとともにモデルを使用する方法について説明します。それらを 1 つのカスタム Docker コンテナにコンパイルしてから、Amazon SageMaker でホストします。 MMS が ML/DL フレームワークに依存しないアーキテクチャーであることをお見せするため、PaddlePaddle フレームワークでトレーニングしたモデルを本番で投入することにしました。MMS 持ち込み (BYO) コンテナを使って、ML/DL フレームワークでトレーニングしたモデルを Amazon SageMaker で使用する手順を次の図に示しました。 この図が示すように、MMS BYO […]

Read More

Amazon SageMaker のバッチ変換を使用して予測結果を入力データに関連付ける

大規模なデータセットに対して予測を実行するときは、実行前にいくつかの入力属性を削除することをお勧めします。これは、これらの属性が信号を伝達しない、または機械学習 (ML) モデルのトレーニングに使用するデータセットの一部ではなかったという理由からです。ジョブの完了後、予測結果をすべてまたは一部の入力データに分析用としてマッピングすることにも役立ちます。 たとえば、ID 属性を持つデータセットを考えてみましょう。一般に、観測 ID は特定の ML 問題に対する信号を伝送しないランダムに生成した番号か連続番号です。このため通常、観測 ID はトレーニングデータ属性の一部ではありません。しかし、バッチ予測を行う場合は、出力に観測 ID と予測結果の両方を 1 つのレコードとして含めることもできます。 バッチ変換機能は Amazon SageMakerで、Amazon S3 に格納されているデータセットに対して予測を実行します。以前はバッチ変換ジョブの作成前に入力データをフィルター処理し、ジョブの完了後に予測結果を目的の入力フィールドに結合する必要がありました。Amazon SageMaker のバッチ変換を使えば、予測を実行する前に属性を除外できるようになりました。CSV、テキスト、JSON 形式のデータを使用すると、予測結果を部分的または全体の入力データ属性と結合することもできます。このため、追加の前処理や後処理が不要となり、ML プロセス全体が高速化します。 この投稿では、この新しい機能を使用して Amazon SageMaker のバッチ変換ジョブの入力データをフィルター処理し、予測結果を入力データセットの属性と結合する方法を説明します。 背景 Amazon SageMaker は ML のワークフロー全体を対象にした完全マネージド型サービスです。このサービスは、データにラベルを付けてデータを準備し、アルゴリズムを選択して、モデルのトレーニングを行い、デプロイ用にモデルを調整および最適化を行い、予測を行い、実行します。 Amazon SageMaker はバッチ変換ジョブの開始時に、リソースのプロビジョニングを管理します。ジョブが完了するとリソースを解放するので、ジョブの実行中に使用したリソースに対してのみ支払うことになります。ジョブが完了すると、Amazon SageMaker は指定された S3 バケットに予測結果を保存します。 バッチ変換の例 UCI の乳がん検出のためのパブリックデータセットを使って、特定の腫瘍が悪性 (1) または良性 (0) である可能性があるかどうかを検出するバイナリ分類モデルをトレーニングします。このデータセットには各腫瘍の ID 属性が付属しています。これらはトレーニングと予測の際に除外されます。ただし、バッチ変換ジョブからの各腫瘍の悪性腫瘍について予測した確率を使用して、ID 属性を最終的なアウトプットに戻し、記録します。 手引きとなる Jupyter ノートブックもダウンロードできます。この記事の以下の各セクションはノートブックのセクションに対応していますので、読みながら各ステップのコードを実行してください。 設定 […]

Read More

Amazon SageMaker での Apache MXNet 1.4 と Model Server のサポート

Apache MXNet は ディープニューラルネットワークのトレーニングとデプロイに使用するオープンソースの深層学習ソフトウェアフレームワークです。 データサイエンティストや機械学習 (ML) の開発者の多くが深層学習モデルの構築の際、その柔軟性と効率性から MXNet を好んで使用しています。 Amazon SageMaker では MXNet を含むすべての ML フレームワークとライブラリにおいて、カスタマーエクスペリエンスの向上に取り組んでいます。MXNet 1.4 の最新リリースでは、インターネット無料モードで MXNet コンテナを使用したり、Model Server for Apache MXNet (MMS) を使った深層学習モデルを推論用にデプロイしたりできるようになりました。 Model Server for Apache MXNet (MMS) は深層学習モデルを推論用にデプロイする作業を簡素化するオープンソースのツールセットです。MMS を使用すると、MXNet やその他のフレームワークモデルを簡単に、素早く、そして大きな規模で提供できます。詳細については、「Model Server for Apache MXNet v1.0 release」をご参照ください。 MXNet 1.4 の更新には、ネットワークの分離、Julia バインディング、実験的な制御フロー演算子、JVM メモリ管理、グラフの最適化と量子化、使いやすさの向上など、いくつかの新機能が含まれています。変更ログ情報については、「Apache MXNet (incubating) 1.4.0」をご参照ください。 Amazon SageMaker のトレーニングとデプロイ済み推論コンテナは、デフォルトでインターネットに対応しています。新しい MXNet コンテナを使用すると、インターネット無料モードでコンテナを使用できます。そのため、セキュアかつ隔離された環境内でトレーニングジョブを実行できます。 Amazon SageMaker をトレーニングまたは推論コンテナへの外部ネットワークにアクセスさせたくない場合は、トレーニングジョブやモデルの作成時にネットワークの分離を有効にできます。 MXNet […]

Read More

Amazon SageMaker Ground Truth: データラベリングを高速化するための事前トレーニング済みモデルの使用

Amazon SageMaker Ground Truth を使用すると、機械学習用の高精度なトレーニングデータセットをすばやく構築することができます。SageMaker Ground Truth を使用すると、パブリックおよびプライベートでラベル付けを行う人間の作業者への簡単なアクセスと、一般的なラベル付けタスクのための組み込みのワークフローとインターフェースが提供されます。さらに、SageMaker Ground Truth は自動データラベル付けを使用してラベル付けのコストを最大 70% 削減します。自動データラベル付けは、人間がラベルを付けたデータから Ground Truth をトレーニングし、サービスが独自にデータにラベルを付けることを学習することによって機能します。以前のブログ記事では、自動化されたデータのラベル付けのしくみと、その結果の評価方法について説明しました。 SageMaker Ground Truth はラベリングジョブの間にお客様のためにモデルをトレーニングし、そしてラベリングジョブが終わった後にこれらのモデルを使用できるようになることはご存知でしたでしょうか? このブログ記事では、前のラベリングジョブからトレーニングされたモデルを使用して次のラベリングジョブを「スタートダッシュ」する方法について説明します。これは高度な機能で、SageMaker の Ground Truth API を通じてのみ利用できます。 このブログ記事について 読む時間 30 分 完了するまでの時間 8 時間 完了するためのコスト 600 USD 未満 学習レベル 中級 (200) AWS のサービス Amazon SageMaker、Amazon SageMaker GroundTruth この記事は、以下の以前の記事を基にしているので、最初にその記事を確認することをお勧めします。 Amazon SageMaker Ground Truth と自動化されたデータのラベル付けによる低コストでのデータのアノテーション このブログの一部として、以下で説明するように、3 つの異なるラベリングジョブを作成します。 「自動ラベリング」機能を有効にした初期ラベリングジョブ。このラベリングジョブの最後に、サンプルデータセットに対して高い精度の予測を行うことができるトレーニング済みの機械学習モデルを準備します。 […]

Read More

TensorFlow と Apache MXNet を使用して、Amazon SageMaker で Keras モデルをトレーニングおよびデプロイする

Keras は適切に文書化された定評のある深層学習用オープンソースライブラリで、一方 Amazon SageMaker は機械学習モデルをトレーニングし最適化するための使いやすいツールです。両者を使用するにはこれまで、カスタムコンテナを構築する必要がありましたが、Keras は TensorFlow と Apache MXNet 用のビルトイン TensorFlow 環境の一部になりました。この結果、開発プロセスが簡素化しただけでなく、スクリプトモードや自動モデル調整などの Amazon SageMaker の標準機能を使用することもできるようになりました。 Keras の優れたドキュメント、多数の事例、さらに活発なコミュニティにより、初心者にも経験豊富な専門家にも最適な選択肢となっています。このライブラリはあらゆる種類の深層学習アーキテクチャを簡単に構築できるようにするハイレベルな API を提供し、さらにトレーニングと予測に異なるバックエンドを使用するオプション (TensorFlow、Apache MXNet、および Theano) もあります。 この記事では TensorFlow と Apache MXNet 用ビルトイン TensorFlow 環境を使用して、Amazon SageMaker で Keras 2.x モデルをトレーニングおよびデプロイする方法を説明します。その過程で、次のことも学びます。 スクリプトモードを使用して、ローカルマシンで実行しているのと同じ Keras コードを Amazon SageMaker で実行する。 自動モデル調整を起動して、ハイパーパラメータを最適化する。 Amazon Elastic Inference を使用してモデルをデプロイする。 Keras の例 この例では、Fashion MNIST データセットで簡単な畳み込みニューラルネットワークをトレーニングする方法を示します。このデータセットは、よく知られている MNIST データセットに置き換えられるものです。同数のクラス […]

Read More

Amazon SageMaker の体験ハンズオン動画とQAを公開しました

先日 (2019/5/17) 開催しました 「Amazon SageMaker 機械学習エンジニア向け体験ハンズオン」の動画および資料を公開しました。当日、参加者の皆様から多数頂いた QA についても掲載しています。 Amazon SageMaker は、データサイエンティストやエンジニアが効率よく機械学習を進めるために、 AWS が提供するマネージドサービスです。この動画はSageMakerの基本的な使い方を体験できる1時間のハンズオン動画となっており、動画を見ながら実際に手を動かすことで、SageMakerの利用法を効率よく理解することができます。これからSageMakerを利用して機械学習に取り組む際にはAWS Black Belt オンラインセミナーと合わせて是非ご覧下さい。 【ハンズオンの概要】 1) ビルトインアルゴリズムの利用 ・Random Cut Forest を利用した異常検知 ・XGBoost を利用した画像認識(紹介のみ) 2) Deep Learning フレームワークの利用 ・Chainer を利用した画像認識          ※ 動画の一例 視聴はこちらから >> ※ リンク先でフォームに登録いただきますと、各コンテンツにアクセス可能となります。   当日、参加者の皆様から頂いた QA を以下に掲載します。 Q. SageMakerと他のMachine Learningサービスの区別は?マネージドサービスの中の機械学習サービスの分別とか、適用範囲を教えて頂けませんか A. 機械学習に関連するAWSサービスは、インフラストラクチャ、MLサービス、AIサービスという3つのカテゴリに大きく分けられます。 1. 機械学習を支えるインフラストラクチャには、GPU/FPGA/大量のCPUを搭載したEC2やAWS IoT Greengrass、Amazon Elastic Inferenceなどが該当します。 […]

Read More

パイオニアが車載カメラ画像の認識でAmazon SageMaker Neo を利用

Pioneer Corp は、デジタルエンターテインメント製品を専門とする日本のグローバル企業です。パイオニア は、カーナビゲーションシステムを通じてドライバーが路面状況や交通状況を把握することをサポートしたいと考えており、ドライバーのナビゲーションをサポートするリアルタイムの画像共有サービスを開発しています。このサービスでは車載カメラから集められた画像の分析を行っており、サービス利用者は路面状況や混雑状況などを把握することができます。  これらの画像は公道上で撮られるものであるため、画像共有時には人の顔や車のナンバープレートを高精度で認識し、マスクしてプライバシーを保護する必要があります。 パイオニア は、Amazon SageMaker Neo を使用して画像共有サービスを構築しています。Amazon SageMaker は完全マネージド型サービスで、これにより開発者ははるかに少ない労力とコストで機械学習モデルを構築、トレーニング、およびデプロイすることができます。Amazon SageMaker Neo は、開発者が一度機械学習モデルをトレーニングすれば、クラウドやエッジデバイス上で推論を実行することのできるサービスです。Amazon SageMaker Neo は、精度を損なうことなく、10 分の 1 以下のラインタイムのメモリフットプリント、最大 2 倍の速度で実行するようにモデルを最適化します。 最初に、MXNet、TensorFlow、PyTorch や XGBoost を使って構築され、Amazon SageMaker を使ってトレーニングした ML モデルを用意します。次に、M4/M5/C4/C5 インスタンスやエッジデバイスなどのターゲットハードウェアプラットフォームを選択します。Amazon SageMaker Neo はワンクリックで、トレーニング済みモデルを実行できるようにコンパイルします。 コンパイラはニューラルネットワークを使用して、特定のパフォーマンス最適化をすべて検出して適用し、ターゲットハードウェアプラットフォーム上でモデルを最も効率的に実行できるようにします。最適化されたモデルをデプロイして、クラウドまたはエッジデバイス上で推論を実行できます。 ローンチ時、Amazon SageMaker Neo は次の 4 つの AWS リージョンで利用できました。米国東部 (バージニア北部)、米国西部 (オレゴン)、欧州 (アイルランド)、アジアパシフィック (ソウル) です。2019 年 5 月から、SageMaker Neo は日本のアジアパシフィック (東京) […]

Read More