Amazon Web Services ブログ

Category: Artificial Intelligence

AWS Lambda および Amazon SageMaker Ground Truth によるカスタムのラベル貼付ジョブの作成

 Amazon SageMaker Ground Truth は、機械学習用の高精度なトレーニングデータセットを構築するお手伝いをします。SageMaker Ground Truth を使用すると、パブリックおよびプライベートでラベル付けを行う作業者に簡単にアクセスでき、一般的なラベル付けタスクのための組み込みワークフローとインターフェイスが提供されます。Ground Truth は自動ラベル付け機能を使用して、ラベル付けコストを最大 70% 下げることができます。人間がラベルを作成したデータから Ground Truth をトレーニングすることにより機能するため、サービスはデータを独立してラベル付けすることを学習します。 組み込みワークフローに加えて、Ground Truth ではカスタムワークフローをアップロードするオプションがあります。カスタムワークフローは、人間のラベル作成者にラベル付け作業を完了するためのすべての指示と必要なツールを与える HTML インターフェイスから構成されています。また、前処理と後処理の AWS Lambda 関数も作成します。 前処理 Lambda 関数は、HTML インターフェイスへの入力をカスタマイズできるように支援します。 後処理 Lambda 関数は、データの処理を支援します。たとえば、その主な使用の 1 つは、精度向上のためのアルゴリズムをホストして、Ground Truth に対して人間が提供するラベルの質を評価する方法を指示します。 アルゴリズムは、同じデータが複数の人間のラベル作成者に提供されるときに、それが「正しい」かの同意を得るために使用されます。これはまた、質の低いデータを提供するラベル作成者も識別し、強調を押さえます。Amazon SageMaker コンソールを使用して、HTML インターフェイスと前と後処理 Lambda 関数をアップロードすることもできます。 正常に HTML インターフェイスを組み込むために、前と後処理の Lambda 関数は カスタムラベル付けワークフローの作成 で指定された入出力仕様を遵守しなければなりません。すべての可動部分をセットアップし、それらが互いに正常にやり取りできるようにするためには、何回か繰り返す必要があることが考えられます。 この記事では、カスタム HTML テンプレートと Lambda 関数のサンプルを使用して、カスタムワークフローをセットアップするプロセスを順に説明していきます。サンプルの Lambda 関数は、AWS […]

Read More

自宅からヘルスケアアクセスを可能にする: Electronic Caregiver の AWS 搭載の仮想介護者

 Electronic Caregiver の創設者兼 CEO である Anthony Dohrmann 氏は 10 年前に会社を設立したとき、1 億人のアメリカ人と世界中の数え切れない人々が直面していた困難な状況 (慢性疾患の健康管理を管理するという難題) に取り組んでいました。「患者はしばしば受けた治療の指示をよく理解していません。治療の失敗の半数は治療計画と投薬スケジュールを順守していないことに原因があると推定されています」と Dohrmann 氏は説明します。 そのため、Electronic Caregiver は「患者の経験を向上させ、患者を自身のパーソナル治療計画に積極的に参加させられるように」設計されました。「当社は医療従事者、家族、介護者の間のコミュニケーションを改善し、高齢化や病気の必要性に対して情報に基づいた対応をより一層行えるようにしています。当社は、費用のかかる合併症を減らし、健康への影響を改善し、そして寿命を延ばせるようにするつもりです」。 今日、Electronic Caregiver のソリューションは、最先端の 3D アニメーションの仮想介護者である Addison を中心に展開されています。Addison は双方向の会話をすることができ、ユーザーの個人的なニーズに合わせてプログラムされています。人間の在宅介護者と同じ様に、Addison は患者の活動を監視し、薬を服用するように思い出させ、重要な情報を収集し、そしてリアルタイムの健康診断を実施します。それをすべて患者の自宅において行うことで、安全かつ快適に実施します。Addison がいないと患者は病院をいくつも訪問し、在宅介護者への支払いが必要になりますが、Addison のおかげでユーザーはどこにいても健康上のソリューションを享受できます。 その人生を変えるような魔法の力を高めるために、Electronic Caregiver はさまざまな点で AWS に頼っています。HIPPA に準拠した方法で患者データを保存するための生データの計算能力を得るために、Electronic Caregiver のチームは AWS Lambda 関数などのサービスを利用しています。患者向けの経験を高めるために、Electronic Caregiver は Amazon Sumerian を使用して Addison という拡張現実 (AR) キャラクターを開発しました。そして、データの収集と分析などの Addison の背後にあるインテリジェンスにとっては、AWS IoT Core、AWS IoT […]

Read More

edX と Amazon SageMaker を使用するすべての開発者のための機械学習

 お客様が深層学習科学と機械学習 (ML) のバックグラウンドをお持ちでないときに、どのように始めればよいかお尋ねになることがよくあります。 AWS において、私たちの目標はすべての開発者とデータ科学者の手に ML をもたらすことにあります。 AWS トレーニングと認定では edX と提携して、素早く容易に対話形式のコース「Amazon SageMaker: Simplifying Machine Learning Application Development」で ML を使用して開始できるようにしています。 edX でのみ利用できる 「Amazon SageMaker: Simplifying Machine Learning Application Development」は ML の基礎的な理解のための中程度のデジタルコースで、Amazon SageMaker を使用して構築、トレーニング、デプロイできる方法について学ぶことができます。 Amazon SageMaker は ML のワークフロー全体を対象にした 完全マネージド型サービスです。これは、データにラベルを付けて準備し、アルゴリズムを選択し、モデルをトレーニングし、それをデプロイし、予測を行い、動作させるために、微調整して最適化するために役立ちます。 このコースは、AWS 専門家により開発されました。次のことを説明しています。 ML が対応でき、最終的に解決に役立つことができる重要な問題 Amazon SageMaker の組み込みアルゴリズムと Jupyter Notebook インスタンスを使用してモデルをトレーニングする方法 Amazon SageMaker を使用してモデルをデプロイする方法 アプリケーションでパブリッシュされた SageMaker エンドポイントを組み込む方法 Amazon SageMaker: Simplifying Machine […]

Read More

Amazon SageMaker を使用した fastai モデルの構築、トレーニング、およびデプロイ

 深層学習は世界を変えています。しかし、コンテナの構築など、その基礎的な作業の多くでは、多くの時間がかかる場合があります。この記事では、fastai モデルを Amazon SageMaker トレーニングとホスティングに構築、トレーニング、デプロイする方法を説明します。この場合は、Amazon SageMaker Python SDK および PyTorch ベースイメージを使用します。このことにより、自分のコンテナを構築するための追加手順を行わずに済みます。 Amazon SageMaker は、フルマネージドの機械学習 (ML) サービスです。これにより、データ科学者と開発者は、低コストで、素早く ML モデルを構築、トレーニングし、本番稼働にデプロイできるようになります。Amazon SageMaker Python SDK は、ML モデルのトレーニングとホスティングのためのオープンソースライブラリです。TensorFlow、MXNet、PyTorch、および Chainer などの一般的な深層学習フレームワークを容易に使用し、互換性を持たせることができます。AWS は最近 fastai ライブラリを基本の PyTorch コンテナに追加しました。これにより、自分自身おコンテナを提供する代わりに、Amazon SageMaker で fastai 深層学習モデルを利用することができるようになります。 最新のベストプラクティスを使用して、fastai ライブラリは数行のコードだけで、高度な深層学習モデルを作成するときに役立ちます。これには、コンピュータビジョン、自然言語処理、構造化データ、または協調フィルタリングなどのドメインが含まれます。 組織の fast.ai は fastai ライブラリを開発して維持します。これは、一般的な深層学習オープンソース PyTorch パッケージと共に動作します。組織は最近、DAWNBench Competitionで優位な地位を得ました。また、一般的な オンラインコースを提供して、そのモデルを使って ML のバックグラウンドも経験もない開発者のトレーニングさえもしています。 環境のセットアップ fastai ライブラリをインストールした上で新しい Amazon SageMaker ノートブックインスタンスをセットアップするためには、[Launch Stack] […]

Read More

深く掘り下げて問題を解決する: Well Data Labs が、石油およびガス分野の課題に機械学習を適用

2014 年に CEO の Josh Churlik 氏が Well Data Labs を共同設立したとき、彼は業界における奇妙な二分法を強く意識していました。石油およびガス会社にとって、「坑内」の技術革新 (つまり地下で起こること) は、データや分析の技術革新のペースをはるかに上回っていたのです。当時使用されていたデータシステムは 1990 年代の遺物であり、必要とする人々にとって有益であるよりも、歴史への敬意がより強いものでした。 業界の他の多くの人と同様に、Josh と Well Data Labs のチームは、現場のエンジニアの仕事をずっと容易にする可能性がある情報にアクセスできないことに不満を感じていました。業界がスプレッドシートで発展している間、Churlik 氏と彼のチームは、クラウドコンピューティングの急速な進歩に基づいて最新のソフトウェア会社を設立する機会を見つけました。 その結果生まれた会社である Well Data Labs は、「事業者が自社の内部データを管理、分析、報告するための最速かつ最も簡単な方法を提供するために構築された最新のウェブアプリケーション」と自称しています。 つまり、Well Data Labs は、運用中に作成された厄介な時系列データ (キャプチャ、正規化、構造化、およびそのデータに対する分析の有効化) をすべてウェブベースのアプリケーション内で効率的に処理するのです。 Well Data Labs が提供するものを使用すると、エンジニアはより迅速で、より情報に基づいた決定、つまり運用のコストと成功に直接かつ直接的な影響を及ぼす決定を下すことができます。Well Data Labs の顧客が現場での操作をリアルタイムで監視できるように、同社は手動によるフロントエンドのデータ収集と分析を AWS で実行されるカスタム開発の機械学習 (ML) モデルに置き換えました。 AWS の技術スタックがこのソリューションの原動力です。Churlik 氏は、次のように説明しています。「開始したときに、他のクラウドプロバイダーと AWS の間でベイクオフを行いました。私たちは .NET スタックと SQL データベースを使いましたが、AWS ははるかに高性能でした。」 それで、AWS […]

Read More

正確な住宅料金予想を: Entrata が Amazon SageMaker の使用および 1Strategy との提携によりアパートの占有率上昇に成功

住宅市場は複雑な状況に置かれています。  例えば、大学キャンパス付近の学生用物件では供給状態が常に変動します。さらに、賃貸価格の許容値も、物理的・社会的な要因によって絶え間なく変化します。こうした要因には、他の物件と比較してキャンパスに近いか、近隣に友達が住んでいるか、そしてその他の物件と同じように近隣に駐車場があるかが含まれるでしょう。このような相互作用はあらゆるレベルで起こります。物件全体の価値が変化することにより、特定の物件の価値がさらに下がったり、反作用が発生したりするケースもあります。 不動産管理会社が賃貸物件から最大の収益を得るには、テナントごとのプライスポイントの範囲内で各物件の料金を設定する必要があります。しかし、不動産管理会社側は料金制約条件が何か分からないことがあります。  料金を下げ過ぎて収益を失うことはしたくありません。逆に料金を上げ過ぎると空室状態を招き、結局物件の維持費を管理会社側で支払わなければならなくなります。価格のバランスをとるのは難しい問題です。 集合住宅管理ソリューションを提供する総合テクノロジープロバイダーである Entrata は、AWS の機械学習 (ML) を導入することによってこの問題を解決しています。 具体的には、地域、さらには建物に特化したデータ (占有率やキャンパスへの近さ、賃貸契約期間など) を Amazon SageMaker を実行する ML ベースの動的料金エンジンに入力しています。このモデルにより、Entrata の顧客である不動産管理業者は占有率レベルの予測を行い、結果として学生用住宅物件の料金を最適化することができています。 こうして実装されたこのソリューションでは、数多くの AWS サービスが使用されています。  まず、AWS Glue によって Entrata の履歴データが Amazon S3 に抽出されます。このデータによって Amazon SageMaker での料金予想が可能になります。この価格予想は Amazon S3 のアウトプットバケットに書き出されます。Entrata のアプリケーションは API Gateway を使用してこのデータリクエストを消費します。これにより、AWS Lambda 関数がトリガーされ、空室の物件に最も関連性の高い価格予想が提供されます。 このソリューションは、Entrata と、AWS プレミアコンサルティングパートナーである 1Strategy とのパートナーシップによって開発されました。シアトルに拠点を置く同社は、ビジネスによる AWS 上のワークロードのアーキテクチャ設計、移行、最適化をサポートしているコンサルティング会社です。1Strategy と Entrata の長きに渡るパートナーシップの中、この ML プロジェクトは直近のものであり、間違いなく最高の合同テクニカル事業であると言えます。 2 社のコラボレーションは、以前は […]

Read More

言葉がゲームボードであり、Amazon Polly が楽しさをもたらす Volley での音声プレイ

音声による体験が、勢いを増し、人気を集めています。Volley は、一連の人気のあるスマートスピーカーゲームでの音声制御エンターテイメントの最先端にいます。そして、Volley の多くの側面は Amazon Polly を活用しています。 毎日、ますます多くの人々がボタンを押すことによってではなく、スマートスピーカーへの口頭でのコマンドでライトをつけ、お天気をチェックし、音楽を楽しんでいます。Volley は、元はハーバードでのルームメートであった Max Child 氏 (CEO) と James Wilsterman 氏 (CTO) によって 2016 年に共同設立されたサンフランシスコに拠点を置くスタートアップ企業です。同社の使命は、スマートスピーカーを使って、楽しい体験を築くことです。 Volley は、歌のクイズから政治的風刺、ロールプレイングゲームまで、あらゆる種類のゲームを制作しています。「Yes Sire」などの後者のゲームの多くは、自分独自の冒険スタイルを選ぶゲームを特徴としており、そこでは各プレイヤーの選択によって無限の対話が繰り広げられます。Volley が複数のキャラクターがやり取りする中でこうした対話を拡大できるのは、Amazon Polly に大きく依存しています。 「それぞれのキャラクターを特定の Amazon Polly の声に関連付けています」と、Wilsterman 氏は語りました。「私たちのオンザフライ TTS 生成がうまくいくのは、Amazon Polly の text-to-speech API のレイテンシーがユーザーが本質的に知覚できないほど十分に低いからなのです。」 コストの観点からすると、この比較は非常に簡単です。ゲームを発声するために声優を雇うことは、1,000 倍もコストがかかることになります (文字通り、一斉射撃 (Volley) が成果をあげたのです)。Amazon Polly は反応速度が決まっており、人間よりも反応が速いのです。また、録音された脚本に従った声優の場合よりも多様なキャラクターや反応を提供できます。 「私たちは、ゲームで多様で記憶に残るキャラクターを披露したいのです」と、Wilsterman 氏は言いました。「Amazon Polly が、そのために役立つさまざまな言語、アクセント、年齢層をサポートしていることに感謝しています。」 たとえば、Amazon Polly に組み込まれているドイツ語のサポートは、Volley が最近ドイツ向けにローカライズ版の「Yes Sire」 (名前は「Ja […]

Read More

Course Hero, により学生の学習を支援、Amazon SageMaker による対応

Course Hero は学生に学習ガイド、クラスノート、および多くの科目の練習問題を含む 2500 万のコース特有の学習資料へのアクセスを提供するオンライン学習プラットフォームです。このプラットフォームは AWS 上で実行され、各学生が自信をもち、準備ができた気持ちでコースを受講できるように設計されています。Course Hero はそれを実現するために、Course Hero にパワーを与え、主たる人工知能と ML プラットフォームとして機能する Amazon Machine Learning (Amazon ML) を使用して、自ら学習できるように装備しています。 Course Hero の人工知能グループは、会社のセマンティック知識グラフを作成することをタスクとしています。この常に拡大しているグラフにより、受講生はパーソナライズされた学習体験にアクセスでき、教育者は独自のコースコンテンツを作成するためのツールを利用できます。 Course Hero のオファーのほとんどの側面は、様々な形態で AWS に依存しています (計算または ML のいずれか)。たとえば、Amazon Elasticsearch Service (Amazon ES) は、学生と教育者が教材を検索するために使用する検索機能を強化します。Amazon ES プラットフォームは、Course Hero チームが API 拡張プラグイン を通じて独自の実施を書くことができるようにします。このプラグインにより、ローカルに凝縮したセマンティック検索機能を必要とするより難解な検索に対しても、関連性のあるユーザーエクスペリエンスを柔軟に作成できます。 学生および教育者は、自分のコンテンツをアップロードするのと引き換えに、Course Hero のドキュメントライブラリ(自由にアクセス可能)を検索します。Course Hero はすべての文書を公開可能なライブラリ資料として受け付けていません。 文書は、クラウド主導の審査プロセスを経た後でライブラリに受け入れられます。新しい文書がアップロードされると、Amazon EMR および Amazon SageMaker Inference Pipelines で実行中の人工知能プラットフォームが文書に不正、倫理規定違反、著作権侵害、およびスパムがないかどうか確認し、検証します。 […]

Read More

Model Server for Apache MXNet を使って、独自の深層学習フレームワークを Amazon SageMaker で使用する

深層学習 (DL) フレームワークを使用すれば、機械学習 (ML) モデルを構築し、トレーニングできます。しかし ML モデルを本番環境でデプロイし、予測 (推論ともいう) をリアルタイムで処理するプロセスは複雑です。そのため ML の実践者は、これらのモデルをホストし推論リクエストを大規模に処理できる、スケーラブルかつパフォーマンスの高いモデルサーバーを構築する必要があります。 この問題に対処しようと、Model Server for Apache MXNet (MMS) が開発されました。MMS は極めてスケーラブルなだけでなく、すぐに使える推論サーバーです。MMS は ML/DL フレームワークに依存しないように設計されているため、どんな ML/DLフレームワークでトレーニングしたモデルでもホストできます。 この記事では MMS を利用して、運用中の ML/DL フレームワークまたはツールキットを使ってトレーニングしたモデルをホストする方法をご紹介します。本番用ホスティングには、Amazon SageMaker を使います。この PaaS ソリューションはインフラストラクチャを構築する数多くの作業を行ってくれるため、自身のユースケースに集中できます。 今回のソリューションでは、「Amazon SageMaker ホスティングサービスでの独自の推論コードの使用」で概説したアプローチを使用します。この記事では、必要とされるすべての依存関係、ライブラリ、フレームワークとその他のコンポーネントとともにモデルを使用する方法について説明します。それらを 1 つのカスタム Docker コンテナにコンパイルしてから、Amazon SageMaker でホストします。 MMS が ML/DL フレームワークに依存しないアーキテクチャーであることをお見せするため、PaddlePaddle フレームワークでトレーニングしたモデルを本番で投入することにしました。MMS 持ち込み (BYO) コンテナを使って、ML/DL フレームワークでトレーニングしたモデルを Amazon SageMaker で使用する手順を次の図に示しました。 この図が示すように、MMS BYO […]

Read More

Amazon TensorFlow を使用した Amazon Elastic Inference でのコストの最適化

Amazon Elastic Inference を使用すると、低コストの GPU によるアクセラレーションを Amazon EC2 および Amazon SageMaker インスタンスに適用して、深層学習推論の実行コストを最大 75% 削減できます。EIPredictorAPI を使うと、Elastic Inference を簡単に使用できます。 この記事では、EIPredictor を使用し、Elastic Inference で TensorFlow を使用するための段階的なサンプルを説明します。さらに、TensorFlow とともに Elastic Inference を使用することによるコストとパフォーマンスの利点についても説明します。40 ビデオフレームに対する FasterRCNN-ResNet50 の総推論時間を以上で ~113.699 秒から ~8.883 秒に改善し、コスト効率を 78.5% 向上させた方法について丁寧に説明します。 EIPredictor は TensorFlow Predictor API に基づいています。EIPredictor は TensorFlow Predictor API と一貫性があるように設計されているので、2 つのデータ構造間ではコードの移植性があります。EIPredictor は、単一の Python スクリプトまたはノートブック内で Elastic Inference を簡単に使用できる方法であることを意図しています。TensorFlow Predictor をすでに使用しているフローでは、コードを 1 つ変更するだけで済みます。EIPredictorをインポートして指定するだけです。この手順は、後で示します。 Elastic Inference […]

Read More