Amazon Web Services ブログ

Category: Artificial Intelligence

Amazon SageMaker に組み込みの物体検出アルゴリズムと AWS DeepLens を使用してエッジで鳥の種を識別する

カスタムの物体検出は、MRI での腫瘍の発見、病気に罹った農作物の特定、鉄道駅ホームの監視など、さまざまな産業やユースケースにとって重要な要素となっています。このブログ記事では、アノテーションが付けられた公開データセットに基づいて鳥を識別します。このタイプのモデルは、さまざまな方法で使用できます。建設プロジェクトの環境調査の自動化で使用したり、バードウォッチングの時に鳥愛好家が使用したりすることができます。また、このモデルを実用的な例として利用し、独自のユースケースの新しいアイデアを生み出すこともできます。 この例では、Amazon SageMaker が提供している組み込みの物体検出アルゴリズムを使用します。Amazon SageMaker は、エンドツーエンドの機械学習 (ML) プラットフォームです。組み込みアルゴリズムを使用することで、開発者は TensorFlow や MXNet などの低レベルの ML フレームワークの使用に関する専門知識を必要とせずに機械学習を加速させることができます。モデルは、Amazon SageMaker の完全に管理されたオンデマンドトレーニングインフラストラクチャでトレーニングします。AWS IoT Greengrass を使用すると、トレーニング済みモデルをクラウドまたはエッジで簡単にホストすることができます。 カスタムの物体検出をエッジで使用する方法を示すために、トレーニング済みモデルを開発者向けの世界初の深層学習対応ビデオカメラである AWS DeepLens にデプロイする方法も示します。AWS DeepLens により、開発者は文字どおり完全にプログラム可能なビデオカメラ、チュートリアル、コード、および深層学習スキルを向上させるよう設計された事前トレーニング済みのモデルを使って深層学習を利用できます。 次の図は、鳥の識別ソリューションの構築方法の概要を示しています。 データセットの理解 CUB 200-2011 鳥類データセットには、200 種の鳥の種にわたる 11,788 枚の画像が含まれています (元の技術レポートはこちらにあります)。それぞれの種には約 60 枚の画像が付属しており、一般的なサイズは約 350 ピクセル × 500 ピクセルです。鳥の部分のアノテーションとして、バウンディングボックスが提供されています。推奨されるトレーニング/テストの分割は与えられますが、画像サイズデータは与えられていません。 画像データセットの準備 Amazon SageMaker の物体検出アルゴリズムに画像データを提供する最も効率的な方法は、RecordIO 形式を使用することです。MXNet には、データセット用の RecordIO ファイルを作成するための im2rec.py というツールがあります。このツールを使用するには、一連の画像を記述するリストファイルを用意します。 物体検出データセットでは、Amazon SageMaker は、バウンディングボックスを、フル画像に対するボックスのコーナーの比率である […]

Read More

Newstag は AWS の AI 言語サービスを使用して、世界の動画ニュースがより多くの人々に届けます

スウェーデンのスタートアップ、Newstag では人工知能 (AI) を使用し、世界中の主要なニュースプロバイダーから集めたニュースをカスタマイズした動画ニュースチャンネルを制作しています。同社の使命は、人々や組織が最新の多様な情報を活かし、自らの可能性を広げられるよう支援することです。Newstag では世界中から集めた同社の顧客向け動画ニュースがより多くの人々に届くよう、各動画のリッチメタデータを制作しています。Newstag では Amazon Transcribe、Amazon Translate、Amazon Comprehend を使用することにより、動画からメタデータを抽出し、制作するという膨大な手作業を要するこのプロセスを自動化することに成功しました。AWS の各種サービスを組み合わせて使用することで、Newstag では従来の 10 倍に相当する量の動画メタデータを制作できるようになったのです。 「人々は自分たちの見るニュースを選びたがっていると、私たちは感じています。顧客自身が関連するストーリーを取捨選択できるようにすること、当社の使命を遂行するのに、このことが極めて重要であると私たちは考えます」と Newstag 社 CTO、Mats Ekholm は述べています。これを現実にするため、Newstag ではパーソナライズされた動画ニュースチャンネルを作成するのに顧客自身が選択できるタグを開発しました。以下のスクリーンショットでは顧客が Newstag でこれらのタグをどのように選択するかについて解説しています。 一日に 1,000 本以上の動画を提供するため、Newstag の編集スタッフは長い時間をかけてコンテンツへのタグ付けを行っていました。その作業には複数の言語を要し、手作業で行わなければなりませんでした。タグの多くは表題、簡単な説明、そして一部のメタデータで構成されています。同社は需要に応えようと奮闘しながらシンプルでコスト効率が良く、展開しやすいソリューションを探しました。AWS で事前トレーニングを施した機械学習 (ML) サービスを使用することで、Newstag は AI に関する経験なしでも、AI を使用してこの問題を解決したのです。 まず、Newstag は Amazon Transcribe を使用して、Amazon Simple Storage Service (S3) に格納された動画音声をサポート言語でテキスト化します。続いて、テキスト化された英語以外のデータ、その他の表題、説明、または動画と共に元々提供されたキーワードに Amazon Translate を適用して正確な英語訳を作成します。最後に、テキストコンテンツを分析してインサイトを提供する機械学習サービスである Amazon Comprehend を使用して、入手できてる英語のテキストすべてから、題を抽出します。組織、人々、場所、ロケーションなど、名前の付けられた題は、顧客が興味のあるコンテンツを見つけやすくするための正確なタグの作成に使用されます。 「手作業で処理していた頃は 1 時間あたり 3 […]

Read More

Amazon Alexa デバイスで WordPress サイトを「読む」

昨年初頭、WordPress 向け Amazon Polly プラグインを発表しました。このプラグインを使用することで、WordPress を使用するブロガーやウェブサイトの作成者は、投稿、記事、ウェブサイトのオーディオバージョンをすばやく簡単に作成できるようになります。それから数か月後、そのプラグインに Amazon Translate サービスを使用して、ウェブサイトのコンテンツをすばやく他言語に翻訳する機能が盛り込まれました。オーディオバージョンを作成できる機能と合わせたこの機能を使用することにより、翻訳された言語でサイトのコンテンツを音声化できるようになります。AWS の提供する最新の AI サービスを活用して、クリエーターや作者の皆さんに世界中のより多くの読者/視聴者にコンテンツを届けていただければと思います。本日は、このプラグインに追加されるもう 1 つの拡張機能についてお話しします。この拡張機能により、WordPress のウェブサイトやブログの拡張に Alexa デバイスを使用できるようになるというものです。この拡張機能はウェブサイトのクリエーターや制作者にとって、さらに広範な視聴者に到達できる、新たな可能性の扉を開くことになります。また、視聴者は Alexa に読み上げを頼むだけでお気に入りのブログを聞けるようになるので、視聴者の利便性も向上します。 前置きはこれくらいにして、WordPress のウェブサイトと Alexa を統合する方法についてご紹介していきましょう。 さらに、今日はこのプラグインの正式名称が Amazon AI Plugin for WordPress に変更されたことも発表します。これは AWS AI エコシステムとの広範な統合をより適切に反映させるためのものです。 次の図は Alexa を介してウェブサイトを公開するために必要な連係とコンポーネントの流れを示しています。 これから実装する各プロセスを見ていきましょう。 ユーザーはたとえば、「Alexa, ask Demo Blog for the latest update」(Alexa、デモブログに最新の記事を確認して) と話かけることで、新しい Alexa スキルを呼び出します。 このスキル自体は、Alexa Skill Blueprints の 1 つを使用して作成されています。この機能を活用すると深い技術的な知識がなくても、Alexa デバイスを使ってスキルを公開できます。 […]

Read More

機械学習:政府がすべきことは?

機械学習 (ML) により、政府はより良く、費用効果があり、市民に優しいサービスをお届けできます。弊社は政府当局および機関の3名様の Amazon ウェブサービス (AWS)のお客様より、機械学習がどのようにサービスおよび組織の形を変えるのに役立ったかをお話いただきました。お客様は AWS re:Invent 2018の一部として、ヨーロッパ政府団体のために特別に精選された行政上の学習経路に集まりました。 国民健康サービス事業サービス当局 イギリス国民への一次医療、歯科治療、および処方サービスの提供を監督する英国 (UK) 国民健康サービス事業サービス当局 (NHSBSA) は、弊社にどのようにクラウドベースチャボットである、Amazon Connect を連絡センターサービスに導入して、お客様のニーズに対応する能力を強化したかをお伝えくださいました。 デジタル変換、識見、および技術ソリューションアーキテクトの Chris Suter 氏に、本グループとの投資の結果をお話いただきました。実施の最初の3週間、チャボットは NHSBSA が約11,000通の簡単な問合せ、および追加サポートを提供できるスタッフに繋ぐ、より複雑な問合せの電話に応対するのを助けました。これにより NHSBSA は年間 $650,000 アメリカドルを節約しました。 NHSBSA はAmazon Lexを使用して、通話を自動的に繋げ確実に正しく応答し、Amazon Polly を使用して、人間のような話し方を再現しました。機械学習主動のフロントエンドは40パーセントの受信通話を処理し、お客様の待ち時間ほぼゼロでスタッフが対応することができます。 「これにより能率が上がり NHSBSA にとっての費用を節約しただけでなく、より複雑な疑問を持つお客様に対する十分なガイダンスを提供することへの努力に集中することができたため、従業員の士気を押し上げました。」Suter 氏は言いました。 ベルギー公的雇用サービス VDAB もう一名の AWS のお客様であるベルギー公的雇用サービス VDABは、機械学習を使用してどのように仕事の適性を改善すること、つまり就業機会に対してぴったりの人材を見つけることができるかを探っていました。Radix.ai の JobNet は深層学習モデルを使用してこの機能を向上させました。それぞれの新規データセットにより、エンジンは求人市場がどのように進化し、求人需要の変化に気づき、動向が長期的に変化するかを学習します。 深層学習モデルは仕事内容および履歴書の言葉の分析を超えて、求職者の関心および才能の情報を取り込みます。このサービスを使用することにより、採用担当者は求職者と求人中の職との間のより良く迅速なつながりを求めます。 英国王立盲人協会 機械学習の障碍者への影響も変化します。英国王立盲人協会 (RNIB) はAmazon Polly を使用して、英国最大の盲人および弱視者のコミュニティーに閲読サービスを提供します。RNIB のトーキングブックサービスは無料で26,000以上のオーディオブックへのアクセスを提供します。数百万の英国人にとって、このサービスは人生を変えるものであるかもしれません。 更なる政府のお客様は、機械学習がユーザーにとって、そして同様に彼らの事業にとって、仕組みを変えるような技術であることを見出しています。これらの例は政府にとっての起点を与えます。 AWS インスティテュートについて このプログラムを精選した […]

Read More

Amazon Elastic Inference を使用して ONNX モデルを実行する

 re:Invent 2018 で、AWS は Amazon Elastic Inference (EI) を発表しました。これは、すべての Amazon EC2 インスタンスに適切な量の GPU による推論アクセラレーションを追加できる新しいサービスです。これは、 Amazon SageMaker のノートブックインスタンスとエンドポイントにも利用可能で、ビルトインアルゴリズムや深層学習環境にアクセラレーションをもたらします。 このブログ記事では、GitHub で ONNX Model Zoo のモデルを使用して、MXNet と Elastic Inference Accelerator (EIA) をバックエンドとして推論を実行する方法を示します。 Amazon Elastic Inference のメリット Amazon Elastic Inference を使用すると、低コストの GPU によるアクセラレーションを Amazon EC2 および Amazon SageMaker インスタンスに適用して、深層学習推論の実行コストを最大 75% 削減できます。 Amazon Elastic Inference は、Apache MXNet、TensorFlow、および ONNX モデルをサポートしています。ONNX […]

Read More

Amazon SageMaker Ground Truth を使用して階層型ラベル分類法を作成する

re:Invent 2018 で、私たちは Amazon SageMaker Ground Truth を発表しました。これは、機械学習を使用して非常に正確なデータセットを構築し、ラベル付けのコストを最大 70% 削減することができます。Amazon SageMaker Ground Truth を使用すると、パブリックおよびプライベートでラベル付けを行う人間の作業者に簡単なアクセスと、一般的なラベル付けタスクのための組み込みのワークフローとインターフェースが提供されます。さらに、Amazon SageMaker Ground Truth は自動データラベル付けを使用してラベル付けのコストを削減します。自動データラベル付けは、人間がラベルを付けたデータから Ground Truth をトレーニングし、サービスが独自にデータにラベルを付けることを学習することによって機能します。 路上でカメラで撮影した画像の大規模なコーパスがあるとしましょう。それぞれの画像には、無人自動車用のアルゴリズムを開発するために重要な多くの異なる対象物 (たとえば、車または交通標識) が含まれている可能性があります。最初に、画像から取得したい情報の階層表現を定義する必要があります (そのようなラベル分類法がどのように見えるかの例については、下記を参照してください)。次に、これらのラベルが付いていない未処理の画像を取得し、高レベルのクラス (「車」、「交通標識」、「歩行者」など) でラベル付けすることによってラベル付けプロセスを開始します。 このブログ記事では、ジョブをチェーンさせて拡張マニフェスト機能を利用することで、Amazon SageMaker Ground Truth を使用してこのような階層的なラベル付けを実現する方法を紹介します。 通常の解決方法 教師あり機械学習では、通常、未加工データと各データオブジェクトの関連ラベルの両方を含むラベル付きデータセットを使用します。たとえば、道路画像のトレーニングデータセットを作成し、それらを「交通標識あり」または「交通標識なし」に分類することができます (ラベル 0 と 1 が 2 つのクラスに対応します)。これらのラベルは通常、CSV や JSON などの形式で保存され、最初の列は未加工データを表し、2 番目の列はラベルを表します。 ただし、同じセットの画像にさらにラベルを付けたい場合 (たとえば、「交通標識あり」セット内の交通標識の種類を識別するため)、通常、最初のデータセットに対してフィルタ処理を実行して交通標識が含まれている画像だけを選択して、新しいデータセットを作成します。これにより、データセットは「交通標識」 (ラベル 0) だけを含む別のサブセットに縮小されます。その後、新しいラベルを追加して、標識を「一時停止標識」、「制限速度」などに分類することができます。 こうした種類のフィルタリング操作は、大規模なデータセットではコストや時間がかかる可能性があります。また、物体検出 (バウンディングボックス) アルゴリズムによって、画像内のすべての停止標識と歩行者をマークしたいと考えるかもしれません。このため、通常、画像の中の停止標識と歩行者のそれぞれの周囲に、物体検出ラベルを追加して 3 番目のデータセットを作成する必要があります。深く分類し続けるにつれて、トレーニングデータセットの数と複雑さは分類法のファンアウト係数 […]

Read More

[AWS Black Belt Online Seminar] Amazon SageMaker Advanced Session 資料及び QA 公開

先日 (2018/3/13) 開催しました AWS Black Belt Online Seminar「Amazon SageMaker Advanced Session」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20190213 AWS Black Belt Online Seminar Amazon SageMaker Advanced Session from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. 自動ラベリング機能については、SageMakerのフレームワークに則る必要がありますか?(APIレベルで) A. 自動ラベリング機能は,Image classification,Object detection,Text classificationの3つのビルトインアルゴリズムについて,EC2上で学習とバッチ推論APIとしてお使いいただくことができます. https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/sms-automated-labeling.html Q. Marketplaceでは推論モデルのバージョンアップのタイミングで精度が変化することもあると思いますが、次のバージョンがリリースされる前に試用期間を設けてもらうことは可能でしょうか? A. 出品者のお客様のほうで出品内容については管理されており,AWS側からそう言った制限を設けることは現状できかねます. Q. そのアルゴリズムなどに対する問い合わせは通常のサポート窓口経由ですか? A. サポートにご契約いただいているお客様は,サポートにお問い合わせいただくことができます. Q. DeepRacerって国内でも使えるんですか? A. 日本国内発売開始後,ご利用いただけます. Q. 学習したモデルをデプロイするのではなく、modelファイルとして出力して、別環境にデプロイすることはできますか? A. 学習済みのモデルとその時に使ったスクリプトや・パラメータは全てS3に保存されますので,そこから直接取り出して別環境にデプロイいただけます. https://docs.aws.amazon.com/sagemaker/latest/dg/how-it-works-training.html 今後の AWS Webinar スケジュール 直近で以下のオンラインセミナーを予定しています。各オンラインセミナーの詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております! AWSOME DAY ONLINE CONFERENCE […]

Read More

Amazon SageMaker スクリプトモードでの TensorFlow Eager Execution の使用

 このブログ記事では、TensorFlow の Eager Execution モードでモデルを訓練するために Amazon SageMaker のスクリプトモードを使用する方法について説明します。Eager Execution は TensorFlow の未来であり、現在最新の TensorFlow 1.x バージョンでオプションとして利用可能ではあるものの、TensorFlow 2 ではデフォルトモードになる予定です。今回は、スクリプトモードと Eager Execution について簡単に説明してから、代表的な回帰タスクシナリオをご紹介します。次に、スクリプトモードと Eager Execution を併用して、このタスクを解決するワークフローについて説明します。このブログ記事のためのノートブックと関連コードは GitHub から入手することができます。それでは、スクリプトモードから見ていきましょう。 Amazon SageMaker のスクリプトモード Amazon SageMaker は、TensorFlow などの人気の高い機械学習 (ML) および深層学習フレームワークの一部を使ったモデルの訓練とデプロイメントを容易にする API と事前構築されたコンテナを提供します。Amazon SageMaker は、コンテナの構築や基盤となるインフラストラクチャの管理について心配することなく、カスタム TensorFlow コードを使用したモデルを訓練してデプロイするために使用できます。Amazon SageMaker の Python SDK TensorFlow Estimator、および Amazon SageMaker のオープンソース TensorFlow コンテナは、TensorFlow スクリプトを記述して、それを Amazon SageMaker […]

Read More

【開催報告】第2回 Amazon SageMaker 事例祭り

アマゾン ウェブ サービス ジャパン株式会社 (AWS) ソリューションアーキテクトの針原佳貴です。 AWS では、Amazon SageMaker のハンズオンとお客様の登壇による事例紹介を合わせたイベント「Amazon SageMaker 事例祭り」を毎月開催しています。2018年2月12日に目黒オフィスで第2回 Amzon SageMaker 事例祭りが開催され150名ほどの方にご参加頂いたので、以下でその概要についてお伝えします。今回の Amazon SageMaker 事例祭りは Chainer x AWS というテーマで、セミナーと事例発表の二部構成で開催されました。   セミナー 「Chainer v5 とこれから ~学習と推論の最新機能~」株式会社Preferred Networks リサーチャー 得居誠也 様 [slides] Chainer は Python で実装された Define by Run の深層学習フレームワークで、NumPy のような既存の Python ライブラリをそのまま使い、直感的な API によるモデルの記述ができます。本発表ではまずこれらの設計思想と API の解説を改めて Chainer のリード開発者である 株式会社Preferred Networks 得居様からお話し頂きました。また、大規模データに対するトレーニングの際に求められる Serializers によるパラメータのファイル出力や、ONNX-Chainer, […]

Read More

Gubagoo が、Amazon Translate を使って自動車ディーラー向け翻訳対応ライブチャットを構築

Gubagoo は、自動車ディーラー向けの高度なコミュニケーションソリューションの一流プロバイダーです。Gubagoo は、自動車の顧客が車を購入するときやサービスの予約をするときは、いつでも個別化された体験や役立つ情報を求めていることを理解しています。さらに、顧客は自分の母国語でのコミュニケーションを望んでいます。ただし、米国のディーラーは、スタッフが通常英語しか話さないため、こうしたコミュニケーションを行うことは困難です。この問題に対処するために、Gubagoo は ChatSmart と呼ばれるライブチャットソリューションを提供しています。ディーラーは ChatSmart をウェブサイトと統合し、顧客との最初の会話をリアルタイムで複数の言語で管理することができます。これを実現するために、ChatSmart は、手ごろな価格で迅速かつ高品質な言語翻訳を提供するニューラル機械翻訳サービスである Amazon Translate を使用しています。 ChatSmart ソリューションの外観は次のようになります。 ChatSmart を導入するディーラーが増えるにつれ、Gubagoo は、会話の 10% 以上が英語以外の言語で行われていることに気がつきました。「車の購入客に自分が選択した言語でコミュニケーションする能力を与えることで、より多くの消費者との接点が生まれ、ディーラーはより多くの見込み客を獲得できます」と、Gubagoo の CTO である Ilia Alshanetsky 氏は言います。「そのための最も効率的な方法は、私たちのソリューションをニューラル機械翻訳サービスプロバイダーとシームレスに統合することだと気付いたのです。」 Gubagoo はいくつかの機械翻訳サービスを試した結果、競合ソリューションに比べて 2 倍高速なパフォーマンスと 25% 低いコストをもたらしてくれることが分り、Amazon Translate を選択しました。 「Amazon Translate によって、英語以外の言語の消費者に販売するディーラーをしっかりサポートできるようになりました」と、Alshanetsky 氏は続けて言いました。「例えば、プエルトリコでディーラーをしている当社のクライアントに対してスペイン語で始められた会話を Amazon Translate を使って翻訳しており、その内の 48% が販売機会につながっています。翻訳はとても自然なもので、消費者はスペイン語を話さない人とチャットをしているとは思わないほどです。」 顧客がライブチャットを使用して会話を開始すると、Amazon Comprehend 言語検出 API が顧客が使用している言語を認識します。テキストが英語であれば、翻訳は不要です。テキストが英語以外の言語であれば、Amazon Translate API がテキストを英語に翻訳してチャットスペシャリストに配信します。チャットスペシャリストが英語で応答すると、Translate API が応答を翻訳し、顧客が希望する言語でテキストを提供します。 下が、このワークフローの図です。 例: ChatSmart […]

Read More