Amazon Web Services ブログ

Localization Team

Author: Localization Team

トヨタ・リサーチ・インスティテュート、AWS の深層学習により安全性が高い自動運転車を世界規模で急速展開

社会は自動運転技術を搭載した車両から数多くの恩恵を受けます。トヨタ・リサーチ・インスティテュート (TRI) が最優先事項の一つに掲げているのが、進化した最新の人工知能 (AI) を活用してより安全で、利用しやすく、環境にも優しい車両を生産することです。TRI はその目標達成に役立てるためアマゾン ウェブ サービス (AWS) の深層学習に着目しました。 TRI は、Amazon EC2 P3 インスタンスを利用することで、以前使用していた P2 インスタンスと比較して訓練時間が 4 倍も速くなり、訓練時間が数日から数時間に短縮されました。これにより、モデル車を素早く最適化した上で短期間でトレーニングを再度行い、テストカーやシミュレーション環境に展開してさらにテストすることができます。また、AWS の「pay-as-you-go」モデルと組み合わせて、P2 インスタンスに対して P3 インスタンスのパフォーマンスを大幅に向上させたことで、TRI の運用コストを削減しました。 自動運転のための深層学習モデルの作成 TRI は、その自動運転技術のため単一技術のスタックを開発し、2 つのモードを用意しました。保護者 (Guardian) モードと運転手 (Chauffeur) モードです。保護者モードでは、ドライバーは常に車輪と路面状態に気を配る必要がありますが、運転中の社内外の環境を絶えず監視することで衝突危機を認識した時に必要なタイミングで介入を行います。運転手モードも同じ技術を使用しますが、車両は常に制御されており、厳密に乗客を乗せられる乗用車です。 自律型車両を開発および展開するには、膨大な量のデータ、高性能コンピューティング能力、高度な深層学習技術を結集、格納、管理する能力と、車両内でリアルタイムに処理する能力が求められます。 TRI は PyTorch の深層学習フレームワークを利用することで深層学習コンピュータビジョンモデルを作成し、両運転モードで自動的に監視および制御を行えるようにしました。TRI には、深層学習モデルで使用するデータを収集するため、カメラ、レーダー、LIDAR (3D 空間でオブジェクト表現を生成するための制御およびナビゲーションに使用される技術) などのさまざまなタイプのデータ収集センサーが装備されたテストカーを数多く保有しています。テストカーは、様々な運航設計領域 (Operational Design Domains、ODD) を駆け抜け、車両 1 台につき 1 日合計テラバイト単位のデータを収集して記録します。このデータは、分析、機械学習の再学習モデルやシミュレーションのため、素早く検索、準備および利用可能な状態にする必要があります。 TRI は、正確なトレーニングモデルには、数兆マイルの試験走行が必要だと考えています。1 億台以上のトヨタ車が路上を走行している今日、ドライバーは様々な運転状況を経験します。車両のテストを補完するため、TRI はシミュレーションを用いてさまざまな希少条件やシナリオをモデル化します。シミュレーションでは、暴風雨、吹雪、日中・夜間の異なる時間帯のギラツキや、さまざまな路面状態や周囲の状況といった厳しい状況で、機会学習モデルがどのように反応するかをテストするフォトリアルデータストリームを生成します。 TRI は、新しいテストデータが利用できるようになると、研究アイデアを間髪入れずに模索し、モデルを素早くトレーニングして、更新版をテストカーに搭載し、テストを再実行できるようにします。 […]

Read More

Amazon EC2 アップデート – インスタンスタイプの追加、Nitro システム、CPU オプション

みなさんとシェアしたい EC2 アップデートのバックログがあります。私たちは新しい機能やインスタンスタイプを迅速にリリースしており、追いつくべき時が来ました。ここでは、現在どこにいるのか、今後どこへ行くのかを簡単に見てみましょう… インスタンスタイプの追加 最新の EC2 インスタンスタイプのアナウンスを簡単に要約します。 コンピューティング最適化 – コンピューティング最適化 C5d インスタンスは、C4 インスタンスに対して 25% ~ 50% パフォーマンスが改善されています。5 つのリージョンで利用可能であり、最大で 72 の vCPU、144 GiB のメモリ、1.8 TB のローカル NVMe ストレージを提供します。 汎用 – また、汎用 M5d インスタンスも 5 つのリージョンで利用可能になりました。最大で 96 の vCPU、384 GiB のメモリ、3.6 TB のローカル NVMe ストレージを提供します。 ベアメタル – i3.metal インスタンスが数週間前に一般利用可能になりました。Elastic Block Store (EBS)、Elastic Load Balancing、Virtual Private Clouds などの […]

Read More

新規 – Amazon ElastiCache での Redis 4.0 の互換性

Amazon ElastiCache は、Redis または Memcached での完全マネージド型のインメモリデータストアやキャッシュの設定を簡単にします。本日、ElastiCache が Redis 4.0 と互換になったことを発表いたします。これにより、すべての商用 AWS リージョンで、Redis 4.0 互換の ElastiCache ノードまたはクラスターを起動できるようになります。ElastiCache Redis クラスターは、テラバイト単位のメモリや毎秒当たり何百万回もの読み書きへスケールして、ゲーム、IoT デバイス、金融アプリケーション、ウェブアプリケーションなどの最も厳しいニーズに対応することができます。 AWS マネジメントコンソールまたは AWS コマンドラインインターフェイス (CLI) で Redis クラスターを起動する方法は、引き続き簡単です。新しい Redis 4.0 の機能を使ってみるための小さなクラスターを作成し、新しいバージョンを使用するために「Engine version compatibility」で 4.0 リリースを選択します。これにより、この記事を書いている時点で、4.0.10 互換のクラスターが起動します。 新機能 Least Frequently Used (LFU) キャッシュエビクションポリシー – Redis 4.0 は、新しい LFU キャッシュエビクションアルゴリズムを含めて多くのキャッシング機能が強化されたことで、Least Recently Used (LRU) より優れたパフォーマンスを実現できます。Antirez のブログが、いくつかの変更について深く掘り下げています。 非同期の FLUSHDB、FLUSHALL、UNLINK – […]

Read More

AWS DeepLens の出荷開始 – ご注文をどうぞ!

AWS DeepLens は外出先でデバイスに直接深層学習モデルを実行できるビデオカメラです。昨年、こちらの記事でそのハードウェアとシステムソフトウェアについて詳しく解説しましたが、簡単にまとめた内容がこちらです。 ハードウェア – 400 万画素のカメラ (1080P ビデオ)、2D マイクアレイ、Intel Atom® プロセッサ、デュアルバンド Wi-Fi、USB およびマイクロ HDMI ポート、モデルおよびコード用のメモリ 8 GB。 ソフトウェア – Ubuntu 16.04、AWS Greengrass Core、MXNet と Intel® clDNN ライブラリのデバイス最適化バージョン、他の深層学習フレームワークのサポート。 この AWS re:Invent への反響はすぐにあり、喜びもひとしおでした!教育関係者、学生、開発者などがハンズオンセッションに登録し、すぐにモデルの構築やトレーニングを始めました。彼らの情熱はプレビュー期間、そして今年の AWS Summit シーズンに入ってからも冷めることはなく、デバイス、ツール、トレーニングなどを利用できるよう、関心をお持ちの皆さんのためにできる限りのことをしてきました。 ハッカソンとチャレンジ 先月開催された HackTillDawn にて参加者の皆さんに DeepLens デバイスを試してもらいました。私は、この栄えあるイベントに参加し、3 名の勝者の選出に加わるという大変な幸運に恵まれました。チームの皆さんの様子を垣間見るという体験はとても刺激的でした。とりわけ、ほとんど機械学習やコンピュータビジョンに造詣のない人々がそれらに挑戦し、関心を持っていく様子や、大規模な音楽フェスティバルで参加者に素晴らしい体験を提供するために設計された最新アプリケーションなどが目を引きました。3 名の勝者は EDC ベガスの大会に参加し、そこでグランプリの優勝者が選出されました (Find Your Totem)。チームの皆さんおめでとうございます。EDC オーランドでも楽しんでくださいね! また、AWS DeepLens Challenge も開催しました。このイベントでは参加者に DeepLens を活用した機械学習プロジェクトを構築してもらいました。Amazon […]

Read More

VidMob がデータ主導型のクリエイティブアセット作成向けにコンピュータビジョンと言語 AI サービスを統合

VidMob はソーシャルビデオ制作プラットフォームで、どのようなサイズのマーケターもスケール可能なパーソナライズされた広告コミュニケーションの開発にこれを使用できます。VidMob は独自の SaaS アプリケーションを使用するために、機械学習 (ML) を活用します。このアプリケーションはメタデータ抽出とセンチメント分析を使用して、マーケターの想定する客層に共鳴するクリエイティブアセット、さらに重要なことに、それらが共鳴する理由について、役立つ正しい情報をマーケターに提供します。たとえば、ドロップオフ率といったデータを見直すことで、ビデオ広告でテキストの表示およびタイミングがどのように視聴者のエンゲージメントに影響を及ぼすかを知ることができます。 VidMob はマーケターがデジタル広告作品を用いブランドおよび販売面の営業活動を行う際の彼らの課題に着目しました。マーケターは相応しいクリエイティブな正しい情報なしに、クリエイティブ分野における意思決定を強いられることが多々あります。ビデオマーケターは有効なベストプラクティスが供給されることもなく、あるキャンペーンは成功したのに、他のキャンペーンは成功しなかったなど、まさに暗がりに手探り状態を強いられることがよくあります。この状況から、VidMob より Agile Creative Suite (ACS) が誕生しました。この製品は深層学習ベースのビデオ分析サービスである Amazon Rekognition Video を活用します。ACS は自動メタデータ抽出、センチメント分析に Amazon Rekognition Video を使用します。これにより、ビデオ広告の視覚的側面が視聴者維持など、重大なメトリクスに影響するかを理解するのに必要な正しい情報を提供します。 これらの正しい情報は製品プラットフォームとシームレスにつながり、お客様がクリエイティブアセットを見直すときに、直ちに正しい情報を統合できるようにします。本番環境、データ主導の正しい情報、最適化、再公開という完全な流れを作り出すことで、ACS はマーケティングへの投資に対するブランドの全体的なリターンを大幅に改善できます。ACS はまた、Amazon Rekognition Video を使用することで、顧客が主要なビジュアルまたは言語属性別にそのアセットを整備し、検索を実行できるようにします。 VidMob は ACS の開発中、主要な機能を実現するために、深層学習とコンピュータビジョンの必要性に気付きました。その後の調査により様々なサービスが誕生しましたが、競合他社と比較した際、最終的に Amazon Rekognition Video によって提供される速度と精度が抜きん出ているという認識にたどり着きました。 「Amazon Rekognition のおかげで、より正確かつ有益なクリエイティブラーニングをすばやく効率的に提供できるツールを入手することができました」 VidMob 社 CEO、Alex Collmer 氏はこのように述べています。「AWS の深層学習機能は、Agile Creative Suite の強化に役立ちます。この製品は最終的に、マーケターがクリエイティブアセットを理解し、それらを改善するために必要な正しい情報を提供します。独創性を支えるために、最もイノベーティブなツールを今後も引き続き開発できるよう、AWS と連携できることを楽しみにしています」。 機能: VidMob and Amazon […]

Read More

Amazon SageMaker 自動モデルチューニング: 機械学習のために機械学習を使用する

今日は、Amazon SageMaker 自動モデルチューニングの一般向けリリースを発表します。自動モデルチューニングは、より正確なモデルのために、ハイパーパラメータースペースを検索するのに必要になる画一的な負荷を一掃します。開発者とデータ科学者はこの機能により、自身の機械学習モデルをトレーニングおよびチューニングするための膨大な時間と手間を省くことができます。ハイパーパラメーターチューニングジョブは、完了したトレーニングジョブの結果をもとに、様々なハイパーパラメーターの組み合わせで複数のトレーニングジョブを起動します。SageMaker はベイズ最適化に基づき、私たちのトレーニングジョブのハイパーパラメーターコンビネーションを推測するため、「メタ」機械学習モデルをトレーニングします。もう少し、掘り下げていきましょう。 機械学習プロセスにおけるモデルチューニング 開発者の典型的な機械学習プロセスには、探索的データ解析 (EDA)、モデル設計、モデルトレーニング、モデル評価の 4 つのステップがあります。SageMaker ではパワフルな Jupyter ノートブックインスタンス、内蔵型アルゴリズム、サービスを使用したモデルトレーニングなどを採用することで、すでにこれら各ステップの合理化が図られています。このプロセスのトレーニングの面に注目することで、私たちは通常、データを処理し、想定した結果に照らしてモデルの予測を評価したモデルへ、そのデータを移植します。私たちは全体的な入力データの一部、評価データを、モデルのトレーニングに使用したトレーニングデータとは離しておきます。そしてこの評価データを使用して、それまで見たことのないデータでモデルの動作を検証するのです。多くのケースではアルゴリズムを選択した、あと、またはカスタムモデルを構築したあとに、入力したデータに対する最高の結果を得るために、そのアルゴリズムのハイパーパラメーターで、最も可能性のあるスペースを検索するために必要になります。 ハイパーパラメーターは基礎となるアルゴリズムの操作とモデルのパフォーマンスに及ぶ影響を管理します。たとえば、トレーニングするエポックの数、ネットワークレイヤーの数、学習率、最適化アルゴリズム、その他などです。通常、ランダムな値、または他の問題と共通の値で開始し、変更の結果が見え始めるまで、調整を繰り返します。かつて、この作業は骨の折れる手作業でした。しかし、才能溢れる研究者たちの地道な努力のおかげで、SageMaker を使用してこうした手作業による手間をほとんどすべて排除できるようになりました。ユーザーに必要なのは、チューニングするハイパーパラメーター、探索するパラメーターの範囲、予算に応じたトレーニングジョブの合計数です。実際の動作を見てみましょう。 ハイパーパラメーターのチューニング この機能のデモをご覧に入れるため、作業には標準の MNIST データセット、Apache MXNet フレームワーク、SageMaker Python SDK を使用します。下記で選択するもののすべては SageMaker example notebooks で入手できます。 まず、ノートブックインスタンス上で SageMaker Python SDK を使用し、従来の MXNet エスティメーターを作ります。 import boto3 import sagemaker from sagemaker.mxnet import MXNet role = sagemaker.get_execution_role() region = boto3.Session().region_name train_data_location = ‘s3://sagemaker-sample-data-{}/mxnet/mnist/train’.format(region) test_data_location = ‘s3://sagemaker-sample-data-{}/mxnet/mnist/test’.format(region) estimator […]

Read More

Amazon SageMaker を使用して、人口区分のために米国の国勢調査データを分析する

米国では 2018 年の中間選挙に向けて、人々は投票プロセスについてより多くの情報を求めています。このブログ記事では、有権者を理解するタスクに科学を有効に統合するために、機械学習 (ML) を適用する方法を探っています。 通常、機械学習アプリケーションでは、ラベルの付いたデータから明確なユースケースが得られます。例えば、古さや型番などデバイスの属性に基づいて、障害の可能性を予測できます。特定の結果を予測する際に監督またはガイドがあるため、これは教師あり学習と呼ばれます。 しかし、現実世界では、きれいなラベルを定義するのが難しい場合、予測する特定の結果が存在しない大規模なデータセットがしばしば存在します。適切な結果が予測するものを、正確に特定することは困難です。この種類のユースケースはしばしば探索的です。これはデータセットの作成と、どのような自然パターンが存在するかを理解することが目的です。この種類のユースケースは、教師なし学習です。この一例は、属性セットに基づいて類似の個人をグループ化する試みです。 このブログ記事で紹介するユースケースは、人口区分です。私たちは次のサイトから一般公開されている、米国の国勢調査から得られた米国の郡ごと匿名化された人口統計データを入手できます。https://factfinder.census.gov/faces/nav/jsf/pages/index.xhtml(この製品は Census Bureau Data API を使用していますが、国勢調査局による保証または認定は行われていません)。この分析結果は、変換された特徴空間における類似した郡の自然なグループ化です。例えば、ある集団に共鳴するメッセージをハイライトすることで、類似する郡のグループに到達する方法を理解するなど、郡が所属するクラスターを活用して選挙運動を計画することが可能です。より一般的には、この技術は企業が対象を定めたマーケティングキャンペーンを作成するために、顧客やユーザー区分に対して適用できます。この種類の分析には、CA-Fresno 郡と AZ-Yuma 郡という同じグループにされた、表向きは分からない類似点を明らかにする能力があります。直感的には人口サイズや人種構成など一般的に調べられる属性が異なりますが、雇用タイプの組み合わせなど、軸に沿って調べたときには類似しています。 ブログ記事に従って、サンプルノートブックを使用してコードを実行し、データをやり取りすることができます。 この演習には 2 つの目標があります。 1) PCA と Kmeans モデリング技術を使用して教師なし学習のための Amazon SageMaker を使用したデータ科学ワークフローを説明する。 2) 有用なモデル属性を抽出するために、Amazon SageMaker 内に構築された基礎モデルにユーザーがどのようにアクセスできるかを説明する。教師なし学習から結論を引き出すことが難しい場合が往々にしてあり、PCA と Kmeans のモデルにアクセスできることが単にモデルを使用して予測を生成する以上に重要になります。 データ科学ワークフローには 4 つのメインステップがあります。 Amazon S3 からのデータの読み込み 探索的データ分析 (EDA) – データのクリーニングと探索 データのクリーニング データの可視化 特徴エンジニアリング データモデリング 次元縮退 PCA モデル属性へのアクセス PCA モデルのデプロイ 教師なしクラスタリングを使用した人口区分 […]

Read More

AWS 内部ユースケース : AWS マーケティングにおける Amazon SageMaker の評価と採用

こんにちは。AWS マーケティングデータサイエンスチームです。 高度な分析および機械学習 (ML) 技術を使用して、セールスリードのML 主導スコアリング、ML によるセグメントをターゲティング化、およびダウンストリームへのインパクト測定の計量モデルといった、AWS のお客様のライフサイクル全体にわたるビジネス上の問題解決に向けて、お客様とともに取り組みます。 アマゾン内では、各チームが独立して運営されており、独自のテクノロジースタックの選択方法や、お客様が利用する AWS サービスの採用方法に関して意思決定を行います。 これにより、各チームは各自のロードマップを管理できます。 結果、サービス評価と採用が類似したものとなって、ML の経験がまだこれからというお客様にお役に立てることでしょう。 このブログでは、Amazon SageMaker サービスの評価に関して、初めの一歩を踏み出す情報をお届けしますので、皆さまのお役に立てれば何よりです。 AWS サービスをどう利用して、ビジネス目標を達成し ML モデルを拡張するか、といった最新情報をお届けしていきます。 このブログ記事では、Amazon SageMaker を使用して、独自の ML トレーニングおよびホスティングインフラストラクチャを置き換えるための実証支援 (POC) をどう実施するか、当社の経験をシェアしたいと思います 。 当社の既存の ML インフラストラクチャは、データ処理パイプラインを管理する Amazon の内部ワークフローツールと、モデルの構築、トレーニング、およびホストのための Amazon EC2 インスタンスで構成されています。 こうしたインフラストラクチャ管理に多大な時間を費やしており、それが Amazon SageMaker サービスをより高めていく動機となりました。 POC は、Amazon SageMaker の機能と性能を調べ、インフラストラクチャの作業と運用の複雑さを最小限に抑えます。 鍵となるワークストリームは次の 3 つです。 AWS IT セキュリティチームと協力して、データセキュリティとコントロールを特定し、実装。 Amazon SageMaker の既存のMLモデルの 1 […]

Read More

Amazon Comprehend、AWS Glue、Amazon Athena を使用して感情分析をスケールする方法

現代の消費者は、ソーシャルメディア、ブログ、レビュープラットフォームを通じて企業や製品に満足感や不満を表明することがよくあります。感情分析は、企業が顧客の意見やニーズをよりよく理解し、情報に基づいてビジネスの意思決定を行うのに役立ちます。Amazon は、複数のカテゴリと言語で 1 億 3,000 万件以上の製品レビューを含むデータセットを公開しました。このデータセットを、今回のユースケースで使用します。 この記事では、Amazon S3 から未処理の Amazon 製品レビューを取り出し、データセットをクリーンアップし、各レビューから感情を抽出し、Amazon S3 に出力を書き戻すサーバーレスのデータ処理パイプラインを構築する方法を学びます。次に、最終結果を探索して視覚化します。クラウドベースの機械学習 API や他の選択した API を使用してデータを充実させる方法を強調したいと考えています。柔軟性は、パイプラインに組み込まれています。 Amazon Comprehend は機械学習を使用して、テキストにある洞察や関係を見つけます。私たちのユースケースでは、Amazon Comprehend を使用して、顧客の製品レビューから感情を判断します。使いやすい API を使用しても、意味のある洞察を得るには、未処理のデータセットをクリーンアップしてテキストをレビューする必要があります。この目的のために、Apache Spark のパワーを活用する完全マネージド型でサーバーレスの ETL (抽出、変換、ロード) サービスである AWS Glue を使用します。最後に、Amazon Athena と Amazon QuickSight を使用してデータをクエリし、視覚化します。 データパイプラインのアーキテクチャ 私たちのユースケースはシンプルですが、複雑なシナリオに合わせて簡単に拡張することができます。未処理データから始めて、すべてを一気に充実させたいと考えています。この場合、バッチ ETL プロセスが理想的です。 次の図は、私たちの処理パイプラインのアーキテクチャを示しています。 Apache Parquet 形式で Amazon S3 から未処理の Amazon 製品レビューのデータセットを読み取る (1) Glue ETL ジョブの実行から開始します。ETL は、レビューの行ごとに Comprehend API (2) […]

Read More

Amazon EKS – 一般向け利用を開始

Amazon Elastic Container Service for Kubernetes を発表し、re:Invent 2017 の期間中にお客様をプレビューにご招待しました。本日謹んで、Amazon EKS が、お客様が利用可能な実稼働状態に達したことをお知らせいたします。その Kubnernetes 適合性が認証され、既存の Kubernetes ワークロードを実行できるようになりました。 Cloud Native Computing Foundation の最新のデータによれば、Kubernetes を実行している全企業の 57% が AWS は 選択しており、Kubernetes 環境としては AWS が先頭を走っています。Kubernetes はお客様の IT 戦略のコアであり、毎週 AWS で数億ものコンテナを実行しています。Amazon EKS は Kubernetes クラスターのビルド、保護、操作、保守のプロセスを簡略化し、Kubernetes クラスターをゼロから設定することなく、アプリケーションのビルドに集中したいと考える組織にコンテナベースのコンピューティングの便益をもたらしています。 AWS インサイド Amazon EKS は AWS クラウド内で実行できるため、多くの AWS サービスと機能を大いに活用しながら、Kubernetes に関する既知の知識すべてをそのまま有効に適用できます。概要は以下の通りです。 Multi-AZ – Kubernetes コントロールプレーン (API サーバーおよび […]

Read More