Author: Localization Team


自律走行車の構築 パート 4: 自動運転の車で Apache MXNet と行動クローニングを使用

自律走行シリーズ 1 回目のブログでは、Donkey カーの構築と Amazon EC2 インスタンスでパイロットサーバーをデプロイしました。そして、2 回目のブログでは Donkey カーの運転を学び、Donkey カーが自律走行を学びました。3 回目のブログでは AWS IoT を使用して Donkey カーから AWS にテレメトリをストリーミングするプロセスをご紹介しました。

今回のブログでは、カーの運転を有効にするディープラーニングについて詳しく見ることにします。また、畳み込みニューラルネットワーク (CNN) を使用した行動クローニングの概念についても説明します。CNN は「前方には道がありますか、それともトラフィックコーンがありますか?」といったような、カーに対する質問に答えるなど、コンピュータビジョンタスクにおける最先端のモデリング技術として現れたものです。


1) AWS 自律走行車を構築し re:Invent の Robocar Rally でレースに参加
2) 自律走行車の構築 パート 2: 自律走行車の運転
3) 自律走行車の構築 パート 3: 自律走行車の接続
4) 自律走行車の構築 パート 4: 自動運転の車で Apache MXNet と行動クローニングを使用


P2 で Donkey のトレーニングデータをセットアップ

トレーニングの実行方法の詳細については、すでにシリーズ 2 回目のブログで説明しました。主なステップとコマンドを簡単に復習しておきましょう。

  1. Pi からデータを Amazon EC2 インスタンスにコピーするには
    $ rsync -rva --progress -e "ssh -i /path/to/key/DonkeyKP-us-east-1.pem" /home/pi/d2// ec2-user@ec2-your-ip.compute-1.amazonaws.com:~/d2/data/
  2. トレーニングプロセスを開始するには
    $ python ~/d2/manage.py train --model /path/to/myfirstpilot
  3. トレーニング済みのモデルを再び Pi へコピーするには
    $: rsync -rva --progress -e "ssh -i /path/to/key/DonkeyKP-us-east-1.pem" ec2-user@ec2-your-ip.compute-1.amazonaws.com:~/d2/models/ /home/pi/d2/models/

モデルの舞台裏

このセクションでは、モデルが学ぶ内容と独自で運転できる方法について説明します。現在の Donkey の構築には Keras がデフォルトのディープラーニングフレームワークとして使用されています。AWS は Apache MXNet や Gluon、PyTorch など他のフレームワークのサポートを追加する作業に取り組んでいます。このブログでは Apache MXNet を使用して、自動運転を有効にするモデルがどのように動作するのか詳しく見ることにします。以前にも触れましたが、AWS では行動クローニングという技術を使用してカーの自動運転を有効にします。基本的に、このモデルはトラックを運転した時に収集したトレーニングデータをもとに、運転することを学びました。データの大半が「クリーン」であることが大切です。つまり、この目的は意図した道を進むことなので、カーがトラックにいない状態または方向を間違えた場合などのイメージがトレーニングデータに多く含まれていないことが大切です。人がハンドルを握って道からそれないように運転する時と同じで、現状で与えられた状態で方向を定めるモデルを構築します。そうすることで問題を「入力イメージに従って運転するためのステアリング角度は?」といったようにモデリングすることができます。実際の運転状況にはアクセラレーションやトランスミッションギアといったコンポーネントが追加されるので、より複雑になります。まずはシンプルにしておくため、スロットルを一定の割合に設定してカーが運転できるようにすることから始めます。実際にやってみると、トレーニングデータ 25~30% のスロットルが Donkey カーには最適な速度であることが証明されました。

これを行うには畳み込みニューラルネットワーク (CNN) というディープラーニング技術を使用します。CNN はコンピュータビジョン問題において事実上のネットワークとして現れたものです。CNN は各ノードが受容フィールドと呼ばれる小さな枠と関連付けられた畳み込みレイヤーから成り立っています。これによりイメージ内にあるローカルの特徴を抽出することができます。「イメージにあるのは道ですか、それとも人ですか?」といった質問は、先に計算されたこうしたローカルの特徴を使用して、計算することができます。CNN がどのように機能するか説明した詳細情報はこちらをご覧ください。

データセット

このブログでは、トラックを 15 分ほど運転して収集したデータセットを使用します。先に説明したように、カーがトラックにいなかった場合のイメージを破棄してクリーンな状態にしました。Donkey ソフトウェアは「不適切」なイメージを削除するため、ブラウザベースの UI をすでに提供しています。 donkey tubclean <folder containing tubs>) です。これに似たトラックを運転しているカーのイメージのデータセットはこちらで入手できます。

(more…)

Amazon Rekognition がリアルタイム顔認識、イメージ内のテキスト認識のサポート、および機能強化された顔検出を発表

Amazon Rekognition に、3 つの新しい機能として、イメージ内のテキストの検出と認識、数千万の顔からのリアルタイム顔認識、および密集写真からの最大 100 個の顔検出が追加されました。顔の検証と識別に Amazon Rekognition をすでにご利用の場合は、ほとんどのケースで精度が最大 10% 向上します。

イメージ内のテキスト

Amazon Rekognition でイメージ内のオブジェクトや顔を検出しているお客様方から、イメージに埋め込まれたテキストを認識できないかとのご要望があります。たとえば、交通監視カメラで捉えた道路標識や車のナンバープレート、TV 画面のニュースや字幕、携帯に取り込まれた家族写真の図案化された文字などです。本日より、Rekognition の「イメージ内のテキスト」を使用して、イメージからテキストコンテンツを認識して抽出できるようになりました。「イメージ内のテキスト」は、ドキュメントのイメージよりも実際のイメージで特に効果を発揮するように構築されています。多種多様なレイアウト、フォント、スタイルで埋め込まれたほとんどのラテン文字や数字のテキストがサポートされます。また、バナーやポスターなどの背景のオブジェクトに様々な向きで重ねられたテキストもサポートされます。

「ビジュアル駆動型のプラットフォームである Pinterest では、イメージの速度と画質が極めて重要ですが、これらのイメージに付随するテキストも同じように重要です。テキストは、当社の 2 億を超えるアクティブユーザーに実際に Pin するための背景情報を提供します。Amazon Rekognition の『イメージ内のテキスト』を使うことで、大量のイメージに取り込まれたリッチテキストが抽出しやすくなり、Amazon S3 に保存された何百万という Pin のレイテンシーを低く抑えることができます。これからも AWS とのパートナーシップを深め、Pinner に高品質で高速なサービスを提供し、Pinterest のビジネスを成長させていくつもりです。」– Vanja Josifovski、CTO、Pinterest

「プロの写真家が SmugMug を使用して共有したり販売したりする写真に、マラソン大会のゼッケン番号などの数字が含まれていることがあります。Amazon Rekognition の『イメージ内のテキスト』を使用すると、大量のゼッケン番号をプログラムで抽出できるため、これらの大会で写真家が撮った写真をすばやく簡単に共有したり収益化したりできるようになります。」 – Don MacAskill、Co-founder、CEO & Chief Geek at SmugMug

リアルタイムの顔認識

何千万という顔のコレクションに対してリアルタイムの顔検索ができるようになりました。これにより、検索のレイテンシーが以前よりも 5〜10 分の 1 に短縮されると共に、コレクションに保存できる顔の数が 10〜20 倍に増えます。セキュリティと公共安全のアプリケーションでは、今回の更新により、何百万という顔のコレクションから目当ての人物をリアルタイムで識別できます。これは、迅速なレスポンスが要求されるユースケースに役立ちます。

ワシントン郡保安官オフィスは、オレゴン市民からの 911 番緊急通報に対するファーストレスポンダーです。このオフィスでは、全国の市警に対して犯罪防止のサポートも提供しています。昨年から Amazon Rekognition を使い始め、通報された容疑者の識別所要時間を 2〜3 日から数分に短縮し、新しいシステムを使用して最初の容疑者を 1 週間以内に逮捕しました。

「この改善により、現場の警察官はほぼリアルタイムで検索の結果を得られます。必要な情報を取得してすばやく対応できます。現場では、数秒の差が人命救助の分かれ目になることがあります。」– Chris Adzima、上級インフォメーションシステムアナリスト、ワシントン郡保安官オフィス

人混みモードの顔検出

本日より、1 つのイメージに含まれている多数の顔から最大 100 (以前は 15) までを検出、分析、インデックスできるようになりました。この機能強化により、グループ写真、混雑したイベントや公共の場所 (空港やデパートなど) の写真で、すべての顔の人口統計データを正確にキャプチャしてセンチメントを分析できます。

「過去にユーザーが購入した写真や、ユーザーから当社のプラットフォームにアップロードされた写真の膨大なコレクションがあります。これらのコレクションから特定のユーザーの子供の写真を探す場合があり、そのために Amazon Rekognition を利用しています。多くのグループ写真には何十という小さな顔が収められていて、これまでは 1 つ 1 つの顔を正確に検出するために元のイメージをトリミングして分割していました。新しい人混みの顔検出機能を使用すると、特に複雑な前処理をすることなく、一度ですべての顔を簡単に検出できます。」– Shinji Miyazato、Engineering Department SRE Lead、Sen Corporation

顔検出モデルの精度向上

顔検出アルゴリズムの精度も改善しました。これにより、チェックインカウンターや従業員用の回転式通用口、モバイルの顔ベースの認証で使用される顔検証/識別アプリケーションの精度が最大 10% 向上します。

特に注目に値する点として、さまざまな業界で大規模なイメージ分析ワークロードを本稼働環境で運用するお客様が増えています。代表的なお客様の例をいくつかご紹介します。

Butterfleye – この家庭および小規模企業向けのセキュリティカメラプロバイダーは、Amazon Rekognition を使用して顔/物検出カメラを低コストで迅速に開発し、開発所要時間を 18 か月から 4 か月に短縮して研究開発費を 100 万ドル以上削減しました。

Open Influence – この会社の業務は、エンタープライズ顧客がブランドを販売促進するためのソーシャルメディアインフルエンサーを見つけることです。Amazon Rekognition を自社独自のデータパイプラインと簡単に連携させることで高品質の検索結果を生成し、他の手段では見つけることができなかったインフルエンサーを顧客が発掘できるようにしています。

Marinus Analytics – 人身売買の防止に Amazon Rekognition を役立てています。この会社の主力ソフトウェアは、米国の法執行機関で性目的の人身売買の捜査に採用されています。Amazon Rekognition と Marinus Analytics を連携させた捜査により、何百万という記録から数秒で被害者を見つけ出し、迅速で効果的な対応ができます。

Amazon Rekognition の詳細については、こちらを参照してください。Amazon Rekognition をすぐに使用するには、こちらの開始方法を参照してください。ご質問があればコメント内に記入してください。


Ranju は、Amazon での勤務歴がほぼ 5 年で、Amazon Rekognition チームを率いています。Amazon Rekognition は、ディープラーニングベースのイメージ認識サービスであり、何百万というイメージを検索、検証、整理できます。Ranju は Amazon の前に Barnes & Noble で Nook Cloud エンジニアリングのチームリーダーでした。このチームは、Nook モバイルサービスおよびデジタルアセット管理サービスの戦略、設計、開発、および SaaS 運用を担当していました。

AWS IoT の更新 – 新しい料金モデルでより優れた価値を提供

AWS ユーザーは AWS IoT を使用して接続済みデバイスをよりインテリジェントにしています。こうしたデバイスは、環境下 (地下、水中、現場、病室など) でデータを収集したり測定し、AWS IoTAWS クラウドへのゲートウェイとして使用します。クラウドに接続すると、ユーザーはデバイスのデータを Amazon Simple Storage Service (S3)Amazon DynamoDB に書き込むことができ、Amazon KinesisAWS Lambda 関数を使用してデータを処理し、Amazon Simple Notification Service (SNS) のプッシュ通知を開始したり、その他多くの操作を実行することができます。

新しい料金モデル (20-40% 削減)
より優れた価値を提供できるように AWS IoT の料金モデルを変更することにしました。この変更により、大半のユーザーにとって約 20~40% のコスト削減になるでしょう。また、ワークロードによっては大幅な割引の対象になるユーザーもいると思います。

オリジナルモデルでは、サービスに送信またはサービスから送信されたメッセージ数をもとに請求額が定められていました。この包括的なモデルは起点としては優れていましたが、実際に使用していない AWS IoT の一部においても支払う必要があったユーザーもいたことを意味しています。たとえば、不定期に呼び出すまばらなルールセットを使用して頻繁に AWS IoT から反応を求めるデバイスを使用しているユーザーもいます。AWS の新しいモデルは、それに比べてより細かく各コンポーネントでそれぞれの料金が適用されます (米国東部 (バージニア北部) リージョン)。

接続 – 使用しているデバイスが AWS IoT に接続している合計時間をベースに 1 分間単位で計測されます。100 万分間の接続あたり、料金は 0.08 USD です (24 時間 365 日対応の接続、デバイス 1 台につき 0.042 USD に相当)。デバイスは 30 秒から 20 分の間隔で追加費用なしにキープアライブの ping を送ることができます。

メッセージング – デバイスと AWS IoT の間で送信されたメッセージ数で計測されます。料金は 100 万件のメッセージにつき 1 USD から提供しています。ボリューム料金は 100 万件につき 0.70 USD まで引き下げました。最大 128 キロバイトまでメッセージを送信したり受信することが可能です。メッセージは 5 キロバイト単位で計測されます (以前は最大 512 バイト)。たとえば、8 キロバイトのメッセージはメッセージ 2 件として計測されます。

ルールエンジン – ルールがトリガーされる場合とルール内で実行する操作の数で計測されます。1 回の操作につき 1 つの操作が最低限となります。料金はトリガーされたルール 100 万件につき 0.15 USD、実行した操作 100 万件につき 0.15 USD です。5 キロバイト以上のメッセージを処理するルールは 5 キロバイトサイズの倍数で計測されます。たとえば、8 キロバイトのメッセージを処理するルールは、ルール 2 件として計測されます。

デバイスシャドウとレジストリ更新 – デバイスシャドウまたはレジストリデータにアクセスするための操作数で計測され、料金はオペレーション 100 万件あたり 1.25 USD になります。デバイスシャドウとレジストリ操作はデバイスシャドウまたはレジストリのレコードサイズ 1 キロバイト単位で計測されます。たとえば、1.5 キロバイトのシャドウレコードに更新した場合はオペレーション 2 件として計測されます。

AWS 無料利用枠で、接続分数、メッセージ、トリガーしたルール、ルールアクション、シャドウ、レジストリの使用量に、最大 50 台のデバイスのフリート操作に十分な割り当て枠を提供するようになりました。新しい料金は 2018 年 1 月 1 日から適用されます。お客様は何もする必要はありません。その時点で、更新された料金は AWS IoT Pricing ページに反映されます。

re:Invent の AWS IoT
今年の AWS re:Invent では IoT 専用のトラックを用意しています。サンプルは次をご覧ください。

PhilipsPanasonicEnelSalesforce など顧客によるセッションもご利用可能になっています。

Jeff;

Apache MXNet で ONNX をサポート

AWS は ONNX-MXNet の利用開始を発表しました。これは Open Neural Network Exchange (ONNX) ディープラーニングモデルを Apache MXNet にインポートするためのオープンソース Python パッケージです。MXNet は充実した機能を備えたスケーラブルなディープラーニングフレームワークで、Python、Scala、R といった人気の言語に対し API を提供します。MXNet で ONNX 形式をサポートすることで、開発者は PyTorch、Microsoft Cognitive Toolkit、Caffe2 など、他のフレームワークを使用してモデルを構築したりトレーニングすることができます。また、高度に最適化されたスケーラブルなエンジンの MXNet を使用した推論に対し、こうしたモデルを MXNet にインポートすることもできます。

AWS が ONNX 形式に貢献できることを大変喜ばしく思っています。FacebookMicrosoft、そしてディープラーニングコミュニティと協力し、ディープラーニングのユーザーが利用しやすい便利なものにすべく、ONNX の開発に取り組みます。

ONNX とは

ONNX はディープラーニングモデルをエンコードするためのオープンソース形式です。ONNX はニューラルネットワークの計算グラフ、グラフ内で使用される演算子の広範なリストの形式を定義します。拡大中のフレームワークリスト、ハードウェアベンダー、ディープラーニングの開発を手掛ける開発者などにサポートされている ONNX は、容易にフレームワーク間を移動し、目の前の課題に最適なフレームワークを選別することができます。

クイックスタート

今回は ONNX-MXNet を使用して MXNet に ONNX-MXNet をインポートする方法、そして推論用にインポートしたモデルを使用する方法をご紹介します。これにより、MXNet の最適化した実行エンジンのメリットを活用することができます。

ステップ 1: インストール

まず、ONNX repo の手順に従い、ONNX をインストールします。

次に ONNX-MXNet パッケージをインストールします。

$ pip install onnx-mxnet

ステップ 2: ONNX モデルを準備してインポート

この例では、イメージの空間分解能を高めるように設計されている Super Resolution モデルのインポートを行います。このモデルは PyTorch で構築とトレーニングが行われ、PyTorch の ONNX エクスポート API を使用して ONNX にエクスポートされています。モデル設計の詳細については PyTorch の例をご覧ください。

Super Resolution ONNX モデルを作業ディレクトリにダウンロードします。

$ wget https://s3.amazonaws.com/onnx-mxnet/examples/super_resolution.onnx

ステップ 3: ONNX モデルを MXNet にインポート

ONNX モデルのファイルの準備ができたので、ONNX-MXNet インポート API を使用して MXNet にインポートしてみましょう。Python シェルで次のコードを実行します。

import onnx_mxnet
sym, params = onnx_mxnet.import_model('super_resolution.onnx')

Python ランタイムで 2 つのインスタンスを作成しました。 sym – モデルのシンボリックグラフと params – モデルのウェイトです。これで ONNX モデルのインポートが完了し、標準の MXNet モデルができました。

(more…)

Amazon Polly が 9 つの対象 AWS リージョン、韓国語のサポート、新しいインド英語音声を追加

Amazon Polly は、テキストを生きた話し声に変換する AWS のサービスです。Amazon Polly に 9 つのリージョンが追加され、Polly が利用可能なリージョンの合計数が 14 となったことを発表いたします。さらに、韓国語サポートの開始、テキスト読み上げ機能ポートフォリオへのインド英語音声の追加を発表いたします。新しい韓国語の女性音声 Seoyeon、およびインド英語音声の Aditi をご紹介します。

Amazon Polly は、世界中のお客様に対して最大の安定性と最小のレイテンシーを提供するべく、以下の 14 の AWS リージョンで提供されます: アジアパシフィック (ムンバイ)、アジアパシフィック (ソウル)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (東京)、カナダ (中部)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、南米 (サンパウロ)、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、および米国西部 (オレゴン)。

Amazon Polly は re:Invent 2016 で発表されて以来、最も多いリクエストの 1 つとして、追加言語のサポートがありました。お客様からの最も多くのリクエストがあった言語の 1 つが韓国語です。お客様の需要にお応えして、最初の韓国語音声 Seoyeon を発表いたします。

(more…)

AWS Deep Learning Conda と Base AMI の利用開始について

AWS は AWS Deep Learning AMI に Conda ベースの AMI と Base AMI という 2 つの新しいバージョンを利用可能にしたことを発表しました。このブログでは、新しい AMI を最大限に活用するための手順と追加リソースについてご説明します。

Conda マネージド型環境を取り入れた新しい Deep Learning AMI

Amazon LinuxUbuntu を対象にした新しい Deep Learning AMI には、人気のオープンソースパッケージと環境管理ツールである Conda を使用して作成したディープラーニング用の Python 環境がプリインストールされています。Conda マネージド型 Python 環境は、Apache MXNet、TensorFlow、Caffe2、PyTorch、Keras、CNTK、Theano を含む、人気のディープラーニングフレームワーク用に事前設定されています。また、Python 環境にはそれぞれ Python 2 と Python 3 が含まれています。AWS マネジメントコンソールを使用して AWS EC2 インスタンスにログインすると、Conda 環境すべてを含むリストがコンソールメッセージとして表示されます。

次のコマンドを実行すると、このリストを取得できます。

conda env list

次に、任意のディープラーニングフレームワーク、たとえば MXNet 用の Python 環境をアクティブ化するには、次を実行します。

For Python 2

source activate mxnet_p27

For Python 3

source activate mxnet_p36

Python 環境に入ったら、次のコマンドを実行してインストール済みのパッケージリストを表示することができます。

conda list

(more…)

Machine Learning ユーザー向けの新しい AWS Deep Learning AMI

この度、AWS Deep Learning AMI の新しい 2 つのバージョンの提供を開始しました。人気のオープンソースパッケージと環境ツールの Conda を使用して作成したディープラーニングフレームワーク用に別の Python 環境を使用する Conda ベースの AMI、そして独自のカスタマイズしたディープラーニングモデルをデプロイするための GPU ドライバとライブラリを使用する Base AMI です。

学会と業界の両方に渡り、ディープラーニングテクノロジーはフレームワーク、アルゴリズム、そして新しい方法や理論に渡り、急速に進化しています。そのため、素早く安全にアルゴリズムをテストしたり、フレームワークの特定のバージョンの最適化、テストやベンチマークの実行、新しく始めるプロジェクト開始の共同作業などにおいてツールを必要とする開発者達にとって複雑の原因になっています。そこで、AWS Deep Learning AMI においても、そうした自由と柔軟性を提供するために仮想環境を追加することにしました。また、新たに開発者用リソースもセットアップすることで、これまで以上に AMI の理解を深めたり、プロジェクトに適切な AMI を選択したり、ハンズオンチュートリアルを利用できるようにしています。

Conda ベースの Deep Learning AMI

Conda ベースの AMI は Conda を使用して作成したディープラーニングの Python 環境にプリインストールされています。各 Conda ベースの Python 環境は、人気のディープラーニングフレームワークの公式 pip パッケージと、その依存関係を含むように設定されています。たとえば、ニューラルネットワークモデルをトレーニングするためのディープラーニングコードを実行する準備が整い、完全に仕上がった仮想環境とお考えください。ステップバイステップガイドでは、任意のディープラーニングフレームワークを使用した環境をアクティブ化する方法や、シンプルな 1 行のコマンドを使用して環境を切り替える方法について説明しています。

AMI のメリットは他にもあります。AMI の環境は相互に孤立した自己完結型のサンドボックスとして稼働します。つまり、サンドボックス内でディープラーニングのコードを実行すると、実行時の環境を完全に見通し全体的に管理することができます。AMI の他のディープラーニング環境を中断してしまう心配なく、新しいソフトウェアパッケージをインストールしたり、既存のパッケージのアップグレードや環境変数を変更することができます。実行環境でこのレベルの柔軟性と詳細管理を行えるということは、一貫性のある再生可能な方法でディープラーニングモデルのテスト実行やパフォーマンスのベンチマークが行えることを意味しています。

最後に、AMI は Jupyter ノートブックに直接プラグできるビジュアルインターフェイスを提供するので、Jupyter ノートブックのブラウザからクリック 1 回で環境を切り替えたり、任意の環境でノートブックを起動したり、環境を再設定することができます。ステップバイステップガイドでは、こうした統合と Jupyter ノートブックやチュートリアルについて説明しています。

(more…)

New – AWS OpsWorks for Puppet Enterprise

昨年開催された AWS re:Invent で AWS OpsWorks for Chef Automate を公開しました。これはユーザーが AWS マネージド型の独自の Chef Automate サーバーを利用できるようにするものです。そして、ユーザーからのフィードバックを元に構築した Puppet Enterprise を OpsWorks に追加しました。

Puppet Enterprise は、管理されている各ノードでデプロイした puppet-agent を介してプロビジョニング、設定、インスタンスの管理を自動化できるようにします。設定は 1 回定義することができ、自動ロールバックとドリフト検出で何千件ものノードに適用することができます。AWS OpsWorks for Puppet Enterprise は、既存の Puppet マニフェストでシームレスに連動させながら、独自の Puppet マスターを管理する必要を排除します。

OpsWorks for Puppet Enterprise は、ユーザーの代わりに Puppet マスターサーバーを管理し、インストール、アップグレード、バックアップといった運用タスクを行います。また、ノード登録を簡素化したり、ノードのブートストラップの便利なスターターキットも提供しています。詳細については次をご覧ください。

Managed Puppet Master の作成

OpsWorks で Puppet マスターを作成するのは簡単です。まず、OpsWorks コンソールの [Puppet] セクションにアクセスし [Create Puppet Enterprise Server] をクリックします。

セットアップのこの段階では、Puppet マスターのリージョンと EC2 インスタンスタイプを設定します。c4.large は最大 450 件のノードをサポート、c4.2xlarge は 1600+ 件のノードをサポートします。Puppet Enterprise サーバーは Amazon Linux (2017.09) の最新バージョンと Puppet Enterprise (2017.3.2) の最新バージョンでプロビジョンされます。

次のセットアップ画面で、SSH キーが Puppet マスターに接続するようにオプションで設定することができます。これは大規模なカスタマイズを行う場合に便利ですが、インスタンスから直接操作を行うのではなくクライアントツールを介して Puppet を操作する方が一般的に優れた方法です。

また、このページでは動的設定を行うために r10k repo をセットアップすることもできます。

「Advanced Settings」ページで VPC、セキュリティグループ、IAM ロール、インスタンスプロフィールなどに、いつものデプロイオプションを選択できます。OpsWorks にインスタンスセキュリティグループを作成させるとデフォルトで開かれた状態になるため、後でアクセス制限を設定することが重要になります。

このページで注意したい 2 つのコンポーネントは、メンテナンスウィンドウとバックアップ設定です。Puppet ソフトウェアの新しいマイナーバージョンが利用可能になると、システムメンテナンスは AWS テストが完了次第、Puppet マスターにある Puppet Enterprise のマイナーバージョンを自動更新するように設計されています。AWS は Puppet のアップグレードが本番稼働で利用できるものか確認するため広範囲に渡るテストを行い、ユーザーの既存環境を中断せずにデプロイします。自動バックアップは S3 で Puppet マスターの耐久性に優れたバックアップを保存し、いつでもそのバックアップから復元を行うことができます。ご自分のビジネスニーズに合わせて、バックアップの頻度と保持期間を調整することができます。

Puppet Enterprise で AWS OpsWorks を使用

Puppet マスターをプロビジョンしている間に、コンソールで便利な情報が 2 つ表示されます。

サインイン認証情報と Windows や Linux ノードにインストールする Puppet エージェントのサンプルユーザデータをダウンロードすることができます。ここで重要なのは、Puppet マスターに接続できる限り、オンプレミスノードも管理できることです。

Puppet マスターのプロビジョンが完了したら、Puppet Enterprise の HTTP コンソールにアクセスし、通常どおり Puppet を使用することができます。

詳細情報

AWS OpsWorks for Puppet Enterprise の料金は管理されているノードのノード時間を元に請求されます。料金は 0.017 USD / ノード時間で、ノードのボリュームで低下します。詳細についてはこちらのページをご覧ください。また、Puppet マスターの実行に必要な基盤となるリソースも請求されます。現在、AWS OpsWorks for Puppet Enterprise は米国東部 (バージニア北部) リージョン、米国西部 (オレゴン) リージョン、欧州 (アイルランド) リージョンでご利用いただけます。もちろん、コンソールに表示されているものはすべて AWS SDK や CLI でも行うことができます。詳細については「入門ガイド (Getting Started Guide)」をご覧ください。

Randall

Amazon EC2 の更新 – X1e インスタンスに 5 つのサイズを追加、SLA の強化

今年初めにリリースした x1e.32xlarge インスタンスは、4 TB のメモリを持つ 4 つの AWS リージョンを対象に利用可能となりました。そのリリースから 2 か月後の現在、ユーザーはハイパフォーマンスリレーショナルと NoSQL データベース、メモリ内データベース、そして大量のメモリを活用できる他のエンタープライズアプリケーションに、このインスタンスを使用しています。

X1e のサイズを 5 つ追加
メモリ最適化 X1e シリーズにインスタンスサイズを 5 つ追加しました。ラインアップは次の通りです。

モデル vCPU メモリ (GiB) SSD ストレージ (GB) ネットワーキングパフォーマンス
x1e.xlarge 4 122 120 最大 10 Gbps
x1e.2xlarge 8 244 240 最大 10 Gbps
x1e.4xlarge 16 488 480 最大 10 Gbps
x1e.8xlarge 32 976 960 最大 10 Gbps
x1e.16xlarge 64 1,952 1,920 10 Gbps
x1e.32xlarge 128 3,904 3,840 25 Gbps

インスタンスは Intel® Xeon® E7 8880 プロセッサ、2.3 GHz で実行し、大規模な L3 キャッシュと十分なメモリ帯域幅備えたクアッドソケットを使用しています。ENA ネットワーキングと EBS 最適化はスタンダードで、EBS に最大 14 Gbps までの専用スループット (インスタンスサイズにより異なる) が可能です。

今回のリリースに伴い、アジアパシフィック (シドニー) リージョンで利用可能な X1e すべてのサイズが利用可能になりました。今後は米国東部 (バージニア北部)米国西部 (オレゴン)欧州 (アイルランド)アジアパシフィック (東京)アジアパシフィック (シドニー) リージョンで、オンデマンドまたはリザーブドインスタンスから起動することができます。

EC2 SLA の強化
そしてもう 1 つお知らせです。

EC2 と EBS の両方で EC2 のサービスレベルアグリーメント (SLA) を 99.99% に引き上げました。これはすべてのリージョンの AWS ユーザーを対象に即時有効となります。当社が引き続き取り組んでいるインフラストラクチャとサービスの品質、そして高い運用性を重要視することで、この変更を実現することができました。

Jeff;

自律走行車の構築 パート 3: 自律走行車の接続

自律走行シリーズ 1 回目のブログでは、Donkey カーの構築と Amazon EC2 インスタンスでパイロットサーバーをデプロイしました。そして、2 回目のブログでは Donkey カーの運転を学び、Donkey カーが自律走行を学びました。今回のブログでは、Donkey カーから AWS にテレメトリをストリーミングするプロセスをご紹介します。スケーラブルで信頼性が高く、当社の接続済み自律走行車など様々な接続済みデバイスに対し多機能な一連のサービスを提供する AWS IoT を使用します。


1) AWS 自律走行車を構築し re:Invent の Robocar Rally でレースに参加
2) 自律走行車の構築 パート 2: 自律走行車の運転
3) 自律走行車の構築 パート 3: 自律走行車の接続
4) 近日中に公開予定


AWS IoT のセットアップ

自律走行車は運転中に絶え間なくテレメトリをストリーミングします。自律走行車が稼働していない場合は収集するテレメトリがないため、リソースを使用しないことで無駄を避けます。ワークロードに対応するため、アーキテクチャ全体の稼働においてはサーバーレステクノロジーに依存します。開始するには、まず AWS IoT を使用してフリートモニタリングサービスを設計します。同じ基本的なアーキテクチャを使用して、その数に制限なく自律走行車に使用できます。次の図はフリートモニタリングサービスのアーキテクチャを示しています。

同ソリューションのコンポーネントは、論理的な機能 (および AWS のサービス) 別に色分けされ、ソリューションの各コンポーネントが安全でスケーラブルであり、完全に使用量ベースであることが示されています。この種のオペレーションモデルは様々なビジネスモデルで役立ち、幅広いサイズの顧客にとっても便利です。週末に趣味で自律走行車をレースしてラップタイムを比較したり、自動車メーカーが独自の接続された車両プラットフォームを開発したい場合でも、AWS IoT は安全でスケーラブルな使用量ベースのコスト構造を提供しています。

このソリューションは緑の網掛け部分の Donkey カーから始めます。次にデータが IoT サービスを通過してピンクのセクションに移動します。このセクションは DynamoDB の短期間用データストレージです。その後、S3 の長期間用ストレージである青のセクションに移動します。また、AWS IoT トピックにあるデータはリアルタイムでクエリすることもできます。次で示したようにダッシュボードを操作するのに使用されます。

(more…)