Author: AWS Japan

Amazon SageMaker はお客様の機械学習のワークロードにおいて様々な選択肢を提供します。深層学習フレームワークの選択肢として2018年の AWS Summit Tokyo で発表された Chainer 対応はその一つです。Chainer は 株式会社Preferred Networks により開発された深層学習フレームワークで、計算時に動的にグラフを生成する define-by-run の考え方 (imperative な実行とも呼ばれます) を世界に先駆けて取り入れました。株式会社Preferred Networks はこの Chainer とは独立に、同じく define-by-run の思想に基づいたハイパーパラメータの最適化 (HPO) のための Optuna を2018年12月に発表しました。本稿では、AWS が提供する SageMaker 上で Optuna を用いた HPO を行う方法とアーキテクチャについてご紹介します。 導入 SageMaker が提供する HPO の選択肢 Amazon SageMaker は、TensorFlow, Apache MXNet, PyTorch, Chainer, scikit-learn, Horovod, Keras, Gluon などのフレームワーク・インターフェースに対応し、すべての開発者とデータサイエンティストに機械学習モデルの構築・学習・デプロイ手段を提供する AWS のサービスです。SageMaker はマネージド型の […]

アマゾン ウェブ サービス ジャパン株式会社 (AWS) 機械学習ソリューションアーキテクトの宇都宮聖子です。AWS 目黒オフィスでは、お客様の事例紹介登壇を交えた Amazon SageMaker のセミナーとして、「Amazon SageMaker 事例祭り」を毎月開催しています。2019年3月12日に開催された第3回 Amzon SageMaker 事例祭りでは、株式会社ディー・エヌ・エーの加藤様、クックパッド株式会社の染谷様をゲストスピーカーにお迎えし、Amazno SageMaker の入門ハンズオンまで、130名を超えるたくさんの方々にご参加いただきました。

12か月前から、クラウドロボティクスサービスであるAWS RoboMakerの開発を開始しました。 私たちに直面していた最大の疑問の1つは、次のとおりでした。サービス上でROSアプリケーションを簡単に実行できるようにするにはどうすればよいのか。 ロボットアプリケーションは、多数の依存関係を持つさまざまなパッケージが大量に混在しています。 シミュレーションも含まれると、その依存関係のリストがさらに増えます。 多くの検討と研究の結果、私たちはappimage、flatpak、snapcraftに触発され、ローカルのの開発環境でも私たちのサービスでも使える単一のファイルフォーマットを作成しました。 このフォーマットをbundleと呼びます。 パッケージングアーティファクトをどのような設計するかを決定した後、生成を容易にするためのコマンドラインツールを作成したいと思いました。 ツールが既存のROSエコシステム内に収まることが私たちにとって非常に重要でした。 その結果ROSのビルドツールの中で最新かつ最高のものであるcolconの上に構築することにしました。 ColconはROS1とROS2アプリケーションを構築できます。 またそれは非常に拡張性があり、革新的で重要な機能の多くを提供します。 この記事では、既存のROSビルドツールと、なぜcolconがROS2のビルドツールとして選ばれたのかを説明しています。 Colconは私たちの代わりに多くの大変な作業を肩代わりすることにより、私たちは特定の機能に集中することができます。 さらに、colcon buildはcatkin_makeとament_makeを利用してビルドしていたパッケージを変更することなく置き換えます。 つまり、colconの上にツールを構築することで、AWS RoboMakerユーザーは単一のツールをインストールしてフルワークフローを実行し、AWS RoboMakerで使用するためのbundleを生成できます。 この記事では、AWS RoboMakerで使用するbundleを作成するための通常のワークフローと、頻繁に発生する問題に対するいくつかの解決策について説明します。 2番目のセクションでは、最新バージョンの「bundle」ファイルフォーマットについて詳しく説明し、colcon bundleを実行してbundleを作成するときに何が起こるかについて概要を説明します。 なぜbundleなのか ROSシミュレーションワークフローには、ROSおよびその他のアプリケーションのランタイム依存関係がインストールされた環境が必要です。 通常は、さまざまなapt-get installコマンドを実行することによって実現されます。 このインストールは時間がかかり、さらに公開されているパッケージのアップデートはいつでも発生する可能性があるため、同じインストールを確実に再現することはできません。 私たちのサービスでは、シミュレーションを実行するたびにaptを使用して新しい環境をインストールすることの信頼性を心配していたので、さまざまなパッケージ形式を調べました。 ROSアプリケーション全体で最も魅力的で信頼性の高い配布形式はDebianパッケージでした。 それはROSのロボットを動かすのに必要な、boostまたは他の外部ライブラリ、そして実際のアプリケーションコードなど、すべてを含むことができます。 ダウンロード、作成、および更新のための最適化を柔軟に追加できるようにするため、既存のフォーマットを使用しないことにしました。 そこで私たちは「bundle」フォーマットと、それをサポートするための対応するツールを作成しました。 最初のバージョンはうまくいきましたが、以下のようないくつかの制限がありました。 ワークスペースの更新のみでbundleを更新するのは、最初のcolcon bundleの呼び出しと同じくらいの時間がかかりました。 更新されたbundleをロボットにデプロイすることは、ダウンロードとbundleコンテンツの抽出の両方において、期待したほど速くはありませんでした。 これらの制限を軽減または削除するための最適化を含むbundle形式の、バージョン2を発表できることに興奮しています。 フォーマットは現在部分的なダウンロードと部分的な抽出をサポートしています。 これには3つの大きな利点があります。 2G / 3Gといった帯域幅に制約のあるリモートデバイスであるロボットのアップデートで、使用される帯域幅を削減することができました 必要なものだけを抽出するようになりました。bundleの大部分が変更されていない場合は、ダウンロードまたは展開に無駄なコストを負う必要はありません。 ローエンドのデバイスでは、これにより大幅な時間の節約になります（TurtleBotsでは、デプロイにかかる時間が60分から1分に短縮されました） 全体のアーカイブは圧縮されていないので、段階的にbundleすることができます。 これにより、ワークスペースを簡単に更新するための再bundle時間が5分以上から数秒に短縮されます AWS RoboMakerはこの新しいバージョンをサポートしています。 これらの新しい機能を試してみたい場合は、開発環境でsudo pip3 install -U colcon-bundleを実行してください。 このブログの後半では、この新しい形式の実装について詳しく説明します。 […]

アマゾン ウェブ サービスは、来る2019年4月8日から11日の4日間、米ラスベガスで開催される世界最大級の放送機器展示会「NAB Show 2019」に出展します（ブース番号：SU2202）。　 メディアコンテンツの取り込みから制作、処理、配信まで、ワンランク上のプレミアム体験を創り上げる、クラウドとオンプレミスを組み合わせた、クラウドベースの様々な動画ソリューションを紹介します。AWSブースでは、コンテンツ制作、配信、メディアサプライチェーン、および AI＆MLに関するAWSの進化をお見せします。 （申込サイトは英語です。英語での申し込みをお願い致します。） デモンストレーション コンテンツ制作、コンテンツ配信、そして安定したメディアサプライチェーンへのアクセスをサポートする、高度なクラウドベースのメディアと機械学習サービスについて実演を交えながらご紹介します。 コンテンツ制作に注目 クラウド制作環境 視覚効果、アニメーション、編集ワークロード用に、クラウドへクリエイティブな制作環境をデプロイします。AWS Thinkbox Deadline、Amazon Elastic Cloud Compute (EC2) インスタンス、および Amazon Simple Storage Service (S3)、Amazon FSx など、 AWS クラウドストレージオプションを使用してレンダリング、仮想ワークステーション、データストレージをグローバルに拡張します。 次世代型動画処理 動画エコシステムの進化をご覧いただけます。配給企業から放送局、ポストプロダクション会社の間で採用されているマスターフォーマット「IMF（Interoperable Mastering Format）」パッケージを取り込み、Common Media Application Format (CMAF) 出力を作成することで、動画配信までの作業を大幅に簡素化します。さらに画質クオリティを保ちながら、できる限りビットレートを下げる QVBR （Quality-defined variable bitrate）エンコーディングにより、ストレージと転送コストを削減します。 クラウド DVR サービスで視聴者を惹きつける エンドツーエンドのクラウド DVR ワークフローを作成することで、動画プロバイダーは迅速にクラウドサービスを開始し、キャッチアップやテレビのやり直しなどのタイムシフト機能を簡単に統合できます。 機械学習でライブスポーツの価値を向上する AWS メディアサービスと機械学習ツールを使用することで、プレーヤーの識別やリアルタイムでの行動の追跡、メタデータのタグ付けの合理化、スポーツ中継の対象範囲の拡大を実現できます。 コンテンツ配信のためのソリューション セキュアで信頼性の高い動画転送 IP 上で高品質のライブ動画を確実に転送、かつ安全に共有して、価値の高い放送のためのクラウドに容易に恩恵をもたらします。エンタイトルメントを使用して、アクセスとセキュリティをきめ細かく制御しながら、ライブコンテンツをパートナーにシームレスに配信します。 […]

スポーツ中継、ゲーム、ニュース配信、TV番組など、動画配信のニーズは高まっているものの、配信遅延や最適なサービスの選択に困っている方もいらっしゃるのではないでしょうか？メディアサービスを検討する際によくある課題とソリューションについて、以下のように4つのパートに分けて解説します。最終回 四つ目のテーマは「参照アーキテクチャとテスト結果」です。 パート 1：レイテンシーの定義と測定 パート 2：エンコード、パッケージ化、および CDN 配信のおすすめ最適化 パート 3：動画プレイヤーのおすすめ最適化 パート 4：参照アーキテクチャとテスト結果（この記事）

Amazon Connectで作るセキュアなIVRソリューション Amazon Connectの問い合わせフローを使用して、ダイナミックな自動音声応答（IVR）ソリューションを作成できます。 Amazon Connectを使用すると、適切に個人情報を収集し、IVRによる顧客体験をカスタマイズすることができます。 個人情報として、社会保障番号、クレジットカード情報、および住所などが考えられます。 コンプライアンス上の理由から、個人情報など機密性の高い情報は通信時および保管時に暗号化する必要があります。 常に個人情報は暗号化しましょう。 このブログでは、Amazon Connectの[顧客の入力を保存する]ブロックを使用して機密な個人情報を収集し、ご自身でお持ちの暗号化キーを使用してデータを自動的に暗号化する方法について説明します。 この機能により、暗号化の要求に応えることができます。 この目的のために、Amazon ConnectはAWS Encryption SDKを使用して顧客提供データを暗号化します。 SDKはエンベロープ暗号化アプローチを使用します。 これにより、生データとそれらの暗号化に使用されるデータキーの両方が保護されます。 AWS Encryption SDKの機能の詳細については、Envelope Encryptionを参照してください。 この記事では、以下の手順を説明しています。 クレジットカード番号を収集するようにAmazon Connectを設定します。 クレジットカードの番号を暗号化します。 ご自身でお持ちの復号化キーを使って復号化するために、バックエンドのAWS Lambdaに暗号化されたクレジットカード番号を送信します。 次の図に示すAmazon Connect問い合わせフローを使用します。 セキュアなIVRの作成 このセキュアなIVRを作るために、以下を実施する必要があります。 新しい暗号化キーと復号化キーを作成するか、既存のものをインポートします。 復号化キーをAWSパラメータストアに安全に保存する 収集した番号を復号化するためのAWS Lambda関数を作成します。 収集したクレジットカード番号を暗号化するために、Amazon Connectに公開鍵をアップロードします。 前のセクションで説明した問い合わせフローを作成します。 注意 セキュアなIVRを作るために、AWS Command Line Interface（AWS CLI）がインストールされ、セットアップされ、Amazon Connectインスタンスと同じリージョンに設定されていることを確認しましょう。 ターミナルウィンドウから“ aws configure”を実行できることを確認し、デフォルトのリージョンパラメータに正しい値が設定されていることを確認します。 Amazon Connectの顧客入力を暗号化する機能は、ご自身でお持ちの公開鍵を使用してデータを暗号化するように設計されています。 これにより、自分の秘密鍵を使用してデータを復号化し、データを後続処理に利用できます。 顧客だけが知っている秘密鍵を使用すると、要求されるプライバシーを保護するのに役立ちます。 既存の鍵ペアを使用することも、新しい鍵ペアを作成することもできます。 鍵情報が利用可能であるかぎり、このプロセスは変わりません。 […]

スポーツ中継、ゲーム、ニュース配信、TV番組など、動画配信のニーズは高まっているものの、配信遅延や最適なサービスの選択に困っている方もいらっしゃるのではないでしょうか？メディアサービスを検討する際によくある課題とソリューションについて、以下のように4つのパートに分けて解説します。三つ目のテーマは「動画プレイヤーのおすすめ最適化」です。 パート 1：レイテンシーの定義と測定 パート 2：エンコード、パッケージ化、および CDN 配信のおすすめ最適化 パート 3：動画プレイヤーのおすすめ最適化（この記事） パート 4：参照アーキテクチャとテスト結果

先日 (2019/3/19) 開催しました AWS Black Belt Online Seminar「Amazon FSx for Windows File Server/Lustre」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 Amazon FSx for Lustre 20190319 AWS Black Belt Online Seminar Amazon FSx for Lustre Amazon FSx for Windows File Server 20190319 AWS Black Belt Online Seminar Amazon FSx for Windows Server AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. オンプレ環境からの接続は、VPN／DirectConnectなしで接続できないのでしょうか？ A. できません。資料中のご説明の通り、Amazon FSx for Windows […]

先日 (2019/3/20) 開催しました AWS Black Belt Online Seminar「Amazon EBS」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20190320 AWS Black Belt Online Seminar Amazon EBS AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. EBSスナップショットを取得した際のスナップショットのサイズを確認する手段を教えてください。 A. 現在のところ確認する手段はありません。 Q. DLMがEC2一時停止できる環境でおすすめな理由を教えてください。DLMはEC2停止が必須なのでしょうか。 A. DLMで取得されるEBSスナップショットの整合性レベルはクラッシュコンシステンシ−のレベルとなり、アプリケーションレベルでの整合性は保証されません。（メモリ上にまだ未コミットのデータがある場合は、その情報は保管されません）そのため、厳密なデータ整合性が必要な場合は、IOが発生しない状態での取得をお勧め致します。 今後の AWS Webinar スケジュール 直近で以下のオンラインセミナーを予定しています。各オンラインセミナーの詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております。 AWS Innovate オンラインカンファレンス ≫ 申込先 2019 年 4 月 8 日〜5 月 7 日期間中いつでもオンラインで視聴可能 AWS基礎、業種別事例、人材育成、認定対策講座などAWSが厳選した33セッションを一挙に公開 — AWS Black Belt Online Seminar 4月分申込先 ≫ Let’s […]

本ブログにおいて、新しいAWS IoT Device ManagementのFleet indexingの新しい機能を紹介します。これの記事の内容ではAWS LambdaおよびAmazon CloudWatchを組み合わせてフリートの監視を自動化できます。 IoTデバイスを管理する場合、フリートの状態を監視するのは難しい場合があります。 複雑さは多くの要因によるものです：デバイスの数、監視する動的状態の数、およびフリート状態変更のための通知メカニズムの数。 AWS IoT Device Managementは、リモートで接続されたデバイスを大規模にオンボード化、整理、監視、管理することを可能にするサービスです。   AWS IoT Device Management内では、フリートインデックスを使用すると、フリート内のすべてのデバイスのレジストリ、デバイスシャドウ、および接続状態をインデックス化し、これらの属性の任意の組み合わせに基づいてデバイスを検索できます。 フリートインデックスを使用して、どのデバイスが特定のバージョンのファームウェアを実行しているかを照会したり、どのデバイスがAWS IoTサービスに接続されているかを照会したりできます。 このブログ記事は4つのステップにわけて解説します。 フリートインデックスを有効にします。 Lambda関数のAWS Identity and Access Management（IAM）ロールとアクセス許可を定義します。 Lambda関数を定義して構成します。 フリート管理ダッシュボードを構築し、CloudWatchを使用してアラームを設定します。 本ブログではAWSマネージメントコンソールで作業していきます。この作業はAWS Command Line Interface(AWS CLI)でも実行できます。