Amazon Web Services ブログ

Localization Team

Author: Localization Team

AWS Deep Learning AMI に Horovod が追加され、Amazon EC2 P3 インスタンスで、より高速なマルチ GPU TensorFlow のトレーニングが可能に

この AWS Deep Learning AMI は、よく普及しているオープンソースの分散トレーニングフレームワークで、複数 GPU で TensorFlow トレーニングを拡張します。Ubuntu や Amazon Linux 用で、 Horovod といっしょにインストールおよび全設定が完了済みです。 これは、 TensorFlow 1.8 の最適化ビルドのアップデート版で、5 月初旬に開始されました。 このカスタムビルドの TensorFlow 1.8 は、高度に最適化されたソースから直接構築され、Amazon EC2 C5 および P3 インスタンスのストック TensorFlow 1.8 と比較して、トレーニングパフォーマンスが向上しています。 マシンラーニングの開発者は、AMI に Horovod を追加すれば、TensorFlow トレーニングを P3 などの Amazon EC2 GPU インスタンス上で、1 つの GPU から複数の GPU にすばやくスケールアップすることが可能となり、トレーニングパフォーマンスをさらに向上させることができます。 開発者は、パラメーターサーバーを使用する標準の TensorFlow 分散トレーニングモデルと比較して、コードの変更を少なくし、より高いマルチ GPU トレーニングパフォーマンスが可能となります。 Amazon […]

Read More

複数の GPU に対する深層学習トレーニングをスケーリングするためのハイパーパラメーターの調整の重要性

複数の GPU による並列プロセスは、深層モデルのトレーニングのスケーリングを行う上で重要なステップです。トレーニングを繰り返すたびに、一般的に、ミニバッチと呼ばれるデータセットの小さなサブセットがプロセスされます。単一の GPU が使用可能の場合、それぞれのトレーニングの繰り返しにおけるミニバッチの処理は、この GPU により取り扱われます。複数の GPU でトレーニングするとき、ミニバッチはプロセスの負荷を均等に分散するために使用可能な GPU 全体に分割されます。各 GPU を完全に使用するためには、各追加 GPU でミニバッチのサイズを直線的に増大させる必要があります。ミニバッチのサイズは、トレーニング速度に影響を与えるだけではなく、トレーニングされるモデルの質にも影響を与えます。ミニバッチのサイズが大きくなると、他のハイパーパラメーターを微調整して、類似するモデルの質でより高速なトレーニングができるようにすることが重要です。 Gluon によるマルチ GPU と分散トレーニング 最新の真相学習モデルにより必要な広範なデータの量により、複数の GPU と分散マシンにスケーリングすることで、調査と本番稼働のための大幅な時間節約となる可能性があります。Amazon SageMaker や Amazon Elastic Compute Cloud (Amazon EC2) のようなサービスでは、数百 GPU の分散トレーニングをセットアップすることは、痛みのないだけでなく、正確な使用量に対して支払うだけで非常に経済的で、高価で十分に活用されていないハードウェアフリートを維持する必要はありません。 Apache MXNet は、柔軟でより効率的な深層学習プラットフォームです。 これは、複数のホストにわたるマルチ GPU と分散トレーニングに特に適しています。Apache MXNet の Gluon ライブラリは、深層学習のための明確で正確、さらにシンプルな API を提供します。gluon による複数の GPU のトレーニングおよび複数のマシンによる分散トレーニングに関するチュートリアルでは、マルチ GPU と分散トレーニングの容易なセットアップをデモンストレーションします。 トレーニングのハイパーパラメーター トレーニングのハイパーパラメーターは、勾配降下法によっては学習できないが、最終的なモデル品質に影響を与えるすべてのパラメーターを構成します。これらのパラメーターは、学習速度およびモメンタムなどの最適化パラメーター、ランダムなカラーシフト量などの増強パラメーター、および他の学習以外のパラメーターを含みます。 MXNet Gluon API は、すべての […]

Read More

この一週間の顔認識と Amazon Rekognition に関する公開ディスカッションについて弊社が考えること

この一週間、顔認識、監視、および個人の自由に関する、Amazon Rekognition の役割について多くの議論を見てきましたが、弊社の考えを共有したいと思ってます。 Amazon Rekognition は、弊社が 2016 年に発表したサービスです。開発者がディープラーニングなどの新しいテクノロジを簡単にかつ低料金で開発に利用できるようになりました。サービスを開始して以来、お客様は社会 (人身売買の防止、児童労働搾取の防止、失った子供との再会、子供向けの教育アプリの構築など) と組織 (マルチファクタ認証導入によるセキュリティ強化、画像検索の容易化、玄関先の商品の盗難防止など) の両面において、Amazon Rekognition の画像と動画の分析機能を活用してます。アマゾン ウェブ サービス (AWS) は、単にこれらのサービスプロバイダではありません。私たちは画像およびビデオ分析のテクノロジーが公共部門や法執行機関も含む組織においてどのように良い結果をもたらすのかを見るのがとても楽しみです。規定 (以下、「AUP」) を定めており、「違法行為、他者の権利を侵害する行為、または他者に有害である可能性のある行為」に対して本サービスの使用を禁じています。これには、本質的にあらゆる種類の違法差別や正当なプロセスやプライバシー権の侵害など、第 4、第 5、および第 14 条修正に関する憲法上の権利を侵害することが含まれます。 当社の AUP に違反しているお客様は当社のサービスを使用することはできません。 しかし新しい技術力には常にリスクが存在します。新技術の採用を決定した組織は、責任をもった行動、または法的罰則や公然の非難を受ける覚悟が必要です。AWS はその責任を真剣に受け止めています。しかし、我々は有望な技術を悪事に利用されるのを恐れて、それらの使用を禁止するといったことは誤った方法だと考えています。もしコンピュータが悪用される可能性があるという理由で、人々がコンピュータの購入を規制された場合、世界は誤った方向に行くでしょう。私たちが毎日頼っている何千もの技術についても同様です。 それらの技術を責任を持って利用することで、技術がもたらす恩恵はリスクをはるかに上回っています。 お客様は Amazon Rekognition を使い素晴らしいスタートを切りました。この新技術がもたらすプラスの効果は日々大きくなっています。我々は責任ある利用をしているお客様を引き続きサポートすることができて嬉しく思っています。 -Dr. Matt Wood 氏、AWS の人工知能ゼネラルマネジャー

Read More

Amazon SageMaker のアップデート、東京リージョン、CloudFormation、Chainer、GreenGrass ML

本日、東京での AWS Summit で、Amazon SageMaker の多数のアップデートや新機能が発表されました。本日より、SageMaker が アジアパシフィック (東京) で利用可能になります!また、SageMaker は CloudFormation もサポートします。SageMaker Python SDK では、MXNet および Tensorflow に加えて、機械学習の新しいフレームワークである Chainer も利用できます。最後に、いくつかのデバイスでの Chainer モデルの実行に対するサポートが AWS Greengrass Machine Learning に追加されました。 Amazon SageMaker Chainer エスティメーター Chainer は、定評がある、柔軟で直感的な深層学習のフレームワークです。Chainer ネットワークは、ネットワークトポロジが順方向計算によって動的に定義される「Define-by-Run」スキームで動作します。これは、ネットワークのトポロジがデータとは別に定義される「定義と実行」スキームで動作する他の多くのフレームワークとは対照的です。多くの開発者は、ネイティブの Python の構造やツールでネットワークを書くことができるので、Chainer スキームを重宝しています。 幸いなことに、SageMaker で Chainer を使用することは、TensorFlow または MXNet のエスティメーターを使用するのと同じくらい簡単です実際には、既存のスクリプトを使用して、少し修正するだけで SageMaker でトレーニングすることができるので、さらに簡単かもしれません。TensorFlow または MXNet を使用する場合には、特定の署名を持つトレーニング機能を実装する必要があります。Chainer を使用する場合は、 SM_MODEL_DIR、 SM_NUM_GPUS、その他の環境変数から簡単に読み込めるので、スクリプトはより移植しやすくなります。既存のスクリプトを、 if __name__ […]

Read More

EC2 インスタンスの更新 – NVMe ストレージを搭載する M5 インスタンス (M5d)

今月はじめに NVMe ローカルストレージを搭載した C5 インスタンスの提供を開始し、近い将来に NVMe ローカルストレージを搭載したインスタンスタイプをさらに追加するとお伝えしました。 本日、NVMe ローカルストレージを搭載した M5 インスタンスを発表します。このインスタンスは 5 つのリージョンで即時ご利用可能で、コンピューティングリソースとメモリリソースのバランスが要求されるワークロードに非常に適しています。そのスペックは次のとおりです。 インスタンス名 vCPU RAM ローカルストレージ EBS 最適化された帯域幅 ネットワーク帯域幅 m5d.large 2 8 GiB 1 x 75 GB NVMe SSD 最大 2.120 Gbps 最大 10 Gbps m5d.xlarge 4 16 GiB 1 x 150 GB NVMe SSD 最大 2.120 Gbps 最大 10 Gbps m5d.2xlarge 8 32 […]

Read More

Apache MXNet 用モデルサーバーが Gluon モデル対応サポートを追加

今日、AWS は Apache MXNet (MMS) v0.4 用 モデルサーバーをリリースし、Gluon モデルのサポートを追加しました。Gluon は、MXNet の不可欠かつダイナミックなインターフェースであり、MXNet の性能を維持しながら、短時間でのモデル開発が可能です。今回のリリースにより、MMS は Gluon モデルのパッケージ化とサービスをこれまでにない規模でサポートします。このブログ記事では、v0.4 リリースについて詳しく説明し、Gluon モデルを提供する例を紹介します。 Apache MXNet モデルサーバー (MMS) とは MMS は、オープンソースのモデルサービングフレームワークで、規模に応じて深層学習モデルの機能を果たすタスクを単純化するように設計されています。以下は MMS の主な利点の一部です。 MXNet、Gluon、および ONNX ニューラルネットワークモデルに対応するために必要なニューラルネットワークモデルアーティファクトを含むモデルアーカイブを生成するためのパッケージツールを提供します。 モデルアーカイブにパッケージ化されたカスタムコードを使用して、推論実行パイプラインの各ステップをカスタマイズする機能は、初期化、前処理、および後処理の上書きを可能にします。 REST API エンドポイントと推論エンジンを含む、事前設定されたサービススタック。 スケーラブルなモデルサービングのために事前構築および最適化されたコンテナイメージ。 サーバーとそのエンドポイントを監視するためのリアルタイム運用メトリクスを含みます。 Gluon とは何か Gluon は、MXNet に対する明確、簡潔、かつシンプルな Python インターフェイスです。エンジニアは、記号処理の性能上の利点を失うことなく、ニューラルネットワークを構築するための命令型コードを書くことができます。Gluon は、命令的な実装に基づいて最適化された記号コードを自動的に生成することができます。 MMS で Gluon モデルに対応 MMS で Gluon モデルを提供する例を見てみましょう。この例では、Xiang Zhang の文字レベル畳み込みニューラルネットワーク (char-CNN) に基づくモデルを実装するため […]

Read More

Amazon SageMaker と R の使用

このブログ記事では、Amazon SageMakerおよびRを使って、Machine Learning (ML) モデルを構築してトレーニングを受け、デプロイし、予測を見積もる方法について説明します。モデルは、殻の成長線からアワビの年齢を予測します。reticulateパッケージは、Amazon SageMaker Python SDKの R インターフェイスとして使用され、Amazon SageMaker への API コールを行います。 reticulate パッケージは、R と Python オブジェクトを相互変換し、Amazon SageMaker は ML モデルをスケールして、トレーニングやデプロイできるサーバレスのデータサイエンス環境を提供します。 このブログ記事を読み進めるには、R に関する基本的な理解が必要で、次のtidyverseパッケージに精通している必要があります。 dplyr、 readr、 stringr、および ggplot2。RStudioを使ってコードを実行します。 Rstudio は、R と連携するための統合開発環境 (IDE) です。 商用ライセンスまたはAGPLv3のライセンスを取得できます。 AWS CloudFormation の起動 Amazon SageMaker を使って、Amazon Elastic Compute Cloud (Amazon Ec2) インスタンスに Rstudio をインストール、構成、および接続するには、次のAWS CloudFormationスタックを使用します。 このスタックを起動すると、次のリソースが作成されます。 公開 Virtual Private Cloud (VPC) Amazon […]

Read More

自動スケーリングを使用して、Amazon SageMaker エンドポイントのロードテストおよび最適化を行う

機械学習 (ML) のトレーニング、最適化、およびデプロイを済ませたら、コンシューマーが簡単に起動でき、機械学習から予測が得られる形でホスティングすることが次のチャレンジとなります。多くのカスタマーは組織の内部や外部にコンシューマーを抱えており、予測のためのモデル (ML 推論) を利用したいと考えています。コンシューマーは、場合によっては ML スタックを理解しておらず、リアルタイムまたはバッチモードで予測してくれるシンプルな API を必要としているかもしれません。Amazon SageMaker を使用すると、Deploying a Model on Amazon SageMaker Hosting Services できるようになり、コンシューマーが HTTPS リクエストを使用して安全で簡単な API コールを起動できるエンドポイントを利用できるようになります。多くのカスタマーは、モデルが予想する適切なインプットでそのようなエンドポイントを起動する方法や、そのエンドポイントのスケーラビリティや高可用性に関心があります。 本ブログ記事では、Amazon SageMaker エンドポイントをウェブから起動する方法や、モデルをロードテストし、エンドポイントを供給するインスタンスのサイズおよび数量の正しい設定を見いだす方法を説明します。ユーザーは Amazon SageMaker の自動スケーリングで、モデルの伸縮性および可用性を確保できるとともに、モニタリングおよび対処の対象となる正しいメトリクスを選択することでコストを最適化できます。 モデルのためにエンドポイントを作成する 本ブログ記事では、分類および回帰のための教師付きのノンパラメトリック学習法である決定木を使用し、あらかじめビルドとトレーニングを済ませたモデルを使用しました。そのモデルは、UCI Machine Learning Repository の iris dataset を使用し、がく片および花弁の長さと幅に基づいてアイリスの品種を予測します。今回のイメージ分類モデルのためにモデルエンドポイントを作成しましたが、ユーザーにはご自分のエンドポイントを作成することを推奨します。ヘルプが必要な場合は、GitHub repository を参照してください。 多くの Jupyter ノートブックは scikit_bring-your_own ノートブックを先述の GitHub リポジトリに持っており、以下のパスにある SageMaker インスタンスで利用可能です。 /sample-notebooks/advanced_functionality/scikit_bring_your_own scikit_bring_your_own ノートブックを開き、エンドポイントを削除する最後のセルを除くすべてのセルを実行します。以下のイメージで示すとおり、モデルがデプロイされるノートブックセル内のインスタンスタイプ ml.m4.xlarge に注目してください。Amazon […]

Read More

Amazon Neptune が一般向けにご利用いただけます

Amazon Neptune は現在、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、および欧州 (アイルランド) でご利用いただけます。Amazon Neptune は高速で信頼性が高いフルマネージドグラフデータベースサービスであり、これを使用することで高度に接続されたデータセットと連携するアプリケーションの構築と実行が簡単になります。Neptune の中核となるのは、数十億の関係を保存し、ミリ秒単位のレイテンシーでグラフをクエリするために最適化された、専用設計の高性能グラフデータベースエンジンです。Neptune は Apache TinkerPop Gremlin と SPARQL を使用する 2 つの一般的なグラフモデルである Property Graph と RDF をサポートしており、高度に接続されたデータセットを効率的にナビゲートするクエリを簡単に構築することができます。Neptune は、リコメンデーションエンジンやナレッジグラフから医薬品創薬やネットワークセキュリティにいたるまで、あらゆるものを駆動するエンジンとして活用することができます。Neptune は、自動マイナーバージョンのアップグレード、バックアップ、暗号化、およびフェールオーバーによる完全マネージド型です。昨年、私が「AWS re:Invent」向けに寄稿した、「Naptune in detail」では、顧客はプレビューを使用していて、チームが GA 向けサービスを準備に活用した際の素晴らしいフィードバックについてご紹介しています。 今後、Amazon Neptune が一般的に利用できるようになったため、プレビューには次のいくつかの変更点があります: 多項目のパフォーマンス強化および更新内容 AWS CloudFormation サポート AWS コマンドラインインターフェイス (CLI)/SDK サポート Apache TinkerPop 3.3.2 に対応して更新済み Amazon Simple Storage Service (S3) からのバルク読み込むによる IAM ロールに関するサポート […]

Read More

Application Load Balancer 組み込み認証によりログインを簡略化

本日は、Application Load Balancer (ALB) に組み込みの認証サポートを発表できることにワクワクしています。ALB は、今後、ユーザーがアプリケーションにアクセスする際、ユーザーを安全に認証できるようになり、開発者に認証をサポートするためコードを書く必要を排除し、バックエンドからの認証責任を軽減させます。チームは認証機能を試せる素晴らしいライブサンプルの環境を構築できます。 アイデンティティベースのセキュリティは、最新のアプリケーションの重要なコンポーネントであり、顧客がミッションクリティカルなアプリケーションのクラウドへの移行を継続するにつれて、開発者は同じ認証コードを何度も何度も実装するように要求されます。企業は、それぞれのクラウドアプリケーションによりそれぞれのオンプレミスアイデンティティを使用したいと考えています。ウェブ開発者は、ソーシャルネットワークのフェデレーシフェデレーティッド認証を使用して、それぞれのユーザーがサインインできるようにしたいと考えています。ALB の新しい認証アクションは、Google、Facebook、および Amazon Cognito を通した Amazon のようなソーシャルアイデンティティプロバイダ (IdP) を通した認証を提供します。さらに、任意の OpenID Connect プロトコル準拠の IdP とネイティブで統合され、セキュアな認証およびご使用のアプリケーション間でのシングルサインオンを提供します。 ALB 認証が機能する方法とは? 認証は複雑な話題であり、読者の皆さんの専門知識のレベルが同じとは限りません。それゆえ、皆さんのすべてに適用可能な状況が確実であるようないくつかの重要な概念をカバーしたいと思います。あなたがすでに認証の専門家であり、ALB 認証がどのように機能するかだけを確認したい場合には、次のセクションをご自由に飛ばしてもらっても構いません! 認証とは、アイデンティティを検証することです。 許可とは、1 個のアイデンティティが実行を許可される「モノ」へのアクセス許可です。 OpenID Connect (OIDC) は、シンプルなアイデンティティまたは認証のレイヤーであり、OAuth 2.0 プロトコルの最上位階層に構築されるレイヤーです。OIDC 仕様書はかなりよく書かれており、機会があれば読んでみるべき価値があるものです。 アイデンティティプロバイダー (IdP) はアイデンティティ情報を管理し、認証サービスを提供します。ALB は任意の OIDC 準拠 IdP をサポートしており、Amazon Cognito や Auth0 を使用し、Active Directory、LDAP、Google、Facebook Amazon のようなさまざまな IdP からか、または AWS もしくはオンプレミスでデプロイされたその他のタイプからかの、異なるアイデンティティを集約することができます。 専門用語からは少し離れてしまいますが、これらのすべての事項は、ユーザーが誰であるか、彼らには何を実行することが許可されるのかと言うことに帰結します。これをセキュアでかつ効率的に実行することは困難です。従来、企業では、それぞれの IdP […]

Read More