Amazon Web Services ブログ

Localization Team

Author: Localization Team

Amazon SageMaker でのご利用開始: より正確な時系列予測のための DeepAR アルゴリズム

Amazon SageMaker の最新内蔵アルゴリズムとして、Amazon SageMaker DeepAR をリリースします。DeepAR はポイント予測と確率的予測の両方を生成するために再帰型ニューラルネットワーク (RNN) を使用する時系列予測の教師あり学習アルゴリズムです。私たちは、開発者が Amazon 内でミッションクリティカルな決定を行う、この伸縮自在にスケール可能で、極めて精度の高い予測アルゴリズムを利用できるようになることに大変な期待を寄せています。DeepAR アルゴリズムは他の Amazon SageMaker 内蔵アルゴリズムと同じように使用でき、トレーニングや推測のために、インフラストラクチャをセットアップする必要もありません。 どこでも予測 予測は多くの産業で機械学習を適用するためのスタート地点となっています。より良い製品需要予測を介してサプライチェーンを最適化する、ウェブサーバーのトラフィックを予測することでコンピューターリソースを配分する、あるいは、患者のニーズに合わせて病院の人員配備を行い人命を救うなど、その用途に関係なく、正確な予測への投資が、すぐに投資へと還元されない分野はほとんどありません。 Amazon では、様々な使用分野におけるビジネスの意思決定を下すために予測の手法を用いています。その一例としては、配送センターでの製品および労働力需要の予測が挙げられます。たとえば、プライムデー、ブラックフライデー、サイバーマンデーなどの主要な繁忙期の予測です。また、AWS のコンピューティングおよびストレージ能力が AWS のお客様全体に伸縮自在に行き渡るようにすることもその一例です。Amazon の科学者は Amazon におけるこの種の実世界のビジネス用途を、高い精度で解決するために DeepAR などのアルゴリズムを開発します。 DeepAR アルゴリズムのハイライト DeepAR 予測アルゴリズムはいわゆる自己回帰和分移動平均 (ARIMA) や指数平滑化 (ES) といった、予測用のオープンソース型ソフトウェアパッケージと商用ソフトウェアパッケージの多くに実装されている従来の予測技法と比較してより高い精度の予測を提供します。DeepAR アルゴリズムはまた、実世界の用途に特によく適した、他の機能およびシナリオをサポートしています。 コールドスタート予測 コールドスタートのシナリオとは、既存の履歴データがほとんど存在しない、またはまったく存在しない時系列の予測を生成する必要があるときに生じます。これは、実際には新商品の投入時、新 AWS リージョンが登録されたときによく起こります。ARIMA または ES といった従来の手法では個々の時系列に対し履歴データのみに依存するため、コールドスタートのケースでは精度が落ちるのが一般的です。スニーカーのような衣料品の予測を例にして考えてみましょう。 DeepAR のようなニューラルネットワークベースのアルゴリズムは、スニーカーが最初に売り出された時点で他のタイプのスニーカーの販売パターンをベースに新商品のスニーカーの一般的な販売動向を学習できます。 トレーニングデータ内で複数の関連時系列から関係を学習することで、DeepAR は既存の代替アルゴリズムより正確な予測を提供できるのです。 確率予測 DeepAR はまた、ポイント予測と (例: 1 週間に売り上げたスニーカーの量が X) および確率予測 (例: 1 […]

Read More

AWS オンラインテックトーク – 2018 年 1 月

新年明けましておめでとうございます。新しいテックトークの素晴らしい第一陣で AWS の知識を広め、2018 年の幸先良いスタートを切りましょう。今回のテックトークでは、Amazon Neptune、Amazon Rekognition Video、AWS Fargate、AWS Cloud9、Amazon Kinesis Video Streams、AWS PrivateLink、AWS Single-Sign On などを含む re:Invent 一番のビッグローンチをいくつか紹介する予定です。 2018 年 1 月 – スケジュール 以下は、1 月に行われることが予定されているライブのオンラインテクニカルセッションです。AWS 関連のエキスパートによるトークは無料ですが、お見逃しないよう早目にご登録ください。 今月行われるウェビナーは次のとおりです。 1 月 22 日 (月) 分析 & ビッグデータ 午前 11:00~11:45 (太平洋時間) Analyze your Data Lake, Fast @ Any Scale  レベル: 300 データベース 午後 1:00~1:45 (太平洋時間) Deep Dive […]

Read More

今すぐ利用可能: AWS で使用する Machine Learning や人工知能について学べる新しいデジタルトレーニング

※本リンク先には英語トレーニングも含まれています。日本語版ができた時点で改めてご案内をさせていただきます。 先日、AWS トレーニングと認定で無料のトレーニングコースをリリースしました。このコースはクラウドのスキルを磨いたり Machine Learning (ML) や人工知能 (AI) を学びやすくするために提供しています。これには「ディープラーニングの概要 (Introduction to Deep Learning)」や「Amazon SageMaker の概要 (Introduction to Amazon SageMaker)」といった新しいコースが含まれています。 AWS エキスパートが構築した aws.training では、アクセス制限なしに 100 件以上のデジタルトレーニングを無料で利用することができます。ML や AI のデジタルトレーニングへのアクセスは簡単です。[Find Training] ページの [Artificial Intelligence] カテゴリを選択すると、使用可能なトレーニングをブラウズできます。キーワードに [Filter] を使用して特定のトレーニングを検索することもできます。 推奨トレーニング 初めてのご利用ですか、それとも新しいサービスに関する情報をお探しですか?次のデジタルトレーニングコースをご覧ください。 AWS Machine Learning サービスの概要 (AWS Machine Learning Services Overview) (所要時間: 5 分) このコースではフレームワーク、インフラストラクチャ、Machine Learning プラットフォーム、API によるサービスで機能を有効にする Amazon Machine Learning や人工知能ツールについて紹介します。 […]

Read More

Amazon EMR での Spark にバックアップされた Amazon SageMaker ノートブックの構築

2017年の AWS re:Invent で発表された Amazon SageMaker は、データサイエンスと機械学習ワークフローのためのフルマネージド型サービスを提供します。Amazon SageMaker の重要な部分のひとつは、モデルの構築に使用できる強力な Jupyter ノートブックインターフェイスです。Amazon SageMaker 機能は、ノートブックインスタンスを Amazon EMR で実行されている Apache Spark クラスターに接続することによって強化することができます。Amazon EMR は、大量のデータを処理するためのマネージドフレームワークです。この組み合わせにより、大量のデータに基づいてモデルを構築することが可能になります。 Spark はビッグデータの迅速な処理を可能にするオープンソースのクラスターコンピューティングフレームワークで、機械学習ワークロードのための MLlib が含まれています。Amazon SageMaker ノートブックと Spark EMR クラスターとの接続を容易にするには、Livy の使用が必要になります。Livy は、Spark クライアントを必要とすることなく、どこからでも Spark クラスタとやり取りするためのオープンソース REST インターフェイスです。 このブログ記事では、Spark EMR クラスターをスピンアップする、Amazon SageMaker と EMR 間のコミュニケーションを許可にするために必要なセキュリティグループを設定する、Amazon SageMaker ノートブックを開く、そして最後に Livy を使用してそのノートブックを EMR 上の Spark に接続する方法を説明します。このセットアップは、PySpark、PySpark3、Spark、および SparkR ノートブックで利用できます。 EMR […]

Read More

AWS Lambda および Tensorflow を使用してディープラーニングモデルをデプロイする方法

ディープラーニングは、実際のデータを処理する方法に革命をもたらしました。ディープラーニングアプリケーションの種類は、ユーザーの写真アーカイブの整理から、本のレコメンド機能、不正な動作の検出、自動運転車周辺の認識まで、多岐にわたります。 この投稿では、AWS Lambda で独自にトレーニングしたモデルを使用して、単純なサーバーレスのコンピューティング手法を大規模に活用する方法を段階的にご説明します。このプロセスの中で、サーバーレスを使って推論を実行するために使用できる AWS の主要なサービスをいくつかご紹介します。 ここでは、イメージ分類について取り上げます。パフォーマンスが高いオープンソースモデルを多数利用できます。イメージ分類では、ディープラーニングで最も一般的に使用されている畳み込みニューラルネットワークと全結合ニューラルネットワーク (Vanilla Neural Networks としても知られる) の 2 種類のネットワークを使用することができます。 トレーニングされたモデルを配置する AWS の場所や、AWS Lambda が推論のためのコマンドで実行できる方法でコードをパッケージ化する方法についてご紹介します。 このブログ投稿では、AWS のサービス (AWS Lambda、Amazon Simple Storage Service (S3)、AWS CloudFormation、Amazon CloudWatch、AWS Identity and Access Management (IAM)) についてご説明します。使用する言語フレームワークおよびディープラーニングフレームワークには、Python や TensorFlow などがあります。ここで説明するプロセスは、MXNet、Caffe、PyTorch、CNTK などの他のディープラーニングフレームワークを使用して適用できます。 全体的なアーキテクチャ AWS アーキテクチャ プロセスの視点から、ディープラーニングの開発およびデプロイは、従来のソフトウェアソリューションの開発やデプロイと同じように行う必要があります。 以下の図は、開発ライフサイクルの一例です。 図を見て分かるように、通常のソフトウェア開発プロセスは、アイデア開始や開発環境のモデリングから、本番稼働用のモデルの最終デプロイまで複数の段階があります。ほとんどの場合、この開発段階では、環境を絶えず、繰り返し変更する必要があります。通常、この反復は、ソフトウェア/モデルの開発時に使用されるリソースの性質や量に影響を及ぼします。アジャイル開発では、環境をすばやく構築/再構築/解放できることが不可欠です。構築されているソフトウェアにすばやく変更を加えるには、インフラストラクチャの調整が必要です。アジャイル開発やイノベーションの加速の前提条件のひとつに、コードによってインフラストラクチャを管理できること (IaC: infrastructure as code) があります。 ソフトウェア設計の管理、構築およびデプロイの自動化は、継続的な統合および継続的な配信 (CI/CD) の一環です。この投稿では、綿密に計画された CI/CD パイプラインの詳細には触れていませんが、開発/デプロイの俊敏性およびプロセスの自動化を促進する反復可能プロセスを構築する開発チームは、念頭に置いておくべきです。 […]

Read More

AWS Direct Connectアップデート– 2017年後半に追加された新ロケーション10か所

2018年 あけましておめでとうございます。いよいよ年も明けて、近日中にリリースされる製品について学ぶためにチームの仲間たちと作業し、それを最新情報をブログ記事として皆さんにお届けするなど、通常業務に戻るのを心待ちにしています。今のところ、2017年後半にリリースされた製品や発表など、まだ記事にしていない内容について遅れを取り戻そうとしているところです。と 今日の記事で最初にご紹介するのは、AWS Direct Connectに適用される最新都市についての情報です。世界中のAWSのお客様は自社のネットワークコストを削減し、スループットの増大を図り、より一貫性のあるネットワークエクスペリエンスを実現する目的で、自社施設からAWSへの専用ネットワーク接続を確立するために、Direct Connectを使用しています。 12月には新たに10か所のロケーションがDirect Connectリストに追加されました。いずれも1GBと10GBの接続速度を提供し、パートナー提供のオプションを利用すれば1GB以下の速度も選択できます。以下は最新ロケーションの情報です。各ロケーションごとにデータセンター、関連するAWS地域を示します。 インド、バンガロール – NetMagic DC2 – アジア太平洋(ムンバイ)。 南アフリカ、ケープタウン – Teraco Ct1 – EU (アイルランド)。 南アフリカ、ヨハネスブルク – Teraco JB1 – EU (アイルランド)。 英国、ロンドン – Telehouse North Two – EU (ロンドン)。 米国、フロリダ州マイアミ – Equinix MI1 – 米国東部(北バージニア)。 米国、ミネソタ州ミネアポリス – Cologix MIN3 – 米国東部(オハイオ) 中国、寧夏 – Shapotou IDC – 中国(寧夏)。 中国、寧夏 […]

Read More

4 つの新しいリージョン (北京、フランクフルト、シンガポール、ムンバイ) で AWS Deep Learning AMI の提供を開始

Sinnet が運用する中国 (北京)、欧州 (フランクフルト)、アジアパシフィック (シンガポール)、アジアパシフィック (ムンバイ) の 4 つの新しいリージョンで AWS Deep Learning AMI を利用できるようになりました。 Amazon マシンイメージ (AMI) は Machine Learning ユーザーがディープラーニングモデルをすぐ使い始められるようにするためのインフラストラクチャとツールを提供しています。AMI には Apache MXNet、Gluon、TensorFlow、Microsoft Cognitive Toolkit、Caffe、Caffe2、Theano、Torch、Pytorch、Keras といった人気のディープラーニングフレームワークのパッケージが組み込まれています。また、開発とモデルトレーニングを効率良く進めるため、AMI は NVIDIA CUDA と cuDNN ドライバーで事前設定されており Amazon EC2 の P2 インスタンスや P3 インスタンスにおける GPU 加速に対し最適化されています。 ディープラーニングでビジネス価値を推進 企業は多種多様なチャレンジに取り組む方法としてディープラーニングに注目しています。たとえば、メディア業界の大物である Condé Nast は顧客をより理解できるようにするため、オンラインコンテンツのモニタリングにコンピュータビジョンと自然言語処理を使用しています。自動運転テクノロジーのリーダー的な存在である TuSimple は、運転のシミュレーションの実行や自動運転システムのトレーニングにディープラーニングアルゴリズムを使用しています。インターネットで食品配送サービスを提供する Instacart は、何千人もの買い物代行者が顧客の買い物履歴を介してより効率的にショッピングを行うためにディープラーニングを使用しています。 AWS Deep Learning AMI […]

Read More

現代版の安定性を備えたエンタープライズ向け Amazon Linux 2

今年も仕事納めの時期なりました。メールの片付けそして AWS re:Invent 開催後すぐにリリースされた最近の AWS サービスについて遅れを取り戻そうとしているところです。 先週は Amazon Linux 2 がリリースされました。この現代版 Linux はセキュリティ、安定性、生産性といったエンタープライズ環境のニーズを満たしながら、新しいツールや機能へのタイムリーなアクセスを提供できるように設計されています。また AWS 統合、cloud-init、安全なデフォルト設定、定期的なセキュリティ更新、AWS サポートといった AWS Linux AMI を人気にしたすべての機能も含まれています。これを基盤に次の新機能を追加しました。 長期サポート – 頻繁にアプリケーションを再適格することを避けたい場合など、長期に渡り 1 つの Linux バージョンを使用したい時に Amazon Linux 2 を使用することができます。このビルド (2017.12) は LTS ステータスを対象にしており、Amazon Linux ディスカッションフォーラムのフィードバックを元に最終判断が行われます。Amazon Linux 2 LTS ビルドの長期サポートにはセキュリティ更新、バグ修正、ユーザースペースのアプリケーションバイナリインターフェイス (ABI)、ユーザースペースのアプリケーションプログラミングインターフェイス (API) の 5 年間にわたる互換性を含んでいます。 Extras Library – 基盤となる OS イメージを軽量で安定性を維持した状態にしながら新機能に素早くアクセスできるようになりました。Amazon Linux Extras Library […]

Read More

AWS 欧州 (パリ) リージョンの一般提供を開始

AWS 全体で 18番目、欧州では 4 番目の AWS リージョンの提供を開始しました。パリ地域に位置するこの AWS リージョンは、AWS ユーザーがフランス国内および近辺の顧客に対し、より優れたサービスを提供できるようにしています。 詳細 新しい欧州 (パリ) リージョンでは、次を含む幅広い一連の AWS サービスを提供しています: Amazon API Gateway, Amazon Aurora, Amazon CloudFront, Amazon CloudWatch, CloudWatch Events, Amazon CloudWatch Logs, Amazon DynamoDB, Amazon Elastic Compute Cloud (EC2), EC2 Container Registry, Amazon ECS, Amazon Elastic Block Store (EBS), Amazon EMR, Amazon ElastiCache, Amazon Elasticsearch Service, Amazon […]

Read More

Amazon EC2 C5 インスタンスと BigDL を使用してディープラーニングに低精度と量子化を使用

先日、AWS は最新世代の Intel Xeon Scalable Platinum プロセッサに基づいた大量の演算を行う新しい Amazon EC2 C5 インスタンスをリリースしました。このインスタンスは計算量の多いアプリケーション用に設計されており、C4 インスタンスに比べパフォーマンスを大幅に改善しています。また、vCPU あたりの追加メモリとベクトルおよび浮動小数点ワークロードの 2 倍のパフォーマンスを備えています。 今回のブログでは BigDL という Apache Spark を対象としたオープンソースの分散型ディープラーニングフレームワークが、大規模なディープラーニングのワークロードを大幅に改善する AWS C5 インスタンスの新機能を活用する方法について説明します。特に BigDL が C5 インスタンスを使用してどのように低精度や量子化を活用し、モデルサイズの削減を最大 4 倍に削減そして推論速度を約 2 倍も改善することを実現しているのか説明します。 C5 インスタンスでディープラーニングを使用する理由 新しい AWS C5 インスタンスは Intel Xeon Scalable プロセッサ機能を利用します。これには高頻度のプロセッサでのコア数の増加、高速なシステムメモリ、大きなコア単位の中レベルキャッシュ (MLC または L2 キャッシュ)、新しく幅広い SIMD 命令 (AVX-512) などが含まれています。こうした機能はディープラーニングに関与する数学演算を促進するように設計されているため、新しい C5 インスタンスを大規模なディープラーニングに対し優れたプラットフォームにしています。 BigDL は Intel […]

Read More