Amazon Web Services ブログ

Category: Events

新発表 – AWS Step Functions が コンピュート、データベース、メッセージング、アナリティクス、機械学習 のサービスと統合

AWS Step Functions はアプリケーション開発者のためのフルマネージドなワークフローサービスです。各アクティビティの接続と整理を、信頼性があり繰り返し可能な形で、ビジネスロジックとワークフローロジックを分離しながら、高レベルの設計と作業で実現できます。ワークフロー(ステートマシンと言います)を設計、テストした後、スケーラブルにデプロイして10,000から100,000もの処理を独立かつ同時に実行することができます。Step Functions は各ワークフローの状態を追跡し、モニタリングやロギングもシンプルにします。詳しくは 「サーバーレスワークフローを作成する」 のチュートリアルをお試しください。

Read More

新機能 – Amazon SageMaker Neo – トレーニングしたモデルをどこでも実行

機械学習(Machine Learning: ML)は、トレーニングと推論という2つの異なるフェーズに分かれています。 トレーニングは、モデルを構築すること、すなわち、意味のあるパターンを識別するためにデータセット上で ML アルゴリズムを実行することを扱います。これには大量のストレージとコンピューティングパワーが必要なことが多く、クラウドは Amazon SageMaker や AWS Deep Learning AMI などのサービスで ML ジョブをトレーニングするためのうってつけな場所になります。 推論は、モデルの使用、すなわちモデルが一度も見たことがないデータサンプルの結果を予測することを扱います。ここでは、要件が異なります。開発者は通常、待ち時間(1回の予測でどれくらい時間がかかるか)とスループット(並列で実行できる予測の数)を最適化することに関心があります。 もちろん、リソースが制約されているデバイスを扱う場合は、予測環境のハードウェアアーキテクチャがこのようなメトリックに非常に大きな影響を与えます。Raspberry Pi の愛好家として、私はしばしば、若い仲間が私の推論コードをスピードアップするためにもう少し誘導して欲しいと思っています。 特定のハードウェアアーキテクチャーのモデルをチューニングすることは可能ですが、ツールの欠如が原因でエラーが発生しやすく時間がかかります。ML フレームワークやモデル自体にマイナーな変更を加えると、通常、ユーザーは再び最初からやり直す必要があります。残念なことに、ほとんどの ML 開発者は、基礎となるハードウェアにかかわらずどこでも同じモデルを展開する必要があり、パフォーマンスは大幅に向上しません。

Read More

Amazon SageMaker RL – Amazon SageMakerを使ったマネージドな強化学習

この数年、機械学習はたくさんの興奮をもたらしました。実際、医療画像分析 から自動運転トラックまで、複雑なタスクを機械学習によって成功させ、成長を遂げてきました。それにしても、どうやってこれらの機械学習モデルは賢くなっているのでしょうか? 端的には、機械学習のモデルは、以下の3つのいずれかの方法で学習されています。 教師あり学習:ラベル付きのデータセット(サンプルと答えを含む)を使って学習を実行します。徐々にモデルは学習し、正しい解を予測をするようになります。回帰と分類などが、教師あり学習の例として挙げられます。 教師なし学習: ラベルのないデータセット(サンプルのみを含む)を使ってアルゴリズムを実行します。ここでは、モデルはデータ中のパターンを徐々に学習し、それに応じてサンプルを編集します。クラスタリングやトピックモデリングなどが、教師なし学習の例として挙げられます。 強化学習: これは上の二つとはとても異なっています。ここでは、コンピュータープログラム(エージェントを指す)は環境と相互作用し、ほとんどの場合、これはシミュレータの中で行われます。エージェントは行動に応じて正または負の報酬を得ますが、報酬は、その行動がどれぐらい良いのかを表す数値表現を出力するユーザー定義関数によって計算されます。生の報酬を最大化することで、エージェントは最適な意思決定の戦略を学ぶことができます。

Read More

Amazon SageMaker Ground Truth — 高い精度のデータセットを構築し、ラベル付けのコストを最大70%削減

1959年、アーサー・サミュエルは機械学習を「明示的にプログラムされなくても新しいことを学べる能力をコンピュータに与える学問分野」と定義しました。しかし、機械仕掛けの神 (deus ex machina) など存在せず、学習プロセスにはアルゴリズム (「どのように学ぶか」) と学習用データセット (「何から学ぶか」) が必要です。 今日では、ほとんどの機械学習タスクは教師あり学習という技術を用いており、アルゴリズムはラベル付けされたデータセットからパターンや行動を学習します。ラベル付けされたデータセットにはデータサンプルに加え、それぞれに対する正しい答え、すなわち “ground truth” が含まれています。手元の問題に合わせて、ラベル付きの画像 (「これは犬」「これは猫」) を使ったり、ラベル付きのテキスト (「これはスパム」「これは違う」) を使ったりします。

Read More

Amazon Personalize – すべてのユーザにリアルタイムパーソナライゼーションとレコメンデーションを

機械学習は、間違いなく広範囲にわたって取り組むべき魅力的なトピックを提供してきましたが、パーソナライゼーションやレコメンデーションほどのものはありません。 一見、ユーザーと好みのアイテムをマッチングするのは簡単な問題のように聞こえるかもしれません。しかしながら、効率的なレコメンデーションシステムを開発するのは難易度が高く、数年前にNetflix が 1 億円相当の懸賞金をかけて映画レコメンデーションコンクールを実施したほどです!事実、現時点でリアルタイムなパーソナライゼーションの仕組みを構築・最適化し、デプロイするには、分析・応用機械学習・ソフトウェアエンジニアリング・システム運用に特化したエキスパートが必要になります。ほとんどの組織はこれらの課題を克服するための知識・スキル、そして経験を持っておらず、レコメンデーションを利用するアイデアを諦めるか、パフォーマンスの低いモデルを構築するに留まっています。 20年以上もの間、 Amazon.com は、商品検索から決済まで購買経験のいたるところでパーソナライズされたレコメンデーションを統合しながら、大規模なレコメンデーションシステムを構築してきました (詳細な情報は次の文献を参照ください:”Two Decades of Recommender Systems at Amazon.com“)。 全ての AWS のお客様が同様のことをするお手伝いをするために、本日、Amazon Personalize を発表することができ幸せに思います。Amazon Personalize はパーソナライゼーションやレコメンデーションを機械学習の経験が殆ど無い開発者に委ねることが可能なフルマネージドサービスです! Amazon Personalize の紹介 Amazon Personalize はどのようにパーソナライゼーションとレコメンデーションをシンプルにしたのでしょうか?過去に発行した Blog で説明されているように、Factorization Machines のようなアルゴリズムを利用すると、Amazon SageMaker 上にレコメンデーションモデルを構築するのはすでに可能でした。しかしながら、この方法で良い結果を得るためには、大量のデータの準備と専門家によるチューニングが必要になると言わざるを得ません。 Amazon Personalize でレコメンデーションモデルを作るのはもっと簡単です。複雑な機械学習のタスクを自動化する新しいプロセスである AutoML を使うことで、Personalize は機械学習モデルを設計し、トレーニングし、デプロイするのに要求される難しい作業を実行し、高速化します。 Amazon Personalize は Amazon S3 に保存されているデータセットとストリーミングデータセット (JavaScript トラッカーやサーバサイドからリアルタイムで送られてくるイベントなど) の両方をサポートします。大まかな流れは次のようになります: ユーザー ID や アイテム ID に対応する […]

Read More

Amazon Elastic Inference — GPUを利用した深層学習推論の高速化

近年の AI や深層学習の発展には、Graphics Processing Units (GPU) の素晴らしい処理能力が重要な役割を果たしてきました。 10年程前、研究者は機械学習や High Performance Computing (HPC) に対して、大規模なハードウェア並列演算能力を活用する方法を編み出しました。興味のある方は、2009年にスタンフォード大から発表され大きな影響を与えた、この論文 (PDF) をご覧ください。 現在では、GPU のおかげで開発者やデータサイエンティストは複雑なモデルを医療画像分析や自動運転の大量のデータで学習できています。例えば、Amazon EC2 P3 ファミリーを利用すると1インスタンスあたり最大8枚の NVIDIA V100 GPU、つまり混合精度演算で最大 1PFLOPS を利用できます。これが10年前の最速のスーパーコンピューターと同じパフォーマンスだなんて信じられるでしょうか?

Read More

AWS DeepRacer – 強化学習のハンズオン at re:Invent

強化学習は、”エージェント”が、インタラクティブな環境下でトライアンドエラーベースで行動が可能なときに、行動からのフィードバックを利用して、事前に定義されたゴールに到達する、あるいは、有る種のスコアや報奨を最大化するよう学習を行う機械学習の形式の一つです。強化学習は、教師あり学習などの他の型式の機械学習とは対照的に、一連の事実(ground truth)を利用してモデルの学習を行い、推論を行います。 AWS re:inventでは、皆様に強化学習のハンズオンをご提供します。本日その全てをご紹介します。このハードウェアとソフトウェアの組み合わせは、(文字通り)物事を前進させるのに役に立ちます! AWS DeepRacer ハードウェアとソフトウェアについてまず最初にご紹介します。AWS DeepRacerは、1/18スケールの4輪ラジコンカーです: オンボードIntel Atom® プロセッサー、1080p解像度の4メガピクセルカメラ、高速WiFi(802.11ac)、複数のUSBポート、およそ2時間稼働できるバッテリーを搭載しています。Atom processor上で、Ubuntu 16.04 LTS、ROS(Robot Operating System)、および Intel OpenVino™ コンピュータービジョンツールキットが稼働します。

Read More

新発表 – AWS マーケットプレイスで機械学習アルゴリズムとモデルのパッケージを提供開始

AWS における私達のミッションは、全ての開発者の手に機械学習を届けることです。それ故、2017 年に私達は、機械学習モデルを構築・トレーニング/チューニング・デプロイするためのフルマネージドなサービスである Amazon SageMaker をローンチしました。サービスローンチ以来、Amazon SageMaker はこれまでにリリースしたサービスの中で最も成長しているサービスの 1 つになり、グローバルで数千の機関で採用されました。Amazon SageMaker を利用するお客様は、Amazon SageMaker で最適化されたアルゴリズムを使い、フルマネージドな MXNet、Tensorflow、PyTorch、Chainer のアルゴリズムを実行させたり、独自のアルゴリズムやモデルを持ち込むことができます。ただ、独自のモデルを自分たちで構築するとなると、多くのお客様はすでに解決されている問題に対するソリューションであるアルゴリズムとモデルを開発するのに非常に多くの時間を費やしてきました。   AWS マーケットプレイス機械学習カテゴリの紹介 AWS マーケットプレイスで提供される新しい機械学習カテゴリについて発表できることを嬉しく思います。機械学習カテゴリには、150以上のアルゴリズムとモデルパッケージがあり、毎日増えて行く予定です。AWS マーケットプレイスは小売(35)、メディア(19)、製造(17)、ヘルスケア・ライフサイエンス(15)、等のような垂直型産業向けに適したセレクションを提供します。 ※()内は提供製品数 お客様は乳がん予測、リンパ腫分類・再入院判定・ローンリスク予測・乗り物認識・小売最適化・ボットネット攻撃検出・カーテレマティクスモデル・動作検出・需要予測・発話認識などのような重要なユースケースに対するソリューションを探すことができます。 お客様は AWS マーケットプレイスでパッケージ化されたアルゴリズムとモデルを探し、閲覧することができます。購入したお客様はすぐに、SageMaker コンソール、Jupyter ノートブック、SageMaker SDK、AWS CLI から直接アルゴリズムやモデルをデプロイすることができます。AmazonSageMaker は静的スキャン、ネットワークの分離、ランタイム監視など、多くのセキュリティ対策を講じることにより、買い手のデータを守ります。 AWS マーケットプレイスにおける売り手の知的財産は、転送中やその後の行程でアルゴリズムとモデルパッケージを暗号化すること、通信に SSL 通信を利用すること、そして、デプロイされたアーティファクトにロールベースでアクセスすることを保証することによって守られます。AWS は、アルゴリズムとモデルを発行するための衝突のないセルフサービスプロセスにより、売り手がビジネスでマネタイズするための安全な方法を提供します。 機械学習カテゴリを利用する 過去に自分自身でモデルを構築しようとしてきたので、私はこの機能に大変興奮しています。AWS マーケットプレイスから提供可能なアルゴリズムやモデルを閲覧した後、Deep Vision AI 社が発行する Deep Vision 乗り物認識を利用することに決めました。このモデルを利用すると、アップロードされた画像群から車のメーカー・モデル、そして、種別を認識することができます。このモデルは保険金請求手続き、オンライン車販売、乗り物識別などのビジネスで利用することができます。 購入手続きを続け、デフォルトの推奨されるインスタンスタイプとリージョンを設定しました。購入引受契約を読み、了承し、モデルを利用する準備が完了しました。 購入したものは Amazon SageMaker コンソールにリストアップされ、利用可能な状態です。Amazon SageMaker で利用するためのモデルデプロイは他のモデルパッケージと同様です。このガイドに沿って、エンドポイントの作成とデプロイを実施するためのステップを完了しました。 デプロイしたエンドポイントを利用して、モデルでの推論を開始できます。このケースでは、車 […]

Read More

新発表 – Amazon FSx for Windows ファイルサーバー – 高速・完全マネージド型・セキュアなファイルサーバー

クラウド上で Windows アプリケーションを利用しようとしている組織では、通常、既存のアプリケーションや Windows 環境と完全に互換性のあるネットワークストレージを探します。例えば、エンタープライズ企業では ID 管理目的で Active Directory を使用し、フォルダやファイルへのきめ細かなアクセス制御のために Windows Access Control List を使用し、これらの企業のアプリケーションは Windows ファイルシステム (NTFS ファイルシステム) と完全互換のストレージに頼った作りになっています。 Amazon FSx for Windows ファイルサーバー Amazon FSx for Windows ファイルサーバーはこれら全てのニーズに対応しています。既存の Windows アプリケーションや Windows 環境で作業することを前提に設計されており、Windows ワークロードのクラウドへの Lift-and-Shift を非常に簡単にしてくれます。完全マネージド型の Windows ファイルサーバーに裏付けられたネイティブ Windows ファイルサーバーに、広く採用されている SMB (Server Message Block) プロトコルを介してアクセスできます。SSD ストレージで構築されている Amazon FSx for Windows ファイルサーバーは、皆さん (と皆さんの Windows アプリケーション) […]

Read More

新発表 – Amazon FSx for Lustre

ペタバイト(PiB – 1,125,899,906,842,624 バイト)は驚異的なデータ量であり、ヒトの脳の記憶容量見積もりの半分近くに相当するほどです。データレイクや、HPC(High performance Computing)、EDA(Electronic Design Automation) といったアプリケーションは伝統的にこのようなスケールに対応する必要があり、更に近年では機械学習やメディア処理といったデータインテンシブなアプリケーションも加わっています。 Amazon FSx for Lustre 本日(2018年11月28日)私達は、このような今まで夢見ていたような需要に答えるため、Amazon FSx for Lustreをローンチいたしました。Amazon FSx for Lustreは、著名かつ成熟したオープンソースプロジェクトであるLustreをベースにした高並列なファイルシステムであり、ペタバイトスケールのファイルシステムに対するミリ秒以下でのアクセスをサポートします。数千のクライアント(EC2インスタンスやオンプレミスサーバー)による同時アクセスにより、数百万IOPS(Input/Output Operation per Second)や数百GB/secものデータ転送を行うことが可能です。 このサービスでは、数分でファイルシステムを作成し、すぐにでも多数のクライアントからマウントして利用を開始することが可能です。また、完全マネージド型のサービスのため、管理や保守に手間をかける必要はありません。さらにこのサービスでは一時的な用途のスタンドアローンなファイルシステムを作成するだけでなく、S3のバケットとシームレスに接続してコンテンツがLustreファイルシステム上にあるかのようにアクセスすることも可能です。各ファイルシステムはNVMe SSDストレージにより構成されており、3.6 TiB単位でプロビジョンされ、1 TiBごとに200 MBpsのスループット、10,000 IOPSを発揮できるようにデザインされています。

Read More