Amazon Web Services ブログ

Category: Events

Amazon SageMaker Ground Truth — 高い精度のデータセットを構築し、ラベル付けのコストを最大70%削減

1959年、アーサー・サミュエルは機械学習を「明示的にプログラムされなくても新しいことを学べる能力をコンピュータに与える学問分野」と定義しました。しかし、機械仕掛けの神 (deus ex machina) など存在せず、学習プロセスにはアルゴリズム (「どのように学ぶか」) と学習用データセット (「何から学ぶか」) が必要です。 今日では、ほとんどの機械学習タスクは教師あり学習という技術を用いており、アルゴリズムはラベル付けされたデータセットからパターンや行動を学習します。ラベル付けされたデータセットにはデータサンプルに加え、それぞれに対する正しい答え、すなわち “ground truth” が含まれています。手元の問題に合わせて、ラベル付きの画像 (「これは犬」「これは猫」) を使ったり、ラベル付きのテキスト (「これはスパム」「これは違う」) を使ったりします。

Read More

Amazon Personalize – すべてのユーザにリアルタイムパーソナライゼーションとレコメンデーションを

機械学習は、間違いなく広範囲にわたって取り組むべき魅力的なトピックを提供してきましたが、パーソナライゼーションやレコメンデーションほどのものはありません。 一見、ユーザーと好みのアイテムをマッチングするのは簡単な問題のように聞こえるかもしれません。しかしながら、効率的なレコメンデーションシステムを開発するのは難易度が高く、数年前にNetflix が 1 億円相当の懸賞金をかけて映画レコメンデーションコンクールを実施したほどです!事実、現時点でリアルタイムなパーソナライゼーションの仕組みを構築・最適化し、デプロイするには、分析・応用機械学習・ソフトウェアエンジニアリング・システム運用に特化したエキスパートが必要になります。ほとんどの組織はこれらの課題を克服するための知識・スキル、そして経験を持っておらず、レコメンデーションを利用するアイデアを諦めるか、パフォーマンスの低いモデルを構築するに留まっています。 20年以上もの間、 Amazon.com は、商品検索から決済まで購買経験のいたるところでパーソナライズされたレコメンデーションを統合しながら、大規模なレコメンデーションシステムを構築してきました (詳細な情報は次の文献を参照ください:”Two Decades of Recommender Systems at Amazon.com“)。 全ての AWS のお客様が同様のことをするお手伝いをするために、本日、Amazon Personalize を発表することができ幸せに思います。Amazon Personalize はパーソナライゼーションやレコメンデーションを機械学習の経験が殆ど無い開発者に委ねることが可能なフルマネージドサービスです! Amazon Personalize の紹介 Amazon Personalize はどのようにパーソナライゼーションとレコメンデーションをシンプルにしたのでしょうか?過去に発行した Blog で説明されているように、Factorization Machines のようなアルゴリズムを利用すると、Amazon SageMaker 上にレコメンデーションモデルを構築するのはすでに可能でした。しかしながら、この方法で良い結果を得るためには、大量のデータの準備と専門家によるチューニングが必要になると言わざるを得ません。 Amazon Personalize でレコメンデーションモデルを作るのはもっと簡単です。複雑な機械学習のタスクを自動化する新しいプロセスである AutoML を使うことで、Personalize は機械学習モデルを設計し、トレーニングし、デプロイするのに要求される難しい作業を実行し、高速化します。 Amazon Personalize は Amazon S3 に保存されているデータセットとストリーミングデータセット (JavaScript トラッカーやサーバサイドからリアルタイムで送られてくるイベントなど) の両方をサポートします。大まかな流れは次のようになります: ユーザー ID や アイテム ID に対応する […]

Read More

Amazon Elastic Inference — GPUを利用した深層学習推論の高速化

近年の AI や深層学習の発展には、Graphics Processing Units (GPU) の素晴らしい処理能力が重要な役割を果たしてきました。 10年程前、研究者は機械学習や High Performance Computing (HPC) に対して、大規模なハードウェア並列演算能力を活用する方法を編み出しました。興味のある方は、2009年にスタンフォード大から発表され大きな影響を与えた、この論文 (PDF) をご覧ください。 現在では、GPU のおかげで開発者やデータサイエンティストは複雑なモデルを医療画像分析や自動運転の大量のデータで学習できています。例えば、Amazon EC2 P3 ファミリーを利用すると1インスタンスあたり最大8枚の NVIDIA V100 GPU、つまり混合精度演算で最大 1PFLOPS を利用できます。これが10年前の最速のスーパーコンピューターと同じパフォーマンスだなんて信じられるでしょうか?

Read More

AWS DeepRacer – 強化学習のハンズオン at re:Invent

強化学習は、”エージェント”が、インタラクティブな環境下でトライアンドエラーベースで行動が可能なときに、行動からのフィードバックを利用して、事前に定義されたゴールに到達する、あるいは、有る種のスコアや報奨を最大化するよう学習を行う機械学習の形式の一つです。強化学習は、教師あり学習などの他の型式の機械学習とは対照的に、一連の事実(ground truth)を利用してモデルの学習を行い、推論を行います。 AWS re:inventでは、皆様に強化学習のハンズオンをご提供します。本日その全てをご紹介します。このハードウェアとソフトウェアの組み合わせは、(文字通り)物事を前進させるのに役に立ちます! AWS DeepRacer ハードウェアとソフトウェアについてまず最初にご紹介します。AWS DeepRacerは、1/18スケールの4輪ラジコンカーです: オンボードIntel Atom® プロセッサー、1080p解像度の4メガピクセルカメラ、高速WiFi(802.11ac)、複数のUSBポート、およそ2時間稼働できるバッテリーを搭載しています。Atom processor上で、Ubuntu 16.04 LTS、ROS(Robot Operating System)、および Intel OpenVino™ コンピュータービジョンツールキットが稼働します。

Read More

新発表 – AWS マーケットプレイスで機械学習アルゴリズムとモデルのパッケージを提供開始

AWS における私達のミッションは、全ての開発者の手に機械学習を届けることです。それ故、2017 年に私達は、機械学習モデルを構築・トレーニング/チューニング・デプロイするためのフルマネージドなサービスである Amazon SageMaker をローンチしました。サービスローンチ以来、Amazon SageMaker はこれまでにリリースしたサービスの中で最も成長しているサービスの 1 つになり、グローバルで数千の機関で採用されました。Amazon SageMaker を利用するお客様は、Amazon SageMaker で最適化されたアルゴリズムを使い、フルマネージドな MXNet、Tensorflow、PyTorch、Chainer のアルゴリズムを実行させたり、独自のアルゴリズムやモデルを持ち込むことができます。ただ、独自のモデルを自分たちで構築するとなると、多くのお客様はすでに解決されている問題に対するソリューションであるアルゴリズムとモデルを開発するのに非常に多くの時間を費やしてきました。   AWS マーケットプレイス機械学習カテゴリの紹介 AWS マーケットプレイスで提供される新しい機械学習カテゴリについて発表できることを嬉しく思います。機械学習カテゴリには、150以上のアルゴリズムとモデルパッケージがあり、毎日増えて行く予定です。AWS マーケットプレイスは小売(35)、メディア(19)、製造(17)、ヘルスケア・ライフサイエンス(15)、等のような垂直型産業向けに適したセレクションを提供します。 ※()内は提供製品数 お客様は乳がん予測、リンパ腫分類・再入院判定・ローンリスク予測・乗り物認識・小売最適化・ボットネット攻撃検出・カーテレマティクスモデル・動作検出・需要予測・発話認識などのような重要なユースケースに対するソリューションを探すことができます。 お客様は AWS マーケットプレイスでパッケージ化されたアルゴリズムとモデルを探し、閲覧することができます。購入したお客様はすぐに、SageMaker コンソール、Jupyter ノートブック、SageMaker SDK、AWS CLI から直接アルゴリズムやモデルをデプロイすることができます。AmazonSageMaker は静的スキャン、ネットワークの分離、ランタイム監視など、多くのセキュリティ対策を講じることにより、買い手のデータを守ります。 AWS マーケットプレイスにおける売り手の知的財産は、転送中やその後の行程でアルゴリズムとモデルパッケージを暗号化すること、通信に SSL 通信を利用すること、そして、デプロイされたアーティファクトにロールベースでアクセスすることを保証することによって守られます。AWS は、アルゴリズムとモデルを発行するための衝突のないセルフサービスプロセスにより、売り手がビジネスでマネタイズするための安全な方法を提供します。 機械学習カテゴリを利用する 過去に自分自身でモデルを構築しようとしてきたので、私はこの機能に大変興奮しています。AWS マーケットプレイスから提供可能なアルゴリズムやモデルを閲覧した後、Deep Vision AI 社が発行する Deep Vision 乗り物認識を利用することに決めました。このモデルを利用すると、アップロードされた画像群から車のメーカー・モデル、そして、種別を認識することができます。このモデルは保険金請求手続き、オンライン車販売、乗り物識別などのビジネスで利用することができます。 購入手続きを続け、デフォルトの推奨されるインスタンスタイプとリージョンを設定しました。購入引受契約を読み、了承し、モデルを利用する準備が完了しました。 購入したものは Amazon SageMaker コンソールにリストアップされ、利用可能な状態です。Amazon SageMaker で利用するためのモデルデプロイは他のモデルパッケージと同様です。このガイドに沿って、エンドポイントの作成とデプロイを実施するためのステップを完了しました。 デプロイしたエンドポイントを利用して、モデルでの推論を開始できます。このケースでは、車 […]

Read More

新発表 – Amazon FSx for Windows ファイルサーバー – 高速・完全マネージド型・セキュアなファイルサーバー

クラウド上で Windows アプリケーションを利用しようとしている組織では、通常、既存のアプリケーションや Windows 環境と完全に互換性のあるネットワークストレージを探します。例えば、エンタープライズ企業では ID 管理目的で Active Directory を使用し、フォルダやファイルへのきめ細かなアクセス制御のために Windows Access Control List を使用し、これらの企業のアプリケーションは Windows ファイルシステム (NTFS ファイルシステム) と完全互換のストレージに頼った作りになっています。 Amazon FSx for Windows ファイルサーバー Amazon FSx for Windows ファイルサーバーはこれら全てのニーズに対応しています。既存の Windows アプリケーションや Windows 環境で作業することを前提に設計されており、Windows ワークロードのクラウドへの Lift-and-Shift を非常に簡単にしてくれます。完全マネージド型の Windows ファイルサーバーに裏付けられたネイティブ Windows ファイルサーバーに、広く採用されている SMB (Server Message Block) プロトコルを介してアクセスできます。SSD ストレージで構築されている Amazon FSx for Windows ファイルサーバーは、皆さん (と皆さんの Windows アプリケーション) […]

Read More

新発表 – Amazon FSx for Lustre

ペタバイト(PiB – 1,125,899,906,842,624 バイト)は驚異的なデータ量であり、ヒトの脳の記憶容量見積もりの半分近くに相当するほどです。データレイクや、HPC(High performance Computing)、EDA(Electronic Design Automation) といったアプリケーションは伝統的にこのようなスケールに対応する必要があり、更に近年では機械学習やメディア処理といったデータインテンシブなアプリケーションも加わっています。 Amazon FSx for Lustre 本日(2018年11月28日)私達は、このような今まで夢見ていたような需要に答えるため、Amazon FSx for Lustreをローンチいたしました。Amazon FSx for Lustreは、著名かつ成熟したオープンソースプロジェクトであるLustreをベースにした高並列なファイルシステムであり、ペタバイトスケールのファイルシステムに対するミリ秒以下でのアクセスをサポートします。数千のクライアント(EC2インスタンスやオンプレミスサーバー)による同時アクセスにより、数百万IOPS(Input/Output Operation per Second)や数百GB/secものデータ転送を行うことが可能です。 このサービスでは、数分でファイルシステムを作成し、すぐにでも多数のクライアントからマウントして利用を開始することが可能です。また、完全マネージド型のサービスのため、管理や保守に手間をかける必要はありません。さらにこのサービスでは一時的な用途のスタンドアローンなファイルシステムを作成するだけでなく、S3のバケットとシームレスに接続してコンテンツがLustreファイルシステム上にあるかのようにアクセスすることも可能です。各ファイルシステムはNVMe SSDストレージにより構成されており、3.6 TiB単位でプロビジョンされ、1 TiBごとに200 MBpsのスループット、10,000 IOPSを発揮できるようにデザインされています。

Read More

Amazon ECR をソースとしてコンテナイメージの継続的デリバリパイプラインを構築する

本日(11/28)、Amazon Elastic Container Registry (Amazon ECR) を AWS CodePipline のソースプロバイダとして利用可能になりました。これにより Amazon ECR に新しいイメージをアップロードすることにより、AWS CodePipelineを起動することができるようになります。AWS Developer Tools による CI/CD 実現が一段と容易になりました。 Amazon ECR をソースとして使うには、AWS CodePipline コンソールでAWS CodeDeploy による Blue/Green デプロイメントを実装している必要があります。CodePipelineを使わず、Amazon Elastic Container Service (Amazon ECS) コンソールを使って Blue/Green デプロイメントを実装するより詳しい情報については、AWS CodeDeploy による AWS Fargate と Amazon ECS でのBlue/Greenデプロイメントの実装を参照してください。 この投稿では Amazon ECR とAWS CodePipeline を使用してエンドツーエンドの継続的デリバリ (CD) パイプラインを構築する方法について解説します。ここではアップストリームのベースイメージが更新されたらコンテナイメージを更新ためのパイプラインを作る一連の流れを説明します。

Read More

新発表 – すべてのアプリケーションに可用性とパフォーマンスの向上を提供するAWS Global Accelerator

以前、法規制等によりユーザデータを地理的に分離してデータ主権法を遵守する必要がある分野で働いていた経験から、私は複数の国に展開されたインフラストラクチャを必要とするグローバルワークロードを実行することの複雑さを証明することができます。可用性、パフォーマンス、そしてフェイルオーバーなどすべての要素はヤクの毛をかる(モグラ叩きのように次から次に問題が発生して切りがないという意味)ような果てしない作業になります(まるであなたが過去にデータセンターを拡張したように)。お客様は我々に複数のリージョンでオペレーションを行う必要があると言います。それは可用性のためである場合もあれば性能のためでもあり、規制に対応するためである場合もあります。ワークロードをAWS CloudFormationでテンプレート化し、Amazon DynamoDB Global Tableを使うことでデータベースをレプリケーションできること。そして、AWS SAMを使ってサーバレスのワークロードをデプロイできることについてはとても満足いただいています。これらの作業の実施は短時間で実行することができるとともに、グローバルな体験を顧客に対して提供することができます。また、お客様には地理的な隔離により、AWSがblast radiusすなわち問題の地理的連鎖の排除が実現でき、その結果として可用性が向上することについても満足を頂いています。しかし一方で、お客様はアプリケーションの部分においてもう少し有効な機能を提供することを望まれています。

Read More

新発表 – 映像伝送の安定性を向上し機能拡張するAWS Elemental MediaConnect

AWS入社前、私はスポーツテレビチャンネルを所有し配信していた会社に勤めていました。数十箇所の拠点からのスポーツフィードを1つのチャンネルに集約して24時間配信をしておりました。 この規模の放送グレードのネットワークを運用するためのインフラストラクチャとロジスティクスは膨大であり、運用保守が困難であり高コストでした。 これは一部の地域や組織の問題ではなく、メディア企業は独自のネットワークインフラストラクチャで同様の課題に直面しています。 非都市部からの映像フィードを衛星通信経由で統合し、信頼性と放送機能を維持しながら映像信号を複数の地域や国に配信する事は難しい課題であり設備投資も必要でした。   Introducing AWS Elemental MediaConnect AWS Elemental MediaConnectはメディア企業がライブビデオをクラウドに確実に取り込む事ができ、AWSグローバルネットワークを通じて複数の宛先へ安全に送信できる新しいAWS Elementalサービスです。 AWS Elemental MediaConnectは衛星伝送で慣れ親しんだ信頼性、セキュリティ、可視性をお客様に提供します。柔軟性とコスト最適化はインターネットベースの伝送でのみ可能です。ローカルのスポーツイベントを扱う小規模のビデオ制作者から、複数の24時間365日のテレビチャンネルを持つ全国放送のテレビネットワーク、AWSクラウド以外のソース(スポーツ施設やテレビスタジオなど)からコンテンツを確実に取り込むことができます。放送局グレードの信頼性と運用上の可視性を備え複数の宛先へ安全に映像信号を伝送します。これらの目的地は、お客様独自のAWSベースのビデオ処理システムまたはインターネット上のサービスを指定することができます。   What you need to know: Broadcast Reliability – AWS Elemental MediaConnectは信頼性の高い放送局グレードの基準を満たすように設計されており、ジッタとバッファリングを削減するように最適化されています。そしてビデオプロフェッショナルが使用するビデオ伝送プロトコル(RTP、FEC付きRTP、Zixiプロトコルなど)に対応することで、信頼性を確保します。AWS Elemental MediaConnectは低レイテンシ、高帯域幅のAWSグローバルネットワークを使用して、AWSリージョン間で映像信号を伝送および複製します。 Industry-Grade Security – AWS Elemental MediaConnectはメディア企業のセキュリティ要件をサポートします。 AES-256暗号化を使用してストリームを暗号化するオプションを提供し、AWS Secrets Managerを用いて鍵を安全に保管します。 併せて複製機能を用いて、お客様はAWS内外の複数の関係会社様へコンテンツを安全に伝送できます。 Visibility & Operations  – 最後にAWS Elemental MediaConnectはお客様に映像信号の健全性を可視化します。サービス品質(QoS)アラーム、及びリアルタイム信号チェックを組み合わせミッションクリティカルな映像信号の健全性を 追加設定なしで確認できます。さらにAWS Elemental MediaConnectは他のAWS Media ServicesやCloudWatchと統合されており、ダッシュボードの作成やアラームの作成が容易です。 AWS Elemental MediaConnect in […]

Read More