Amazon Web Services ブログ

AWS Japan Staff

Author: AWS Japan Staff

アセットライブラリにおける課題:機械学習を利用したプロダクションパイプラインの高速化

利用したいテクスチャをライブラリから探す作業は非常に手間がかかる作業です。Amazon RekognitionやAmazon Machine Learning APIを利用することで、テクスチャへのタグ付けを行い、高速な検索が実現できます。 ゲーム開発では一般的に”painter’s pallet(画家のパレット)”として扱われるテクスチャやシーンを扱う巨大なアセットライブラリを持っています。これらは3Dのランドスケープや地形を表現するために利用されており、データの選択によって世界観をを変えることができるため、非常に重要なものとなります。テクスチャによっては実生活の風景や漫画の陰影、セル画調での世界滅亡の風景などを自由に表現することができます。 膨大な数のデータが保存されているライブラリから、何千ものテクスチャを選ぶことも珍しいことではありません。その場合、まれに正しいタグが付与されていなかったり、ファイルやフォルダ名に依存することで生じる誤解などが問題となります。より正確性を向上するために、正確なタグ付けを手作業によって行うことは非現実的でとてつもない作業になるでしょう。 正確なタグ付けを実現するために、1人または複数人でデータを確認し、意見を集め、その情報によって各ファイルにタグ付けをする必要がありますが、どんなシナリオでも非常に多くの時間がかかります。 しかし、機械学習を利用したAmazonの画像認識サービスであるAmazon Rekognitionを使えば、これらの作業を非常に簡単に高速に行うことができます。アーティストがファイルを開くのに40秒かかり、画像を見て意見を集め、複数のタグを書き込んでデータベースに格納する場合、5,000ファイルを処理するのに約55時間を要します。Amazon Rekognitionを利用する場合、画像のアップロードをバッチ処理することが可能で、私たちのテストコードでは200Mbpsの速度でアップロードしたところ3分未満で完了しました。 試してみましょう! もし1枚の画像で試す場合、こちらをご確認ください。画像をアップロードし、レスポンスを確認するだけです。 https://console.aws.amazon.com/rekognition/home?region=us-east-1#/label-detection もちろん、SDKもご利用になれます。こちらのページからインストールできるAWS SDKを利用します。 https://aws.amazon.com/tools/#sdk それでは、特定のフォルダで簡単なサンプルを動かしてみましょう。ご紹介するサンプルはフォルダの中のすべてのJPEG/PNGファイルをAmazon Rekognitionにアップロードし、メタタグをファイル名と一緒にSQLiteに保存します。また、簡単な検索機能も提供します。 今回はPythonを使ったシンプルな例をご紹介します。もしあなたがPythonのファンではない場合は、AWS SDKでサポートされているお好みの言語を利用いただくことができます。 まずはAWS SDK for Pythonをこちらの手順に沿ってインストールします。 https://boto3.readthedocs.io/en/latest/guide/quickstart.html 最も早い方法は”Boto3″パッケージのインストールです。 pip install boto3 また、AWSアクセスキーの設定をAWSマネージメントコンソール(https://console.aws.amazon.com)から行います。 [IAM]-[ユーザー]-[認証情報]-[アクセスキーの作成]をクリックしてください。 アクセスキーIDとシークレットアクセスキーをメモし、以下のクイックスタートの設定ファイルを編集してください。(Macの場合は”~/.aws/credentials”、Windowsの場合は”%USERPROFILE%\.aws\credentials”となります。) あとは数行のコードで実行することができます。 1. boto3のライブラリをインポートします。 import boto3   2.  利用するリージョンをRekognition APIに設定します。 def detect_labels(bucket, key, imagebytes=None, max_labels=6, min_confidence=70, region=”us-east-1″): rekognition = boto3.client(“rekognition”, region)   3. […]

Read More

Amazon SageMaker ハンズオン開催報告とシナリオ公開のお知らせ

(この記事は2018年7月17日に公開したあと、7月31日にシナリオが更新されたので追記しました) みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 2018年7月3日にAmazon SageMaker ハンズオンを弊社目黒オフィスで開催しました。講師は弊社ソリューションアーキテクトの志村と鮫島がお届けさせていただきました。 その時の資料が公開され、ご自宅でもハンズオンを楽しんでいただくことができるようになりましたのでお知らせいたします。 Amazon SageMaker 紹介 & ハンズオン(2018/07/03 実施) from Amazon Web Services Japan Amazon SageMaker 紹介 & ハンズオン(2018/07/25 実施) from Amazon Web Services Japan (2018年7月31日、シナリオが新しく更新されました) 57ページからがハンズオンの資料となっています。SageMakerはその学習モデルの開発においてJupyter Notebookを使用します。このため、ハンズオンではあらかじめ用意されたJupyter Notebookの内容に従って作業を進めて行く形態をとっています。中身はDeep Learningですので、慣れてない方からすると、すべてを理解いただくのが大変な一方で、ハンズオンの完走自体は非常に簡単に行っていただけるような工夫がされています。 最後に自分のマウスで書いた手書きの文字を判別する実習を行ってハンズオンは終了となります。 またSageMakerは非常に頻繁にアップデートがかかっています。 https://aws.amazon.com/jp/blogs/news/category/artificial-intelligence/sagemaker/ 2018年6月1日東京リージョンでの一般提供開始以降に対応した主なアップデートが以下です。 トレーニングジョブのクローン作成機能 自動モデルチューニングにおけるハイパーパラメーターチューニングに対応 PyTorch と TensorFlow 1.8 のサポート AWS PrivateLink を使用した Amazon Virtual Private Cloud […]

Read More

Formula 1®、AWSクラウドによりイノベーションを加速、AWS機械学習サービスや映像サービスを導入

  Formula One Group(Formula 1、以下F1)がAWSと提携し、クラウド化プロジェクトを開始しました。 F1は、21か国で開催する国際自動車連盟 (FIA) 主催のF1世界選手権 (FIA Formula One World Championship) の推進を担っています。 F1はITインフラストラクチャの大部分をオンプレミスのデータセンターからAWSクラウドへ移行予定です。フルマネージドな機械学習サービスAmazon SageMaker、イベント駆動型サーバーレスのコンピューティングサービスAWS LambdaやAWS分析サービスなど、さまざまなAWSサービスを通じてレース戦略とデータ追跡システムを強化し、世界で5億人を超えるファンとレーシングチームに、より確実な統計と予測情報を提供します。 F1の放送システムに関しても、複数の施設に及ぶ膨大なコンテンツデータをAWSのクラウドストレージで管理し、AWS Elemental Media Servicesで映像処理を行うというクラウドによるワークフローへ移行しました。複数の国でレースを行うため、現地にIT運用センターを設営する必要がありますが、クラウドを利用することで現地に運び込む機材が少なくなるため、クラウドが提供する効率性に加えて実用性な面でも利点を得ることができます。 F1は、非常にデータドリブンな自動車レースです。各レースでは、各競技車両が実装する120個のセンサーが3 GBのデータを生成し、毎秒1,500データポイントが生成されます。 F1のデータ科学者は、過去65年間で蓄積されたレースデータを使って深度学習モデルをトレーニングします。例えば、適切なピットストップウインドウ(適正なピットのタイミング)の特定や、タイヤ交換のピットストップ作戦といった、レース中の予測を行うことが可能です。リアルタイムでデータ分析をして、ドライバーが限界点までパフォーマンスを出しているかどうかといった洞察を、視聴しているファンに提供します。Amazon Kinesisを使って、機械学習、分析に用いる動画をリアルタイムにAWSのワークフローに取り込み、旋回中の各競技車両の主要なパフォーマンスデータを高速処理し、 Amazon SageMaker を活用した機械学習の結果により、ドライバーのパフォーマンスを正確に把握することができます。 F1のイノベーションとデジタル技術のディレクター、ピート・サマラ氏(Pete Samara)は次のように述べています。「AWSは我々のニーズに対して、他のクラウド事業者に勝るスピード、スケーラビリティ、信頼性、グローバル展開、パートナーエコシステム、そして幅広いサービスを提供してくれます。Amazon SageMakerなどの機械学習サービスを活用することにより、強力な洞察と予測をリアルタイムでファンに提供することができます。 また、AWSのスケーラブルで高性能コンピューティングワークロードを、Formula 1 Motorsports部門が活用できていることも素晴らしいです。これにより、新車のデザインルールの開発時に、エアロダイナミクス(空力性能)チームが実行できるシミュレーションの数と品質が大幅に向上します。」 原文はFormula One Group Case Study https://aws.amazon.com/jp/solutions/case-studies/formula-one/ AWSでの機械学習について https://aws.amazon.com/jp/machine-learning/ AWS ビデオソリューションについて https://aws.amazon.com/jp/digital-media/aws-managed-video-services/   AWS Elemental Marketing 山下  

Read More

AWS GDPR データ処理補遺条項がサービス条件に組み込まれました

この度、AWS GDPR (一般データ保護規則) に準拠したデータ処理補遺条項 (DPA) (.pdf) がオンラインサービス条件に組み込まれたことをご報告します。これにより、AWS のすべてのお客様が、グローバルに AWS GDPR DPA を利用できるようになりました。これは、2018 年 5 月 25 日以降、AWS のサービスを使用して一般データ保護規則に従って個人データを処理する場合に自動的に適用されます。AWS GDPR DPA には、欧州連合 (EU) のデータ保護機関によって承認され、29 条作業部会として知られる EU モデル条項も含まれています。このため、EU 加盟国及び欧州経済領域 (EEA) からそれ以外の国に個人データを転送する場合に、AWS の個人データが EEA で保護されるレベルと変わらない高いレベルで保護されるため、AWS のお客様は安心してデータを転送できます。 この発表は当社、お客様、APN(Amazon Partner Network)のパートナー各社にとって重要な GDPR コンプライアンスの構成要素となっています。クラウドサービスを使用して個人データを処理するすべてのお客様は、GDPR に準拠する場合、クラウドサービスのプロバイダーとの間にデータ処理契約を結ぶ必要があります。 2017 年 4 月の早い時期に、AWS は GDPR に対応した DPA をお客様が利用できることを発表しています。このように、2018 年 5 月 25 日の施行日より 1 年以上前に、当社はお客様への […]

Read More

Amazon Elastic File System 東京リージョン 一般提供開始のお知らせと利用上の留意点のまとめ

みなさん、こんにちは。 アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 AWS Summit Tokyo 2018 の基調講演にてアナウンスいたしました、Amazon Elastic File System (EFS)が東京リージョンで今日一般提供が開始されました。 Amazon EFSは複数のEC2からマウント可能なファイルストレージサービスです。従来ご利用いただいていたブロックストレージであるAmazon Elastic Block Store (EBS)との使い分けの考慮が大事なサービスとなりますので、その特徴とご利用における検討事項を纏めます。 Amazon EFS の特徴 Amazon EFSはシンプルで、スケーラブル、伸縮自在なファイルストレージを、AWS クラウドサービスとオンプレミスの両方でご利用いただくことが可能です。 シンプル – ファイルシステムを迅速かつ容易に作成および構成できるシンプルなウェブサービスインターフェイスを備え、ファイルストレージインフラストラクチャを管理するため、複雑なデプロイ、パッチ適用、複雑なファイルシステムデプロイメントを維持する必要はありません。また課金体系もシンプルであり、保存されているデータ容量にたいしてのみ課金されます。東京リージョンでの価格は0.36USD / GBとなります。 スケーラブル – ファイルシステムの拡大に合わせて、スループットおよび IOPS が自動でスケールされます。こちらにパフォーマンスについてはまとまっています。 伸縮自在 – ファイルの追加や削除に合わせてファイルシステムのストレージ容量を直ちに自動で拡張または縮小でき、これによりスループット及びIOPSが変動します。 高可用性および高耐久性 – ファイルシステムの各オブジェクト (ディレクトリ、ファイル、リンクなど) は、複数のアベイラビリティーゾーンに冗長的に保存されるため、高いレベルの可用性と耐久性を確保できます。 オンプレミス環境からの利用 – AWS Direct Connect で Amazon VPC に接続し、オンプレミスのデータセンターサーバーにファイルシステムをマウントすることが可能です ご利用上の留意点 EFS はNFS v4 プロトコルをサポートしています。NFS […]

Read More

Lambda@Edge デザインベストプラクティス

Lambda@Edge をより活用いただくために Lambda@Edge ベストプラクティスシリーズと題したブログを連載します。この中ではいくつかのユースケースを用いて Lambda@Edge をどのように利用すればよいか、CI/CD パイプラインにどのように組み込むべきか、ビジネスニーズに応える形で組み込まれていることを担保するためにはどのように考えればよいか等について取り上げます。 記念すべき初回は Lambda@Edge のデザインベストプラクティスについて取り上げます。いくつか一般的なユースケースをもとに関数をどのタイミングで実行するのが良いのか、それはどのような観点で選択されるべきかということについてパフォーマンス及びコスト最適化の観点から推奨構成について説明していきたいと思います。

Read More

SAP HANA on AWSクイックスタートを更新し、シングルノード構成のマルチAZ配置をサポート

SAP HANA on AWSクイックスタートのメジャーアップデートをリリースできたことを嬉しく思います。今回のリリースでは、高可用性のためのシングルノード構成のマルチAZ配置をサポートしました。 マルチAZオプションでは、Amazon Web Services (AWS)上のSAP HANA環境として2つのアベイラビリティゾーン (AZ)を使います。プライマリとセカンダリの2つのSAP HANAサーバーを個別のプライベートサブネットに展開し、高可用構成を設定します。新規の仮想プライベートクラウド (VPC)を作成するか、既存のインフラストラクチャにSAP HANAサーバーを展開するかを選択できます。展開には約35分かかります。

Read More

[AWS Black Belt Online Seminar] Amazon Neptune 資料及び QA 公開

先日 (2018/7/3) 開催しました AWS Black Belt Online Seminar 「Amazon Neptune」 の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20180703 AWS Black Belt Online Seminar Amazon Neptune from Amazon Web Services Japan PDF Q. DynamoDBを利用するのはLambdaなどのMicroserviceとの親和性が高いためです。ネプチューンとLambdaの関係はどうですか ? A. HTTP RESTが使えるのでRDBMSのDB接続と比較して親和性は高いです。 Q. 暗号化を有効にした際は、性能が落ちるのでしょうか。落ちる場合は、どの程度落ちるかの指標等はありますか A. 格納データの暗号化について、特筆すべきオーバーヘッドはありません。 Q. オンデマンドインスタンス料金はRI適用は可能でしょうか。 A. いいえ、現在RIは使用できません。 以上です。 直近で以下の無料オンラインセミナーを予定しています。各オンラインセミナーの詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております! AWS Black Belt Online Seminar AWSで実現するウェブサイトホスティング 2018 年 7 月 10 日 | 12:00 […]

Read More

Amazon Linux 2 一般公開開始 と オンプレミス環境での実行について 

みなさんこんにちわ。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。   2017年12月にご案内したAmazon Linux 2 の正式版が一般公開開始されましたのでお知らせいたします。また日本語版FAQも併せて更新されています。Amazon Linux 2 がAmazon Linux と異なる主な特徴は以下です。 Long Term Support (LTS) の提供 コアに含まれるパッケージに対し、セキュリティ更新とバグ修正を5年間提供 ユーザー空間のアプリケーションバイナリインターフェイス (ABI) とアプリケーションプログラミングインターフェイス (API) の互換性を 5 年間維持 LTSの提供は2017 年 12 月 13 日と 2018 年 4 月 9 日にリリースされたLTS Candidate 版には適用されないのでご注意ください。 オンプレミス環境のサポート VMWare、KVM、VirtualBox (Oracle VM)、Microsoft Hyper-V の4つの仮想プラットフォームをサポートしており、最小で512MBのメモリ環境で動作します。それぞれ以下からイメージをダウンロードできます。 VMWare KVM Oracle VirtualBox Microsoft Hyper-V その他、詳しい情報はこちらにまとまっていますので是非ご確認ください。従来のAmazon Linux […]

Read More

AWS 責任共有モデルと GDPR

EU の一般データ保護規則 (GDPR) には、データプロセッサー(取扱者)とデータコントローラー(管理者)の役割が記述されており、一部のお客様や APN(Amazon Partner Network)のパートナー各社から、こうしたGDPR上の役割が、AWS 責任共有モデルにどのような影響を与えるかといった質問をいただいています。今回は、GDPR の観点から、私たちとお客様にとっての責任共有について説明したいと思います。 AWS 責任共有モデルは GDPR によってどのように変わりますか? という質問への簡易な回答は「変わりません」ということになります。AWS は、お客様に提供するクラウド環境とサービスをサポートする基盤となるインフラストラクチャを保護する責任を負います。一方、データコントローラーまたはデータプロセッサーとして行動するお客様と APN パートナーは、クラウドに入れた個人データに責任を負います。責任共有モデルには、AWS とお客様、APN パートナーの様々な責任が示され、同じ分類の責任が GDPR の下で適用されます。 データプロセッサーとしての AWS の責任 GDPR によって、データコントローラーおよびデータプロセッサーに関する明確な規則と責任が導入されます。AWS のお客様が当社のサービスを使用して個人データを処理するとき、データコントローラーは通常 AWS のお客様 (および場合によっては AWS のお客様の顧客) です。また、あらゆるケースで、AWS は常にこのアクティビティに関してデータプロセッサーとなります。なぜなら、お客様は AWS のサービス管理との相互作用を通じてデータの処理を指示しており、AWS はお客様の指示を実行しているにすぎないからです。データプロセッサーとして、AWS は、当社のすべてのサービスを実行するグローバルなインフラストラクチャの保護に対して責任を負います。AWS を使用する管理者は、エンドユーザーのコンテンツと個人データを処理するためのセキュリティ構成の管理を含めて、インフラストラクチャの保護は当社の最優先事項であり、セキュリティ上の統制を検証するためにサードパーティーの監査に多額の出資をしています。そこで明らかになった問題があれば、AWS Artifact を通じてお客様にお知らせすることになります。当社の ISO 27018 レポートはよい例であり、特に個人データの保護に重点を置いてセキュリティ管理をテストしています。 マネージドサービスに対する AWS の責任は大きくなっています。マネージドサービスには、Amazon DynamoDB、Amazon RDS、Amazon Redshift、Amazon Elastic MapReduce、Amazon WorkSpaces 等があります。ゲストオペレーティングシステム (OS) やデータベースのパッチ適用、ファイアウォール構成、障害回復等の基本的なセキュリティタスクは AWS […]

Read More