Amazon Web Services ブログ

レコメンドは機械学習 (ML) の中でも最も一般的なアプリケーションのひとつです。このブログ記事では、因数分解機に基づいた動画レコメンドモデルを構築する方法を紹介します。これは組み込みアルゴリズムのひとつで、Amazon SageMaker の中でもよく使われている MovieLens データセットです。 因数分解機について 因数分解機 (Factorization Machines, FM) は、2010 年に導入された教師あり機械学習技術です ( 研究論文、PDF ) 。FM は、行列因数分解を使うと問題次元数の削減が可能なことから名付けられました。。 FM は分類や回帰に使用でき、線形回帰などの従来のアルゴリズムよりも大規模な疎データセットにおいて、計算効率がより大幅に向上できます。そのため、FM がレコメンドに広く使用されているのです。実際のレコメンドの数は非常に少ないものの ( ユーザーは利用可能なアイテム全てを評価しません )、ユーザー数とアイテム数はとても多いのが普通です。 以下に簡単な例を示します。密なユーザー行列 ( 次元 4×2 ) と密なアイテム行列 (2×4) に、疎な評価行列 ( 次元 4×4) を組み込む場合です。ご覧のように、因数の数 (2) が評価行列 (4) の列数よりも小さいです。さらに、この乗算によって、評価行列の全てのブランク値を埋めることができます。これを利用して、新しいアイテムをどのユーザーにもレコメンドすることができるのです。 出典 : data-artisans.com この記事では、FM を使用して、ムービーレコメンダーを構築します。Companion Jupyter ノートブックは Amazon S3 または Github からダウンロードできます。 MovieLens データセット […]

社会は自動運転技術を搭載した車両から数多くの恩恵を受けます。トヨタ・リサーチ・インスティテュート (TRI) が最優先事項の一つに掲げているのが、進化した最新の人工知能 (AI) を活用してより安全で、利用しやすく、環境にも優しい車両を生産することです。TRI はその目標達成に役立てるためアマゾン ウェブ サービス (AWS) の深層学習に着目しました。 TRI は、Amazon EC2 P3 インスタンスを利用することで、以前使用していた P2 インスタンスと比較して訓練時間が 4 倍も速くなり、訓練時間が数日から数時間に短縮されました。これにより、モデル車を素早く最適化した上で短期間でトレーニングを再度行い、テストカーやシミュレーション環境に展開してさらにテストすることができます。また、AWS の「pay-as-you-go」モデルと組み合わせて、P2 インスタンスに対して P3 インスタンスのパフォーマンスを大幅に向上させたことで、TRI の運用コストを削減しました。 自動運転のための深層学習モデルの作成 TRI は、その自動運転技術のため単一技術のスタックを開発し、2 つのモードを用意しました。保護者 (Guardian) モードと運転手 (Chauffeur) モードです。保護者モードでは、ドライバーは常に車輪と路面状態に気を配る必要がありますが、運転中の社内外の環境を絶えず監視することで衝突危機を認識した時に必要なタイミングで介入を行います。運転手モードも同じ技術を使用しますが、車両は常に制御されており、厳密に乗客を乗せられる乗用車です。 自律型車両を開発および展開するには、膨大な量のデータ、高性能コンピューティング能力、高度な深層学習技術を結集、格納、管理する能力と、車両内でリアルタイムに処理する能力が求められます。 TRI は PyTorch の深層学習フレームワークを利用することで深層学習コンピュータビジョンモデルを作成し、両運転モードで自動的に監視および制御を行えるようにしました。TRI には、深層学習モデルで使用するデータを収集するため、カメラ、レーダー、LIDAR (3D 空間でオブジェクト表現を生成するための制御およびナビゲーションに使用される技術) などのさまざまなタイプのデータ収集センサーが装備されたテストカーを数多く保有しています。テストカーは、様々な運航設計領域 (Operational Design Domains、ODD) を駆け抜け、車両 1 台につき 1 日合計テラバイト単位のデータを収集して記録します。このデータは、分析、機械学習の再学習モデルやシミュレーションのため、素早く検索、準備および利用可能な状態にする必要があります。 TRI は、正確なトレーニングモデルには、数兆マイルの試験走行が必要だと考えています。1 億台以上のトヨタ車が路上を走行している今日、ドライバーは様々な運転状況を経験します。車両のテストを補完するため、TRI はシミュレーションを用いてさまざまな希少条件やシナリオをモデル化します。シミュレーションでは、暴風雨、吹雪、日中・夜間の異なる時間帯のギラツキや、さまざまな路面状態や周囲の状況といった厳しい状況で、機会学習モデルがどのように反応するかをテストするフォトリアルデータストリームを生成します。 TRI は、新しいテストデータが利用できるようになると、研究アイデアを間髪入れずに模索し、モデルを素早くトレーニングして、更新版をテストカーに搭載し、テストを再実行できるようにします。 […]

本日、Performance Insights が一般利用可能になったことを発表します。Performance Insights を使用すると、パフォーマンス問題が発生したときのボトルネックを簡単に特定し、対処方法を見つけることができます。

一般利用可能に合わせて、Performance Insights は次の機能を導入します。

* 7日間のパフォーマンスデータ履歴
* パフォーマンスデータの長期保持オプション
* SDKとAPIの一般公開

みなさん、こんにちわ。 アマゾン ウェブ サービス ジャパン株式会社、プロダクトマーケティング エバンジェリストの亀田です。   今日は皆さんが普段ご利用のAWSアカウントに対する不正アクセスを防ぐベストプラクティスと言われる運用におけるガイドラインや設定項目の推奨等についてご紹介します。 AWS Identity and Access Management (IAM) は、AWS リソースへのアクセスを安全に制御するためのウェブサービスであり、AWSマネージメントコンソールへのログインに用いるユーザーやAWSリソースへのアクセスに用いるAPIアクセスのキーの管理等に使用されます。マネージメントコンソールへのログインを行う管理用ユーザーを発行する機能が含まれるため、AWSをご利用中のすべての皆さんはAWS IAMを利用していることとなります。 管理者のパスワードが漏洩した場合、外部の第三者がAWSマネージメントコンソールへのログインが可能となるため、この保護は運用上非常に重要な課題となります。 AWSでは「AWS IAMのベストプラクティス」として運用上留意するべきことや、設定のガイドラインをご提供しています。非常に大事な内容が詰まっていますので是非一度目を通してみてください。その中でも特に大事なことについて以下に抜き出してまとめてみます。 ルートユーザーを普段利用しない ルートユーザーとは、AWSアカウントを開設した際に一番最初に作成される管理者ユーザーとなります。ルートユーザーはすべてのAWSリソースへのアクセス権を持ち、非常に強力な権限を保持しています。このため、ルートユーザーのパスワード漏洩を防ぐために、普段の運用や開発業務ではなるべくルートユーザーを用いず、限定された権限を保有するIAMユーザーを新たに発行し普段の業務に用いることを検討してください。そしてその際に、付与される権限は、あとで変更可能であることを踏まえて、必要最低限にしておくことも大事なポイントです。 MFAの有効化 追加セキュリティとして、特権のある IAM ユーザー (機密性の高リソースまたは API オペレーションにアクセスが許されているユーザー) に対して多要素認証 (MFA) を有効化することができます。MFA により、ユーザーは独自の認証コード (ワンタイムパスワード、または OTP) を作成するデバイスを使用することができます。その場合、ユーザーは自身の通常の認証情報 (ユーザーネームやパスワードなど) および OTP を提供する必要があります。MFA デバイスは、ハードウェアの特定部品のほか、またはスマートフォンで作動するアプリのような仮想デバイスでも可能です。 こちらに設定方法などがまとまっています。 アクセスキーの発行を最小にとどめる AWS にプログラムでアクセスするときには、アクセスキーを使用して、自身の ID とアプリケーションの ID を検証します。アクセスキーは、アクセスキー ID とシークレットアクセスキーとで構成されます。IAMユーザーでは、マネージメントコンソールへのログイン用パスワードの他にシークレットキーと言われる秘密鍵を付与することができます。これらは、AWS サービス のAPI への安全な REST […]

AWS Service Update 動画が更新されましたのでお知らせします。今回は一般利用可能となったサービスを含む、約 14 の主要なサービスアップデート情報をお届けしています。また、一般利用可能となりました Amazon Neptune や Amazon Elastic Container Service for Kubernetes (Amazon EKS) の詳細を知りたい方は 7 月のオンラインセミナーもご活用ください。

この度、Amazon Cloud Directory がマネージドスキーマを使用して、アプリケーションを迅速に開発できるようになりました。マネージドスキーマを使うと、ディレクトリを作成して、それからオブジェクトの作成と検索をさらにすばやく開始できます。今回の立ち上げでは、QuickStartSchema という Cloud Directory マネージドスキーマが利用可能となっています。豊富な種類の階層データモデルを構築し、Amazon Cloud Directory の　Typed Links などの構造を使用して、オブジェクト間の関係性を確立することができます。ひいては、階層をトラバースすることで、データ内の任意の情報をクエリすることができます。 Amazon Cloud Directoryでは、動的ファセットという新しいスタイルのファセットも導入されています。これにより、ファセット内の属性を定義しなくても、アプリケーションを迅速にプロトタイプし、開始できるようになりました。アプリケーションのさらなる開発に際して、新しい属性を追加したり、属性に格納されている値をサポートされている他のデータ型へと後日変更したりすることが可能です。 Amazon Cloud Directory では、バリアントという新しいデータ型も導入されています。バリアントデータ型として定義された属性の値を格納するには、Amazon Cloud Directory でサポートされているプリミティブデータ型のいずれかの値 (例えば、文字列またはバイナリ) を利用します。その後、属性の値を別のデータ型に変更することもできます。データ検証を強制されることはありません。 Amazon Cloud Directory は、QuickStartSchema の 1 つのファセットを動的スタイルとして定義しました。これにより、アプリケーションに必要な任意の数の属性を作成することが可能となります。このファセットを使用して任意の属性を作成すると、バリアントデータ型として作成されます。 のブログ記事では、学校のスポーツチームの生徒を追跡するアプリケーションを作成する方法を説明します。Amazon Cloud Directory　と新しい　QuickStartSchema　を使用します。生徒を 1 次元、そしてスポーツチームを 2 次元で作成します。生徒とチームの情報をディレクトリに追加し、データをクエリします。 このブログ記事の例では、Java コードを使用しています。AWS SDK　に精通しており、Java ベースのコードを使って Amazon Cloud Directory のコード例を構築できるものとしましょう。この記事で示した概念を、Python　や　Ruby　など他のプログラミング言語に適用してもらって結構です。 Amazon Cloud Directory マネージドスキーマを使って、すばやい開発を行う スポーツチームのディレクトリアプリケーションを大急ぎで開発し、すぐに利用したいとします。階層をトラバースする階層データとクエリが必要です。生徒名やスポーツチーム名など、保存しているデータ型には所定の値が決まっていないため、Cloud Directory が提供するデータ型や制限を確認する作業は必要ありません静的ファセット。つまり私のニーズは、Amazon Cloud […]

みなさんとシェアしたい EC2 アップデートのバックログがあります。私たちは新しい機能やインスタンスタイプを迅速にリリースしており、追いつくべき時が来ました。ここでは、現在どこにいるのか、今後どこへ行くのかを簡単に見てみましょう… インスタンスタイプの追加 最新の EC2 インスタンスタイプのアナウンスを簡単に要約します。 コンピューティング最適化 – コンピューティング最適化 C5d インスタンスは、C4 インスタンスに対して 25% ～ 50% パフォーマンスが改善されています。5 つのリージョンで利用可能であり、最大で 72 の vCPU、144 GiB のメモリ、1.8 TB のローカル NVMe ストレージを提供します。 汎用 – また、汎用 M5d インスタンスも 5 つのリージョンで利用可能になりました。最大で 96 の vCPU、384 GiB のメモリ、3.6 TB のローカル NVMe ストレージを提供します。 ベアメタル – i3.metal インスタンスが数週間前に一般利用可能になりました。Elastic Block Store (EBS)、Elastic Load Balancing、Virtual Private Clouds などの […]

最新の Amazon Linux AMI を取得するシンプルな方法が必要ですか？ AWS Systems Manager Parameter Store はすでに最新の Windows AMI を取得できます。今回、最新の Linux AMI も取得できるよう機能が拡張されました。各 Amazon Linux AMI は、固有の 公開パラメータストア名前空間 を持ちます。AMIの名前空間をクエリすることで、指定したリージョンのイメージIDを得ることができます。

すべてのAWSサービスと同様に、Amazon RDS のロードマップは、主にお客様からのフィードバックや製品改善リクエストに基づいています。Oracle RDS for Oracle Database でデータベースワークロードを実行しているエンタープライズの複数のお客様から、私たちはフィードバックを受けました。そのフィードバックとは、物理コアに対するRAMの比率を Amazon RDS for Oracle より大幅に高くすることで、Oracleのワークロードを実行しているエンタープライズのお客様は、ソフトウェアライセンスの価値を最大化しているというものでした。

この記事の目的は、Amazon RDS 上の Oracle Database のための2つの新機能を使用することで、仮想CPU (vCPU) の数を減らし、ライセンスコストを最適化する方法を説明することです。

日本時間 2018年6月13日 03:00 インメモリデータストアであるRedisのセキュリティアドバイザリが公開されました。Amazon ElastiCache によって管理される Redis互換のノードは、単一のエンジンが稼働する、お客様の VPC で独立したお客様専用のノードです。したがって、VPC の設定で明示的に許可されていない限りは、他のお客様がそれらのノードに対しアクセスすることはできません。 Amazon ElastiCache においても、アップデートを含む新しい Redis バージョンがリリースされました。2018年6月10日以降に起動された ElastiCache クラスターには、影響はありません。既存の ElastiCache クラスターをお持ちのお客様は、メンテナンスウィンドウにて新しいバージョンへのアップデートが予定され、順次実施されます。このアップデ―トは今回の問題に完全に対処できるよう設計されており、ElastiCache はデフォルトで意図しない外部からのアクセスを防ぎます。このアップデートに関して、お客様によるアクションは必要ありません。 本件に関してセキュリティの懸念がある場合は、http://antirez.com/news/119 をご覧ください。また、Amazon ElastiCache クラスターへのネットワークアクセスをセキュアに保つ方法は、”Amazon VPCs and ElastiCache Security”[1] をご覧ください。 [1]: https://docs.aws.amazon.com/AmazonElastiCache/latest/mem-ug/VPCs.html   上記はAWS Japan Security Awareness Teamによって翻訳されました。原文は以下です： https://aws.amazon.com/jp/security/security-bulletins/AWS-2018-016/