Amazon Web Services ブログ

Amazon DynamoDB テーブルのストレージをモニタリングするサーバーレスソリューション

Amazon DynamoDB をアプリケーションの NoSQL データベースサービスとして使用する場合に、DynamoDB テーブルが使用するストレージ使用量を追跡したいとしましょう。DynamoDB は、サービスメトリックを Amazon CloudWatch に公開します。CloudWatch は、これらのメトリックをモニタリングおよび分析し、アラームを設定し、さらに AWS リソースの変更に対して自動的に反応します。現在のところ、DynamoDB は、ThrottledRequests、ConsumedWriteCapacityUnits、および ConsumedReadCapacityUnits を含む、多くの有用なメトリックを CloudWatch に送信します。 DynamoDB テーブルのストレージ使用状況を分析し、DynamoDB ワークロードが使用するストレージ使用量の履歴を把握し、ストレージコストを管理することは重要です。例えば、Time to Live (TTL) を使用して、不要なデータや陳腐化したデータを期限切れにしたいとします。そのような場合、ストリームを使用してそのデータを Amazon S3 または Amazon Glacier にアーカイブすることができるのです。この記事では、DynamoDB テーブルのストレージ使用状況をモニタリングする方法について解説します。 ソリューションの概要 DynamoDB は、6 時間ごとにテーブルのストレージ使用状況を更新します。この情報は、DynamoDB DescribeTable API を使用することで取得できます。テーブルのサイズを決定したら、カスタム CloudWatch メトリックを作成して、データを CloudWatch にプッシュできます。このソリューションでは、AWS CloudFormation を使用して、DynamoDB テーブルのストレージ使用状況をモニタリングするワンクリックデプロイメントアーキテクチャを作成する方法を解説します。これはインフラストラクチャをコードモデルとして実装するために必要です。 次の Python スクリプトと AWS CloudFormation テンプレートは、この GitHub リポジトリで入手できます。プロセスの仕組みは、上の図のようになります。(このソリューションは、DynamoDB ワークロードのあるすべての AWS リージョンでデプロイし、DynamoDB テーブルのストレージ使用量を継続してモニタリングすることを忘れないでください。) Amazon CloudWatch Events は、AWS Lambda 関数をスケジュールに従って実行します。 Lambda 関数は、DescribeTable […]

Read More

日本語の AWS SOC1 レポートの提供

日本のお客様から問い合わせの多かった日本語での SOC1 レポートの提供ですが、2018 年 5 月 23 日より日本語の AWS SOC1 レポートの翻訳文書(以下、日本語 AWS SOC1 レポート)を AWS Artifact 経由で提供を開始しました。今回提供開始の日本語AWS SOC1レポートの対象期間は2017年4月1日から2017年9月30日のものとなります。AWS は最新の SOC1 レポートに合わせてのタイムリーな日本語文書の提供に向けて継続して取り組んでいく予定です。また、SOC レポートに関連してお客様から問い合わせの多い質問と回答を下記に記載しています。各 SOC レポートの詳細、および最新の情報に関しては、以下のサイトをご参照ください。 https://aws.amazon.com/jp/compliance/soc-faqs/   ・SOC1レポートの主目的 SOC1は財務報告に係る内部統制に関連する可能性がある AWS の統制環境について、顧客に情報を提供すること、および財務報告に係る内部統制(ICOFR)の有効性に関する評価および意見について、顧客とその監査人に情報を提供することを目的としています。   ・SOC1 レポートの内容 AWS の統制環境に関する説明、および AWS が定義した統制と目標の外部監査に関する説明   ・各 SOC レポートの入手方法 AWS SOC 1 レポート、日本語AWS SOC1レポート、および AWS SOC2 レポートは、お客様が AWS Artifact (AWS のコンプライアンスレポートをオンデマンドで入手するためのセルフサービスポータル)を 経由して直接入手できます。   […]

Read More

FFmpeg から クラウド上の AWS Media Services への RTMP を使った接続

全 5 回の Blog 連載のうちの 4 回目の連載である今回は、様々なエンコーダーから AWS Media Services への接続および設定方法を学びます。AWS Media Services はカスタマーに対して、高いスケーラビリティを持つ over-the-top (OTT) ビデオ体験を提供することを可能にします。ライブチャンネルもしくはイベントを配信するには、カメラなどの機器からのビデオ信号をエンコードし、追加的な処理、パッケージング、配信のために、クラウドに送信します。 FFMPEG と RTMP および AWS MEDIA SERVICES を利用したチャンネルの作成 こちらの例では、RTMP (Real-Time Messaging Protocol) 伝送用エンコーダーとして FFmpeg を用いたストリームをセットアップし、クラウド上での動画処理およびパッケージングのための AWS Media Services の設定方法を、ステップ・バイ・ステップの手順でお見せします。 FFmpeg は、オーディオとビデオを記録、変換、およびストリームする完全なクロスプラットフォームのソフトウェアソリューションです。 ワークフロー例のダウンロード こちらの例では、下記の方法を学びます。 ・RTMP を使った伝送用エンコーダーとして FFmpeg をセットアップ ・伝送ストリームを AWS Elemental MediaLive で受けて、adaptive bitrate (ABR) のストリームにエンコードする設定方法 ・AWS Elemental MediaLive の出力を AWS Elemental […]

Read More

Amazon RDSデータベースプレビュー環境が ご利用可能になりました

Amazon RDSの利便性と柔軟性を備えたPostgreSQLデータベースエンジンのベータ版、リリース候補、およびearly productionバージョンを簡単にテストできる、Amazon RDSデータベースプレビュー環境が利用可能になりました。 PostgreSQLコミュニティから新しいバージョンがリリースされてから数日または数週間以内に、PostgreSQLの新しい機能をテストすることができるようになりました。現在のところ、Amazon RDSデータベースプレビュー環境では、PostgreSQLの次のメジャーバージョンの開発、ベータ、およびリリースの候補バージョンが提供されています。Amazon RDSデータベースプレビュー環境のデータベースインスタンスは全ての機能を有し、データベースのプレビューバージョンを自動でインストールし、プロビジョニング、および管理をお客様側で行って頂く必要がなく、新しいデータベースエンジンをテストできます。Amazon RDSデータベースプレビュー環境のデータベースインスタンスの価格は、米国東部(オハイオ)リージョンで作成されたRDSインスタンスと同じ価格です。 本番環境クラスのセキュリティ、パフォーマンス、信頼性、管理性、および可用性を確保するために、Amazon RDSは多くのテストを行った後で初めて新しいデータベースバージョンをリリースしてきました。Amazon RDSデータベースプレビュー環境は、新バージョンのデータベースエンジンがAmazon RDS環境への統合とテストが完了するのを待たずに、新しいPostgreSQLデータベースエンジンの信頼性、機能性、およびパフォーマンスの向上をすぐにお客様がテスト出来る環境を提供することで、お客様のリリースサイクルを数週間短縮することが可能になります。PostgreSQLのプレビュー版は、PostgreSQLコミュニティによってGA版がリリースされ、その後Amazon RDSでサポートされるまでAmazon RDSデータベースプレビュー環境で使用できます。 Amazon RDSデータベースプレビュー環境は、最新世代のインスタンスクラス(現在のところT2、M4、およびR4)でSingle-AZインスタンスとMulti-AZインスタンスの両方をサポートし、KMSキーを使用した透過的暗号化もサポートしています。Amazon RDSデータベースプレビュー環境データベースインスタンスは、最大60日間保持された後、自動的に削除されます。Amazon RDSデータベースのスナップショットは、プレビュー環境で作成し、データベースインスタンスの作成や復元に使用できますが、プレビュー環境内でコピーしたり、プレビュー環境外にコピーしたりすることはできません。代わりに、PostgreSQL標準のダンプとロード機能を使用して、データベースのロードとアンロードを行うことができます。 既存のAmazon RDSプロダクション環境のSLAはAmazon RDSデータベースプレビュー環境のインスタンスには適用されません。また、プレビュー環境で作成されたインスタンスについては、Amazon Customer Supportでサポートチケットを開くことはできません。私たちは、Amazon RDSデータベースプレビュー環境向けのフォーラムを作成しました。Amazon RDSチームは、PostgreSQLデータベースの候補バージョンとAmazon RDSデータベースプレビュー環境の両方に関する情報などをこちらで共有致します。 Amazon RDSデータベースプレビュー環境は今日からご利用可能です。詳細については、http://aws.amazon.com/rds/databasepreviewを参照してください。   翻訳は星野が担当しました。原文はこちら

Read More

[AWS Black Belt Online Seminar] 失敗例を成功に変える AWS アンチパターン 資料及び QA 公開

こんにちは、マーケティングの鬼形です。 本日 (2018/5/22) 開催しました AWS Black Belt Online Seminar「失敗例を成功に変える AWS アンチパターン」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。

Read More

FFmpeg から クラウド上の AWS Media Services への RTP を使った接続

全 5 回の Blog 連載のうちの 3 回目の連載である今回は、様々なエンコーダーから AWS Media Services への接続および設定方法を学びます。AWS Media Services はカスタマーに対して、高いスケーラビリティを持つ over-the-top (OTT) ビデオ体験を提供することを可能にします。ライブチャンネルもしくはイベントを配信するには、カメラなどの機器からのビデオ信号をエンコードし、追加的な処理、パッケージング、配信のために、クラウドに送信します。 FFMPEG と RTP および AWS MEDIA SERVICES を利用したチャンネルの作成 こちらの例では、RTP (Real-Time Transport Protocol) 伝送用エンコーダーとして FFmpeg を用いたストリームをセットアップし、クラウド上での動画処理およびパッケージングのための AWS Media Services の設定方法を、ステップ・バイ・ステップの手順でお見せします。 FFmpeg は、オーディオとビデオを記録、変換、およびストリームする完全なクロスプラットフォームのソフトウェアソリューションです。 ワークフロー例のダウンロード こちらの例では、下記の方法を学びます。 RTP を使った伝送用エンコーダーとして FFmpeg をセットアップ 伝送ストリームを AWS Elemental MediaLive で受けて、adaptive bitrate (ABR) のストリームにエンコードする設定方法 AWS Elemental MediaLive の出力を AWS […]

Read More

Amazon SageMaker を使用して、より迅速に大規模な主成分分析法を実行できます

このブログ記事では、Amazon SageMaker、Spark ML、Scikit-Learn を使用した、高ディメンジョンセットでの PCA に関するパフォーマンス比較を実施します。SageMaker は一貫してより高速な計算性能を示しました。速度改善内容を確認するために、下図 (1) および (2) を参照してください。 主成分分析法 主成分分析 (PCA) とは、依然として、可能な限りより多くの情報を保持しながら、データセット内部のディメンジョナリティ (例: 機能の個数など) の低減を目的とした監督機能解除済み学習アルゴリズムです。PCA は、各列は、それ以降はお互いが独立性を有する状況となるような、1 組のデータ行列を 1 個の直交空間に線形変換するものであり、個別のカラムが対象データ内で 1 個の既知の割合を占めることができるものです。換言すれば、個別のコンポーネントが互いに無相関性のような、元の特徴の複合体である、コンポーネントと呼ばれる 1 つの新しいセットの機能を発現します。更に、これらは制限が付加されることで、第 1 コンポーネントが対象データ内で可能な限り巨大な可変率を占め、第 2 コンポーネントが第 2 番目に最大であり、そして以下も同様となることとなります。 より包括的な説明については、「https://docs.aws.amazon.com/sagemaker/latest/dg/how-pca-works.html」を参照してください。 PCA は、Exploratory Data Analysis (EDA) 用の 1 個のツールおよび 1 個の機械学習用アルゴリズム (ML) の両面でも強力です。EDA に関して、PCA はディメンジョナリティ低減および 1 件のデータ問題についての多重共線性 (マルチコ) 低減に最適です。ML 方法論の 1 つとして、異常検出 (例: […]

Read More

Amazon Athena を使用して高度な分析を行い、Amazon DynamoDB データの視覚化を行う

Amazon DynamoDB サービスでは、1 秒あたり数十億件のアイテムと数百万回のリクエストの中から膨大な分析値を取得することができます。ただし、その分析値を取得するには、データをエクスポートする必要があります。DynamoDB テーブルから分析プラットフォームにデータをコピーすることで、情報を豊富に抽出することができます。これを行うには、優れたアーキテクチャのビッグデータパイプラインが、トランザクションプロセスを分析から切り離すのに大変便利です。このブログ記事では、DynamoDB テーブルから Amazon S3 にデータを移行するビッグデータパイプラインを構築する方法を説明します。これは、完全管理型の Presto クエリサービスである Amazon Athena を使用して、高度な分析が実行でき、Amazon QuickSight を用いて、視覚化およびアドホック分析を構築することも可能です。 デカップリングしたビッグデータアプリケーションにはたいてい、ストレージとコンピューティングを分離する共通のパイプラインがあり、そのため、新しい処理技術が生まれた際にはそれを活用することができます。デカップリングにより、データの耐久性に影響を与えることなく、複数の分析エンジン用の計算リソースを柔軟にプロビジョニングできるようになります。また、パイプラインを設計して、ストレージと処理の段階を繰り返し、下流のアプリケーションがすばやく使用できる形式でデータを整形することも可能です。 ビッグデータパイプラインの設計には、3 つの大きな特性が作用しています。 パイプライン全体の遅延 – データから正しい情報を得るまでにどれくらいの時間を要するでしょうか? 数千分の 1 秒、数分、あるいは数日? データのスループット – どれくらいのデータを取り込んで処理する必要がありますか? 数ギガバイト、数テラバイト、あるいは数ペタバイト? コスト – アプリケーションのための目標予算はいくらですか? AWS の最も費用対効果の高いオプションが、普通、適切な選択と言えるでしょう。 ビッグデータパイプラインを設計する際に考慮すべきことは他にも、データ構造、アクセスパターン、データの温度、可用性と耐久性、そしてサービスが完全に管理されているかどうかなどがあります。これらの特性に基づいてジョブに適切なツールを使用することは、優れたアーキテクチャを持つビッグデータパイプラインにとって重要です。 階層化されているビッグデータパイプライン 階層化されたビッグデータパイプラインを解説する前に、このソリューションで利用する主なサービスと機能を見てみましょう。 パイプラインでの DynamoDB の機能 DynamoDB で用いる主要なコンポーネントは、テーブル、項目、および属性です。テーブルは項目の集合であり、各項目は属性の集合です。DynamoDB はプライマリキーを使って、テーブルの各項目を識別します。セカンダリインデックスを使用すると、クエリの柔軟性が向上します。詳細については、「Amazon DynamoDB の仕組み」を参照してください。これは「DynamoDB 開発者ガイド」の中にあります。 DynamoDB TTL (Time To Live) を使用すれば、ストレージコストを削減する手段として、すでに関連性がなくなった項目を自動的に削除することができます。このブログ記事では、テーブルの TTL を有効にし、ttl 属性を使用して削除のタイムスタンプを設定します。TTL の詳細については、「Time […]

Read More

AWS Summit Tokyo 2018 メディア/エンターテイメント関連セッションのみどころ

こんにちは。ソリューションアーキテクトの千葉です。 いよいよAWS Summit Tokyo 2018まで1週間にせまってきました!皆様セッションのお申込みは完了していますか? 登録サイトのオープン後にもセッションが随時追加されていっていますので、是非もう一度ご興味のあるセッションがないかチェックしてみて下さい! 本ポストでは、ゲーム、Web、放送系などのメディア/エンターテイメント業界のお客様事例セッションのみどころをご紹介します。B2Cならではの大規模なユーザートラフィックをさばいている事例や、多数のAWSアカウントを効率的に運用している事例など、他業種のお客様にも参考にしていただけるセッションが多数あります。ぜひご確認下さい!   【ディー・エヌ・エー様ご登壇事例】DeNA オートモーティブにおける AWS 活用事例:5月30日(水) 14:00-14:40 オートモーティブ x IoTならではの、大規模・高頻度なトラフィックを支える技術要素を知ることができます。また、デバイス証明書の扱いなど、IoTを実際にサービスとして利用する上で欠かすことのできないセキュリティ実装を知ることができます。オートモーティブ、IoT、それぞれの文脈に関心のある方に必見のセッションです。   【任天堂様ご登壇事例】Nintendo Switch (TM) 向けプッシュ通知システム「NPNS」:5月30日(水) 16:00-16:40 ゲームでもリアルタイム性向上のために常時型の接続が増えていますが、本セッションの内容である大規模常時接続をどのように制御・管理しているかのノウハウはオンラインゲームに関わっている方々すべてにご参考いただける内容です。   【ヤフー様ご登壇事例】AWS を活用した Yahoo! MOBILE INSIGHT の構築事例:5月31日(木) 11:00-11:40 大規模なオンプレ環境を持つYahoo!Japan様がなぜAWSを利用したのか、オンプレミス環境との使い分けの考え方や、急激なトラフィック増加に耐えるためにどのような工夫をされているのか、といった知見をご紹介いただけるセッションです。大規模なトラフィックをさばかなければいけないお客様はぜひご参加ください。   【サイバーエージェント様ご登壇事例】「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み:5月31日(木) 12:00-12:40 多くのAWSアカウントを抱えた時に必ず直面するのが「どうやって問題が発生しないように管理するか」と「どうやって開発速度を落とさないように制約を減らすか」とのバランスです。本セッションでは数100のアカウントを持つサイバーエージェント様に自由とスピードを保ちつつ、セキュリティも高めるためのアプローチをご紹介いただきます。特に複数AWSアカウントを管理するエンジニアに聞いていただきたいセッションです。   2020 に向けて、スポーツイベントにおける AWS 活用事例:5月31日(木) 14:00-14:40 スポーツイベントとAWSはなぜ親和性が高いのかを、国内外の事例を交えてご紹介します。国内からはJスポーツ様からクラウド編集の事例を、Jリーグ様からメディアセンターの事例をご紹介いただきます。また、AWSソリューションアーキテクトからは海外事例としてNFL様やMLB様のAI/データ活用の事例、FOXスポーツ様のライブ配信事例、Amazon Prime VideoのNFLサースデイナイトフットボール配信事例についてご紹介します。   【朝日新聞社様ご登壇事例】機械学習を用いた編集業務の生産性向上への取り組み:5月31日(木) 16:00-16:40 創業139年の老舗新聞社が、機械学習という最先端の技術パラダイムを積極的に活用し、過去にとらわれない新たな新聞社のあり方に挑戦しています。SageMakerやEMRを利用することで実現したスケーラブルな機械学習/分析環境や、Lambda, API Gateway, DynamoDBを利用してスピーディにサービス化した事例をご紹介いただきます。ビジネス課題を技術課題に落とし込み、スピード感高く新たなサービスの開発サイクルを回している実例は、新聞業界のみならず、多くの企業にとって刺激になる内容だと思います。   AWS Media […]

Read More