Amazon S3 Storage Lens の紹介 — オブジェクトストレージに組織全体にわたる可視性を

クラウドで開始する場合、お客様のストレージ要件は少数の S3 バケットで構成されますが、バケットが拡大し、アプリケーションの移行が増えて、クラウドのパワーを実現されるようになると、複雑性が上がることがあります。お客様が 1 社で数十、数百のアカウントを持ち、多数の AWS リージョンにまたがって複数の S3 バケットを持っていることがあります。このような環境を管理しているお客様からは、組織全体でストレージがどのように使用されているかを把握し、コストを最適化し、セキュリティ体制を向上させることが難しいとの声が寄せられています。

S3 チームは 14 年以上にわたりお客様のストレージの最適化を支援してきた経験を活用して、Amazon S3 Storage Lens という新機能を構築しました。これは、ポイントインタイムメトリクス、トレンドライン、アクショナブルなレコメンデーションによって、組織全体でオブジェクトストレージを可視化できる初のクラウドストレージ分析ソリューションです。これらすべてを組み合わせると、異常の検出、コスト効率の特定、データ保護のベストプラクティスを適用できます。

S3 Storage Lens では、29 以上にのぼる使用状況、アクティビティメトリクス、インタラクティブ型ダッシュボードを使用して、組織全体、特定のアカウント、特定のリージョン、特定のバケット、特定のプレフィックス用のデータを集約することで、ストレージを把握、分析して最適化できます。このデータはすべて、S3 マネジメントコンソールからアクセスするか、または S3 バケットの raw データとしてアクセスが可能です。

すべてのお客様にデフォルトのダッシュボードを

S3 Storage Lens には、S3 コンソールにインタラクティブ型ダッシュボードが含まれています。ダッシュボードでは、メトリクスのフィルタリングとドリルダウンを実行して、ストレージの使用状況を十分に把握できます。メトリクスはデータ保護やコスト効率などのカテゴリ別に整理されているため、関連するメトリクスを簡単に見つけられます。

使いやすくするために、すべてのお客様がデフォルトのダッシュボードを受け取ります。このダッシュボードで多くのお客様も十分かもしれませんが、変更したいのであれば、変更もできます。たとえば、別のツール (Amazon QuickSight、Amazon Athena、Amazon Redshift など) を使用して分析するために、S3 バケットにデータを毎日エクスポートするようにダッシュボードを設定したり、アップグレードしてアドバンストメトリクスとレコメンデーションを受け取ったりできます。

ダッシュボードの作成
独自のダッシュボードをゼロから作成もできます。これには、S3 コンソールに移動し、[Storage Lens] セクションの [ダッシュボード] のメニュー項目をクリックします。次に、[ダッシュボードの作成] ボタンをクリックします。

ダッシュボードに s3-lens-demo という名前をつけ、ホームリージョンを選択します。ホームリージョンとは、ダッシュボードのメトリクスデータが格納される場所です。ダッシュボードを有効にしました。つまり新しいメトリクスで毎日更新されることになります。

ダッシュボードでは、アカウント、リージョン、バケット、プレフィックスの全体にわたるストレージを分析できます。[ダッシュボードスコープ] セクションに組織内のすべてのアカウントおよびすべてのリージョンのバケットが含まれるようにしました。

S3 Storage Lens には 2 つの階層があります。無料メトリクス (Free metrics) はすべての S3 のお客様が自動的に無料で利用できるうえに、これには使用状況に関連するメトリクスが 15 種類含まれます。アドバンストメトリクスとレコメンデーション (Advanced metrics and recommendations) は追加料金がかかりますが、すべての使用状況とアクティビティメトリクス (データ保持期間は 15 か月) およびコンテキストに応じたレコメンデーションが 29 種類含まれます。このデモでは、[Advanced metrics and recommendations] を選択します。

最後に、ダッシュボードメトリクスを特定の S3 バケットに毎日エクスポートするように設定します。メトリクスを CSV 形式または Apache Parquet 形式にエクスポートして、コンソールの外部でさらに分析を進めることができます。

ダッシュボードが作成されたことを示すアラートがポップアップ表示されますが、最初のメトリクスの生成には最大 48 時間かかることがあります。

ダッシュボードの表示内容

ダッシュボードが作成されたら、データの探索を開始できます。ダッシュボード最上部で、[アカウント]、[リージョン]、[ストレージクラス]、[バケット]、[プレフィックス] の条件でフィルタリングできます。

次のセクションは、[合計ストレージ] や [オブジェクト数] などのメトリクスのスナップショットです。過去 30 日間の各メトリクスのトレンドと変化率を示すトレンドラインを確認できます。[% 変更] 列の数値は、デフォルトでは [Day/day] の変化率が表示されますが、[Week/week] または [Month/month] を選択して比較もできます。

[サマリー]、[コスト効率]、[データ保護]、[アクティビティ] のいずれかを選択して、別のメトリクスグループに切り替えができます。

ストレージの総ストレージ量やオブジェクト数など、一般的なメトリクスがいくつかあります。これらのメトリクスは、すでにS3 コンソールと Amazon CloudWatch のいくつかの場所で受け取れますが、S3 Storage Lens では、これらのメトリクスを組織全体やアカウント全体で、またはこれまで不可能だったプレフィックスレベルで受け取れます。

S3 機能の使用率に関連するメトリクスなど、ユーザーが想定していないメトリクスがいくつかあります。たとえば、暗号化を使用しているオブジェクトの割合や、最新バージョンではないオブジェクトの数を分割できます。これらのメトリクスは、ストレージがどのように構成されているかを把握し、食い違いを特定し、ドリルダウンして詳細を確認するのに役立ちます。

ダッシュボードには、メトリクスとともにコンテキストに応じたレコメンデーションが表示され、コスト効率を向上させる方法やデータ保護のベストプラクティスを適用する方法など、メトリクスに基づいて実行できるアクションが示されます。レコメンデーションは、[推奨事項] の列に表示されます。以下のスクリーンショットは、数日前に撮ったものです。ダッシュボードの 1 つに、バケットのデフォルトの暗号化設定を確認する必要があるとサジェストするレコメンデーションが表示されています。

ダッシュボードの [トレンドとディストリビューション] セクションでは、2 つのメトリクスをより詳細に経時的に比較できます。ここでは、[Primary metric] として [合計ストレージ] を、[Secondary metric] として [オブジェクト数] を選択しました。

これら 2 つのメトリクスがグラフにプロットされ、経時的なトレンドを表示する日付範囲を選択します。

ダッシュボードには、これら 2 つのメトリクスと、それらが [ストレージクラス] 全体および [リージョン] 全体でどのようにディストリビューションされているかが表示されます。

このグラフの任意の値をクリックしてドリルダウンし、その値でダッシュボード全体をフィルタリングするか、[Analyze by] を選択して、そのディメンションの新しいダッシュボードビューに移動できます。

ダッシュボードの最後のセクションでは、日付範囲でメトリクスの[Top N] (N は 1～25 の値) の分析を実行できます。以下の例では、[合計ストレージ] メトリクスの上位 3 つの項目を降順で選択しています。

次に、上位 3 つのアカウント (注: 私の組織ではアカウントは 2 つのみ) と、各アカウントの合計ストレージメトリクスが表示されます。

また、合計ストレージメトリクスの上位 3 つのリージョンも表示され、データの 51.15% が米国東部 (バージニア北部) に格納されていることがわかります。

最後に、ダッシュボードには上位 3 つのバケット、プレフィックス、関連トレンドに関する情報が含まれています。

ここまで解説したように、S3 Storage Lens では、組織のすべてのアカウントでの S3 ストレージの使用状況とアクティビティに関するメトリクスを 29 種類提供されます。これらのメトリクスは S3 コンソールで利用できるため、ストレージの使用状況とアクティビティのトレンドをダッシュボードで可視化できます。また、アクションを簡単に即時実行するためのコンテキストに応じたレコメンデーションを備えています。S3 コンソールのダッシュボードに加えて、CSV 形式または Parquet 形式のメトリクスを選択した S3 バケットにエクスポートして、Amazon QuickSight、Amazon Athena、Amazon Redshift などの他のツールを使用して、さらに分析を進めることができます。

動画チュートリアル

S3 Storage Lens について詳しく知りたいお客様のために、この新機能の仕組みを説明する以下の動画を作成しました。

今すぐ利用可能

S3 Storage Lens は、すべての商用 AWS リージョンで利用できます。S3 Storage Lens は、Amazon S3 API、CLI、S3 コンソールのいずれかで使用できます。S3 Storage Lens の Advanced metrics and recommendations の料金情報については、Amazon S3 料金ページをご覧ください。もう少し深く掘り下げたい場合は、ドキュメントまたは S3 Storage Lens ウェブページを参照してください。

格納処理を楽しくしましょう。

– Martin