Amazon S3 ストレージレンズ
概要
S3 ストレージレンズは、オブジェクトストレージの使用状況やアクティビティの傾向についての組織レベルの可視性を提供し、コストの最適化、アプリケーションパフォーマンスの改善、データ保護の強化のための実用的なレコメンデーションを提示します。S3 ストレージレンズは、組織内の数千のアカウント全体での、オブジェクトストレージの使用状況とアクティビティを 1 つのビューに表示できる、最初のクラウドストレージ分析ソリューションです。複数の集計レベルで詳細なインサイトが提供されます。S3 ストレージレンズは、何年にもわたってお客様のストレージ最適化を支援してきた経験を活かし、組織全体のメトリクスを分析して、状況に応じたレコメンデーションを提示します。これにより、即座に行動を取れるようにします。
Amazon S3 を使用して、数千のアカウントとバケット、複数のリージョン、および数十億のプレフィックスにわたる大規模な共有データセットを保存しています。S3 ストレージレンズを使用すると、ストレージを簡単に把握し、分析して異常値を検出できます。S3 ストレージレンズは、S3 ストレージの使用状況とアクティビティに関するさまざまなメトリクス (無料のメトリクスと高度なメトリクス) を S3 コンソールのインタラクティブなダッシュボードに表示します。 無料のメトリクスはすべてのお客様に無料で提供される一方で、高度なメトリクスはオブジェクトごとの月額モニタリング料金を支払うことで有効にできます。これにより、追加のメトリクス、プレフィックスレベルのインサイト、カスタムメタデータフィルタリング、データ保持の延長、Amazon CloudWatch へのメトリクスの発行オプションが提供されます。 高度なメトリクスの料金の詳細については、Amazon S3 料金ページをご覧ください。
S3 ストレージレンズの仕組み
Amazon S3 のすべてのお客様は、S3 コンソールのインタラクティブな S3 ストレージレンズダッシュボードを利用できます。このダッシュボードには、ストレージの使用状況とアクティビティの傾向を視覚化するための設定済みのビューが含まれています。S3 ストレージレンズの無料のメトリクスを使用すると、バケットレベルでさまざまなカテゴリの 62 のメトリクス (固有のメトリクスと派生メトリクス) を受け取り、ダッシュボードで過去 14 日間の履歴データを確認できます。ダッシュボードを概要、コスト最適化、データ保護、アクセス管理、パフォーマンス、またはイベントでフィルタリングして、目的のユースケースに合わせて特定のメトリクスを分析できます。さらに S3 コンソールのダッシュボードは、CSV か Parquet から以後の用途に合わせてファイル形式を選択しながら、メトリクスを S3 バケットにエクスポートするためにも利用できます。S3 ストレージレンズの詳細については、ドキュメントをご覧ください。
ストレージレンズの高度なメトリクスにアップグレードする利点
高度なメトリクスでは、アクティビティ (リクエスト数など)、より深いコスト最適化 (S3 ライフサイクルルール数など)、高度なパフォーマンスメトリクス (オブジェクトやリクエストサイズ数など)、追加のデータ保護 (S3 レプリケーションルール数など)、および詳細なステータスコード (403 認可エラーなど) に関連するインサイトを得ることができます。
プレフィックスレベルのメトリクスを使用すると、バケット内の詳細なプレフィックスを掘り下げることができ、バケットあたり数十億のプレフィックスにわたるストレージと使用状況を可視化できます。各プレフィックスのメトリクスを表示し、ストレージをより効率的に最適化します。
ストレージレンズの高度なメトリクスを使用すると、15 か月間の履歴データに基づくインサイトを取得できます。オプションのメトリクスのエクスポートでは、任意の保持期間を設定できます。
ストレージレンズの高度なメトリクスを使用すると、Amazon CloudWatch を通じて S3 ストレージレンズのメトリクスにアクセスしてアラームを作成したり、CloudWatch API にアクセスして統合オブザーバビリティパートナーにメトリクスを送信したりできます。
ストレージレンズグループを使用して、オブジェクトタグ、プレフィックス、サフィックス、作成されてから経過した期間、またはサイズでフィルタリングされたメトリクスを表示できます。例えば、メトリクスをオブジェクトタグでフィルタリングして急速に増加しているデータセットを特定したり、オブジェクトのサイズと保存期間に基づいてストレージを可視化してストレージのアーカイブ戦略に役立つ情報を手に入れたりすることができます。
ストレージレンズグループを使用してカスタムフィルターを作成
ストレージレンズグループは、オブジェクトメタデータに基づくカスタムフィルターを使用してメトリクスを集計します。ストレージレンズグループでは、保存期間別のオブジェクトの分布、最もよく使われるファイルの種類など、データの特性を詳しく調べることができます。こうした情報は、S3 ストレージをよく理解して最適化するのに役立ちます。ストレージレンズグループを使用して、オブジェクトタグ、プレフィックス、サフィックス、作成されてから経過した期間、またはサイズでフィルタリングされたメトリクスを表示できます。例えば、メトリクスをオブジェクトタグでフィルタリングして急速に増加しているデータセットを特定したり、オブジェクトのサイズと保存期間に基づいてストレージを可視化してストレージのアーカイブ戦略に役立つ情報を手に入れたりすることができます。使用を開始するには、S3 コンソール、CLI、または SDK を通じてストレージレンズグループを作成し、グループをストレージレンズダッシュボードにアタッチします。 詳細については、ドキュメントをご覧ください。
Upstox
Upstox は、金融教育と投資を行うためのデジタルプラットフォームを 1,100 万人以上の顧客に提供するインドの大手ディスカウントブローカーです。
「Amazon S3 ストレージレンズを引き続き使用して、ストレージの使用状況を把握し、コスト効率をさらに高めることに今後取り組んでいきます。S3 ストレージレンズのインタラクティブなダッシュボードにより、コストが増加している S3 プレフィックスホットスポットを簡単に特定し、適切な保持ポリシーと S3 ストレージクラスでそれらを最適化して、コスト効率をさらに高めることができます。」
Upstox、Principal ML & Data Engineer、Indranil Chandra 氏
導入事例を読む »
Pinterest は、4 億人以上のユーザーが毎月、生活のインスピレーションを得るために利用しているビジュアルディスカバリーエンジンです。
「S3 ストレージレンズは、ストレージ使用状況の可視性を高めてくれるほか、ストレージコストを継続的に最適化するのに役立つでしょう。組織全体のビューを使用して、複数のリージョンにわたるチームのストレージ使用量を集計し、掘り下げてバケットまたはプレフィックスレベルでのストレージの増大を把握します。
S3 ストレージレンズを使用すると、社内チームごとに異なるダッシュボードを作成できるので、ライフサイクルポリシーを使用したり、データをよりコスト効率の高いストレージクラスに移行したりして、ストレージコストを最適化する方法をチーム自身で探すことができます。」
Pinterest、Software Engineer、Yi Yin 氏
Snowflake
Snowflake は Data Cloud を提供しています。これにより、組織はほぼ無限大の規模、同時実行性、およびパフォーマンスでデータを利用できるようになります。
「プレフィックスに基づいてメトリクスを参照できる機能は、私たちにとって非常に貴重です。総ストレージ容量、オブジェクト数、平均オブジェクトサイズ、現行バージョンと旧バージョン別の分類など、特定のプレフィックスの使用状況をより詳細に把握できるようになります。これにより、デバッグや運用の傾向を経済的に把握できます。これは、S3 ストレージレンズが登場するまでは実現できませんでした」
Snowflake のシニアソフトウェアエンジニア、Ju-Yi Kuo 氏
Veeva
Veeva Systems Inc. は、世界のライフサイエンス業界向けのクラウドソリューション (データ、ソフトウェア、サービスを含む) のリーダーです。
「S3 ストレージレンズはセットアップと設定が非常に簡単です。S3 の使用状況について十分なインサイトが得られたことで、S3 のコストを最適化するためのアクションプランを立てることができました。現在、S3 へのオブジェクトの保存方法を最適化することで、1 か月あたり数千ドルの節約を実現しています」
Veeva、Vice President of Technical Operations、Dan Soble 氏
Dropsuite
Dropsuite は 139 か国の組織が重要なビジネス情報を簡単にバックアップ、リカバリ、保護できるよう支援しています。同社のメールバックアップソリューションは現在、100 万以上の個人ユーザーの企業データをバックアップしています。
「S3 ストレージレンズを使用すると、バケットレベルとリージョンレベルのフィルターを使用してマクロビューを取得できるため、革新的なアーキテクチャ設計について話し合うことができます。当社は、S3 ストレージレンズからのインサイトを使用して、圧縮アルゴリズムを分析し、ストレージ方法を検討して、お客様のデータの削除と管理に関する決定を下しています。S3 ストレージレンズがなければ、このような詳細な使用状況データを調べて視覚化し、それに基づいて行動することはできなかったでしょう。また、お客様のデータの使用パターンを可視化することもできます。このような有益な情報が利用できるようになったことで、Amazon S3 ストレージクラスをより効果的に使用できるようになりました。」
Dropsuite、Chief Technology Officer、Manjor Kalyanaraman 氏
導入事例を読む »
DoorDash
DoorDash は、世界中の 25 を超える国々で消費者とお気に入りの現地の企業をついないでいます。クラウド生まれの企業である DoorDash は、コマースプラットフォームを含むインフラストラクチャの大部分を AWS でホストしています。
「将来の成長をサポートする効率化の機会を特定するために Amazon S3 の使用状況を詳しく調査することを決定した後、高度なメトリクスとレコメンデーションを備えた S3 ストレージレンズを使用して調査を開始しました。S3 バケット、プレフィックス、ストレージクラスレベルでストレージの使用状況とアクティビティパターンを分析する機能は、コストを最適化する機会を特定する上で有益であることがわかりました。S3 ストレージレンズがなければ、Amazon S3 の使用状況を調べて視覚化し、ストレージユニットの経済性を改善するのに、はるかに多くの時間がかかっていたでしょう。
DoorDash、Cloud FinOps Lead、Levon Stepanian 氏
ブログを読む »
