亚马逊AWS官方博客

介绍 Amazon S3 Storage Lens — 组织范围内对象存储的可见性

在云中开始时,客户的存储需求可能包括少数 S3 存储桶,但随着它们增长、迁移更多应用程序以及实现云技术的强大功能,事情可能会变得更加复杂。一个客户可能拥有数十个甚至数百个账户,并且在众多 AWS 区域中拥有多个 S3 存储桶。管理这些环境的客户告诉我们,他们发现很难理解其组织中存储的使用方式、优化成本和改善安全状况。

借助 14 年以上帮助客户优化存储的经验,S3 团队构建了一项名为 Amazon S3 Storage Lens 的新功能。这是第一个云存储分析解决方案,通过时间点指标和趋势线以及切实可行的建议,让您在组织范围内了解对象存储。所有这些因素结合在一起将帮助您发现异常情况、确定成本效益并应用数据保护最佳实践。

借助 S3 Storage Lens,您可以通过 29 个以上的使用情况和活动指标以及交互式控制面板来了解、分析和优化存储,以汇总整个组织、特定账户、区域、存储桶或前缀的数据。所有这些数据都可以在 S3 管理控制台中访问,也可以作为 S3 存储桶中的原始数据访问。

每位客户都会获得默认控制面板

S3 Storage Lens 包括交互式控制面板,您可以在 S3 控制台中找到。该控制面板使您能够执行筛选和深入了解指标,以真正了解存储的使用情况。这些指标分为数据保护和成本效率等类别,使您可以轻松找到相关指标。

为了便于使用,所有客户都会收到默认控制面板。如果您和许多客户一样,这可能是您唯一需要的控制面板,但如果愿意,可以进行更改。例如,您可以将控制面板配置为每天将数据导出到 S3 存储桶,以便使用其他工具(Amazon QuickSightAmazon AthenaAmazon Redshift 等),或者可以升级以接收高级指标和建议。

创建控制面板
您还可以从头开始创建自己的控制面板,为此,我转到 S3 控制台,然后单击 Storage Lens 部分内的 Dashboards(控制面板)菜单项。接下来,我单击 Create dashboard(创建仪表板)按钮。

控制台的屏幕截图

我将控制面板命名为 s3-lens-demo,然后选择一个主页区域。主页区域是存储您控制面板的指标数据的位置。我选择启用控制面板,这意味着它将每天用新的指标进行更新。

控制面板可以跨账户、区域、存储桶和前缀分析存储。我选择在控制面板范围部分中包括来自组织和所有区域的所有账户的存储桶。

S3 Storage Lens 有两个层级:免费指标,自动供所有 S3 客户使用,包含 15 个与使用情况相关的指标;高级指标和建议,需额外收费,但包括所有 29 个使用活动指标,数据保留15 个月,并提供上下文建议。对于此演示,我选择了高级指标和建议

管理控制台的截图

最后,我可以将控制面板指标配置为每天导出到特定 S3 存储桶。这些指标可以导出为 CSV 或 Apache Parquet 格式,以便在控制台之外进行进一步分析。

弹出一条警报,告诉我已创建控制面板已,但生成我的初始指标可能需要长达 48 小时。

控制面板显示什么?

创建控制面板后,我就可以开始探索数据了。我可以按控制面板顶部的 Accounts(帐户)、Regions(区域)、Storage classes(存储类)、Buckets(存储桶)和 Prefixes(前缀)进行筛选。

下一部分是 Total storage(总存储空间)和 Object count(对象计数)等指标的快照,我可以看到一条趋势线,其中显示了过去 30 天内每个指标的趋势以及百分比变化。百分比变化列中的数字默认显示 Day/day(日/日)百分比变化,但我可以选择按 Week/week(周/周)或 Month/month(月/月)进行比较。

我可以通过选择 Summary(摘要)、Cost efficiency(成本效益)、Data protection(数据保护)或 Activity(活动)在不同的指标组之间切换。

这里有一些指标非常典型,例如总存储空间和对象计数,您已经可以在 S3 控制台和 Amazon CloudWatch 中的几个位置接收这些指标 — 但在 S3 Storage Lens 您可以在组织或账户中汇总接收这些指标,也可以在前缀级别接收这些指标,这在之前是无法实现的。

您可能没有预期其他一些指标,例如与 S3 功能利用率有关的指标。例如,我们可以分解使用加密的对象百分比,或者非当前版本的对象数量。这些指标可帮助您了解存储的配置方式,并允许您识别差异,然后深入了解详细信息。

控制面板提供了上下文建议以及指标,指出您可以根据指标采取的操作,例如提高成本效率的方法或应用数据保护的最佳实践。所有建议均显示在 Recommendation(建议)列中。几天前,我做了以下屏幕截图,其中显示了一条控制面板上的建议,即我应该检查存储桶的默认加密配置。

控制面板趋势和分布部分允许我更详细地比较两个指标。在这里,我选择 Total storage(总存储空)间作为我的 Primary metric(主要指标),选择 Object Count(对象计数)作为我的 Secondary metric(次要指标)。

这两个指标现在绘制在图表上,我可以选择一个日期范围来查看随时间推移的趋势。

控制面板还向我展示了这两个指标以及它们在 Storage class(存储类)和 Regions(区域)之间的分布方式。

我可以单击此图表中的任何值,然后单击 Drill down(深入了解)在整个控制面板上筛选此值,或者选择 Anayze by(分析依据)导航到该维度的新控制面板视图。

控制面板的最后一部分允许我对某个日期范围内的指标进行 Top N(前 N 个)分析,其中 N 介于 1 到 25 之间。在下面的示例中,我为 Total storage(总存储空间)指标按降序选择了前 3 个项目。

然后,我可以看到前三个账户(注意:我的组织中只有两个账户)和每个账户的 Total storage(总存储空间)指标。

它还显示了 Total storage(总存储空间)指标的前 3 个区域,我可以看到 51.15% 的数据存储在 美国东部(弗吉尼亚北部)

最后,控制面板包含有关前 3 个存储桶和前缀以及相关趋势的信息。

正如我所示,S3 Storage Lens 可为您组织中的所有账户提供超过 29 项有关 S3 存储使用情况和活动的单独指标。S3 控制台中提供这些指标,用于在控制面板中查看存储使用情况和活动趋势,并提供上下文建议,使您可以轻松地立即采取措施。除了 S3 控制台中的控制面板之外,您还可以将 CSV 或 Parquet 格式的指标导出到选择的 S3 存储桶,以便使用包括 Amazon QuickSightAmazon AthenaAmazon Redshift 等在内的其他工具进行进一步分析。

视频演练

如果您想更深入地了解 S3 Storage Lens,团队已经录制了以下视频来解释这项新功能的工作原理。

现已推出

S3 Storage Lens 在所有商业 AWS 区域均可用。您可以将 S3 Storage Lens 与 Amazon S3 API、CLI 配合使用或在 S3 控制台中使用。有关 S3 Storage Lens 高级指标和建议的定价信息,请查看 Amazon S3 定价页面。如果您想更深入了解,则应查看文档S3 Storage Lens 网页

祝您存储愉快

— Martin