亚马逊AWS官方博客
云财务管理全家桶新成员— Amazon Cost Anomaly Detection 成本异常检测加入中国区
2022年6月,亚马逊云科技宣布在中国区推出 Amazon Cost Anomaly Detection(成本异常检测)。作为 Amazon 云财务管理产品家族的一员,该服务能够帮助您减少意外成本并加强控制,使得您可以专注于重要的业务目标。这项服务对我们的客户免费提供。
背景介绍
在 Amazon 成本异常检测服务推出前,许多客户已经自发地开始对云上偏离常态的意外支出进行监控。例如会利用一些已有的服务,包括 Amazon Cost Usage Report(成本使用报告)、Amazon Budgets、Cost Explorer、亦或是合作伙伴所提供的自建方案。通常客户会 1) 组建自己的数据管道、2) 应用一些试验性的告警策略来对这些数据进行过滤、3) 最后需要人工判断并分析这些异常。结果往往是投入的时间与产生的监控效果相差甚远。
Amazon 成本异常检测在这种需求下应运而生。服务会利用多层机器学习模型来学习您独特的历史支出模式,能够检测一次性成本峰值和/或持续成本增加,而无需您定义阈值。输入模型的账单数据与成本使用报告同源,并会通过以下几步对数据进行处理:1) 对原始数据进行时间序列处理、2) 模型会识别出可能存在的所有异常并通过多层处理对异常进行辨别、3) 对导致异常的原因进行定位。最终检测到的每个异常都将显示在控制台的检测历史选项卡中,并且我们还会向您发送带有根本原因分析的异常检测报告。
自服务上线以来,我们持续从数千个用户处收集使用反馈。在评估检测到的异常情况时,用户都可以通过提交评估来帮助训练我们的机器学习模型。
如何设置
设置 Amazon 成本异常检测很容易。第一步需要创建成本监控器。成本监控器允许您创建支出组成。根据您定义的细分组成,Amazon 将以您偏好的粒度级别评估支出异常。例如,如果您想与开发团队分开评估您的生产帐户,您将选择一个特定的关联账户或成员帐户作为您的成本监控器目标。您可以选择四种类型的成本监控器:1) Amazon 服务,2) 关联账户,3) 成本分配标签,以及 4) Amazon Cost Categories(成本类别)。选择成本监控器后,第二步是设置警报订阅。您可以自定义警报阈值、警报频率和通知对象。我们的机器学习模型将自动确定成本异常的阈值,而一旦异常值触发到您设置的警报阈值就会给您及时发送通知。要获得通知,您可以选择电子邮件通知或 SNS 主题。创建成本监控器和警报订阅后,Amazon 成本异常检测将在 24 小时内开始工作,并将根据您的警报订阅偏好通知您。您可以通过控制台或 API 查看检测到的异常列表。在查看检测到的异常时,您还可以提交评估。如前所述,提交评估将训练机器学习模型以适应您的特定支出模式。
“在 Atlassian,我们的计费数据是跨多个 Amazon 账户和服务的数百万个数据点,而云支出异常通常难以被发现。 Amazon 成本异常检测帮助 Atlassian Cloud FinOps 团队能够注意到成本变化。通过减少云成本的意外变化和解决方案之间的时间,我们能够使我们的云支出保持在正轨上。” —- Mike Fuller,首席工程师兼 Cloud FinOps 负责人,Atlassian
我们了解每个客户的组织结构和业务需求都不同。从今天开始,客户可以为同一个成本监控器创建多个警报订阅和/或将多个成本监控器附加到一个警报订阅。为了协助大家快速入门这个新功能,我们将在下面介绍两个常见场景。
场景 1:一个成本监控器具有多个警报订阅
如果您的组织有不同的部门,并且每个部门都对不同的警报阈值和频率感兴趣,那么您可以创建多个警报订阅,以侦听同一监控器检测到的异常情况。例如:您可以创建单个服务监控器来监控所有 Amazon 服务。当检测到异常时,您可能需要创建一个“即时警报”订阅,以便您的工程团队立即收到所有异常情况的通知。同时,您可以为您的 DevOps 团队创建一个单独的订阅,以便每天收到影响超过 100 元的任何异常的“每日摘要”报告。同样,在收听同一成本监控器时,您可以为财务利益相关者创建“每周摘要”订阅,以便他们了解任何超过 1,000 元影响的异常情况。有了这个新功能,您的几个利益相关者现在可以使用他们自己的警报偏好订阅相同的成本监控器。
场景 2: 多个成本监控器关联一个警报订阅
想象一下,您的组织有多个业务部门,每个业务部门都有自己的成本监控器和警报订阅。如果领导对所有业务部门的摘要报告感兴趣,并希望在成本达到特定阈值时收到警报,您可以为您的领导创建单独的警报订阅,而无需将它们单独添加到每个监控器。为此,请转到警报订阅选项卡并将成本监控器附加到您的新订阅。
或者,您可以在“创建成本监控器”工作流程中将多个成本监控器附加到单个警报订阅。单击“选择现有订阅”将允许您选择已创建的警报订阅列表。这意味着,如果多个监控器在一周内触发了异常,并且您的订阅是“每周摘要”频率,那么您将收到一封电子邮件,其中包含所有监控器的所有异常。
创建成本监控器和警报订阅后,接下来的步骤与以前相同。成本异常检测将根据您设置的阈值和频率开始通知您异常。您可以在检测历史记录选项卡中找到检测到的每个异常情况。为了帮助您查明潜在的成本驱动因素,成本异常检测提供了每次检测的根本原因分析。根本原因分析包括帐户 ID、造成异常的服务、严重性、持续时间等(请参阅用户指南中的详细定义)。
异常可能是计划的或计划外的,为了改进未来的异常检测,您可以选择为每次检测的结果提交评估。我们期待您为检测到的异常提交评估,这将进一步改进机器学习模型,以优化我们的检测模型并且更贴近您实际的业务需求。
与 Amazon Budgets 的差异
看到这里,有些读者可能会问,Amazon 成本异常检测也会在出现 ’不正常‘ 的支出后向我发送通知,那么和 Amazon Budget 有啥差别呢?让我们以一个场景为例,随着时间的推移,客户在云上的费用会自然的增长,这种增长是可预测的。 在 Amazon Budgets 服务里将允许客户设置一个告警阈值,使得在费用超过一定数目时进行警告。与之不同的是,Amazon 成本异常检测会识别出这种支出自然增加的趋势,并且会将其视为预期行为,而不会当作异常产生错误预警。再看一下另一种情况,当支出里出现一个行为模式偏离了常规行为时,这个费用可能是低于 Amazon Budgets 里固定的警报阈值,但其实仍然不符合预期。 那么 Amazon 成本异常检测将仍能够在此场景中识别出这个异常,而 Amazon Budgets 则不会。在这些情况里,即使我们使用了 Amazon Budgets,这可能并不意味着我们正在检测成本和使用是否合理。 Amazon Budgets 预测的核心假设是基于超额的花费,因此仅有在花费超过设定的阈值时才会触发。如果业务稳步增长超过 Amazon Budgets 的预算,或者支出模式意外跳跃,但没有触发预算警报,那么这就是 Amazon 成本异常检测的适用范围。Amazon 成本异常检测其实很好的与 Amazon Budgets 相互补充,服务于不同的目的。
总结
Amazon 成本异常检测允许您轻松设置成本监控器和警报订阅,以检测整个组织的异常支出。当检测到异常时,我们会通知您,并提供对潜在根本原因的见解。 Amazon 成本异常检测让您可以轻松自定义成本监控器和警报订阅,以满足您组织的需求。目前服务在中国区已经全面上线并在持续优化用户体验,我们欢迎您加入使用这项免费的服务。