亚马逊AWS官方博客

Amazon QuickSight 宣布正式发布 ML Insights

在 2018 年 re:Invent 大会上,我们 发布了预览版 ML Insights,这是一组即开即用的机器学习和自然语言功能,可为 Amazon QuickSight 用户提供图表以外的业务见解。今天,我们将正式发布 ML Insights。客户产生的数据量每天都在持续增加,因此利用这些数据获得业务见解也变得更具挑战性。这时候就轮到机器学习发挥作用了。Amazon 是利用机器学习来自动化和扩展不同层面业务分析的先驱者。借助新的ML Insights 功能,Amazon Quicksight 用言简意赅的方式帮您发现隐藏在数据中的趋势,识别关键的增长点,为您节省手动调查分析的时间。QuickSight 即开即用的机械虚席分析能力和多样的分析功能相结合的全面BI解决方案,并可以和组员分享你的互动报表。ML Insights 简化了机器学习,使无论是否具有技术技能和 ML 技能的任何人都能轻松在几分钟(而非几周)内从数据中获得见解。ML Insights 功能包括:

  • 由 ML 提供支持的异常检测,可通过持续分析数十亿数据点来发现隐藏的异常数据点。
  • 由 ML 提供支持的预测,可通过简单的点击操作预测增长和业务趋势。
  • 自动叙述功能,可使用叙述的方式来阐述报表上的内容。

观看以下视频,快速了解 ML Insights:

为帮助您开始使用 ML Insights,此博文将带您全面了解由 ML 提供支持的新功能。

客户用例

在推出 ML Insights 预览版的过去三个月内,来自多个行业(包括电信、娱乐、市场营销、零售、能源、金融服务和医疗保健)的客户都已通过 ML Insights 利用其在 AWS 和本地不断增加的数据量来获得业务见解。以下是客户使用 ML Insights 所获得的惊艳成果:

Expedia Group 是一家国际旅游平台,他们的目标是帮助客户轻松前往世界各地。

“Expedia Group 的其中两项关键战略要务就是以客户为中心和在全球范围内建立与当地的关联性。正因如此,Amazon QuickSight 这类工具对我们非常有帮助,有助于我们更轻松的衡量和报告业务指标并采取相应措施,从而帮助我们的客户找到最符合其旅游搜索内容的匹配项。Amazon QuickSight 开箱即用的机器学习见解可帮助我们持续监视我们的业务是否存在异常、在出现异常值时向利益相关者发出警报,以及帮助我们预测业务未来趋势,这反过来也使团队能够专注于其他更加重要的工作,而无需从头构建这些功能。”

Amit Marwah,Expedia Group 航班数据与分析部门技术总监

Ricoh Company, Ltd. 是一家全球性公司,为世界各地的 200 多个国家和地区提供面向办公室、生产印刷解决方案、文档管理系统和 IT 服务等的图像处理设备。

“机器学习在满足我们不断增长的数据量和 BI 要求方面发挥着越来越重要的作用。Amazon QuickSight 的 ML Insights 功能使强大的机器学习功能只需几次点击即可轻松使用。它使我们能持续监控全球海量设备中的意外使用行为、预测使用趋势,以及交付内容全面的控制面板,控制面板中包含这些机器生成的见解并能以自动叙述性内容的形式将其呈献给我们的业务用户。利用 ML Insights,我们可以快速找到出现异常的特定设备和功能并采取相应措施,从而改善体验并为客户带来价值。”

Naoki Umehara,Ricoh Company, Ltd. 的组长

Tata Consultancy Services Limited 是一家印度跨国信息技术 (IT) 服务和咨询公司,总部位于孟买马哈拉施特拉邦,在全球 46 个国家/地区设有办事处。

“Amazon QuickSight 使我们能够轻松快速地将我们的 Amazon Connect 联系中心指标与客户端票证工具相集成,从而将客户喜爱的自动化交互式控制面板呈现给他们。我们利用 Amazon QuickSight ML Insights 彻底改变了我们的人员配置、培训和故障报告方式,同时还预测调用流程的移动方向并采取相应措施,从而预防调用激增并为客户提供更好的服务。”

Marco David Martinez,Tata Consultancy Services 云经理

Siemens 是一家实力雄厚的跨国公司,主要业务为电气化、自动化和数字化。该公司还是领先的发电和输电系统供应商。

“利用 Amazon QuickSight 即开即用的 ML Insights 和按实际用量付费的定价模式,我们能够轻松地以节约成本的方式为我们的客户提供基于机器学习的强大异常检测功能,以分析其制造流程的性能、检测生产线中的故障、监控数百台机器的停机时长以及了解故障的根本原因,而无需对机器学习和自定义开发进行大量投入。这使生产线主管和生产经理能在发生意外事件时收到警报并采取措施,以优化制造流程和提高绩效。”

Massimilliano Ponticelli,Siemens 产品经理

Daiso Industries Co., Ltd 是一家创立于日本的全球性零售商和“百元店”的特许经销商。

“利用 Amazon QuickSight,我们能够构建我们自己的 BI 环境,可处理 2 个月内 5000 家商店 x 70000 件产品的数据。精确的销售预测和库存优化是我们面临的最主要的业务挑战。Amazon QuickSight 的 ML Insights 使我们能够轻松快速地发现所有产品中的意外趋势变化,并改善销售预测和库存优化情况。”

Kenjiro Marumoto,Daiso Industries Co., Ltd. 的部门主管

入门

ML Insights 仅支持企业版 Amazon QuickSight。如果您使用的是标准版,则只需单击“管理 QuickSight”页面即可轻松升级。

要开始使用 ML Insights,您需要将数据源连接到 Amazon QuickSight。可通过对 SQL 兼容的数据库源的直接查询或使用 SPICE 来访问数据集。

您在本次演练中使用的数据必须具有以下属性:

  • 至少一个日期字段。
  • 至少一个指标,如销售额、订单、已发货的产品数、或注册数。
  • 至少一个类别维度,如产品、渠道、细分市场或行业。
  • 每个指标的 40 个以上历史数据点。

为获得最佳结果,请确保您的数据集有足够的历史数据点。内置的 ML 算法需要至少 40 个历史数据点才能学习和训练模型,最多将使用最近的 1000 个数据点。例如,如果您要按地理区域分析每天的销售额,请确保您至少有 40 天的数据。建议提供三个月到十二个月的数据,具体取决于您业务的季节性。

您可以使用自己的数据集,或者以下载下方的示例数据集。我们将使用此数据集进行演练:

https://s3.amazonaws.com/quicksight-ml-insights/ML-Insights-Sample-Dataset-V1.csv

在 Amazon QuickSight 中创建数据集后,请从该数据集创建新的分析。有关在 Amazon QuickSight 中创建数据集和分析的详细信息,请参阅 Amazon QuickSight 用户指南

建议性见解

ML Insights 会自动解读您的数据并提供情景式见解,称为建议性见解。不同的图表可产生不同类型的见解。例如,如果您采用时间序列的图表,则可能获得从时段到时段的变化、异常和预测等见解。

我们来看一个示例。

1.用指标和日期来创建折线图,例如按天聚合的按不同时间显示的收入。

2.选择图表左上角的见解

您应在左侧窗格中看到建议性见解的列表。建议性见解将以普通的语言简要为您总结数据。当您将图表添加到分析中时,您将在左侧窗格中看到额外的建议性见解,按图表名称分组。

您可以选择一项建议性见解(如日期到日期的变化)以突出显示该图表中的数据点或细分市场。再次选择此见解可将其取消选中。

由 ML 提供支持的异常检测

利用 ML Insights,您可以对多达一百万个指标同步运行由 ML 提供支持的异常检测,以发现往往在聚合数据中被掩盖的隐藏趋势和异常值。要详细了解异常检测的定价,请转到 Amazon QuickSight 定价并选择 ML Insights

接下来开始使用异常检测。

1.在应用程序栏上选择添加,然后选择向表格添加异常。此操作可为异常检测创建见解图表。

2.展开页面顶部的字段区域,并至少添加一个类别字段。

类别表示 Amazon QuickSight 拆分指标所依据的维度值。例如您要对所有产品类别和产品 SKU 分析收入中的异常。假设有 10 个产品类别,每个类别有 10 个产品 SKU,Amazon QuickSight 将按 100 个唯一组合拆分指标,并对拆分所得的每个指标运行异常检测。

3.在见解图表中选择开始使用,以配置异常检测作业。

4.在异常检测配置窗格中,配置以下选项:

  • 分析所有类别组合 – 如果您选择了三个类别,Amazon QuickSight 将按层级对以下组合运行异常检测:A、AB、ABC。如果您选择此选项,Amazon QuickSight 将对所有组合进行分析,包括:A、AB、ABC、BC、AC。如果您的数据没有分层,则应选择此选项。
  • 要显示的异常数 – 此设置使您可以控制要在见解卡上靠前显示为叙述性内容的异常的数量。
  • 计划 – 设置计划以按每小时、每天、每周或每月对数据运行一次异常检测,具体取决于您的数据。选择开始时间及其对应的时区。
  • 归因分析 – 检测到异常后,您最多可以选择四个额外维度供 Amazon QuickSight 进行分析,以找到主要起因。例如,Amazon QuickSight 可以向您显示促使美国家装产品销售额激增的主要客户。如果您的数据中有额外的维度(且未在异常检测中使用),则可在此处添加以进行归因分析。对于本示例,请选择地理位置进行归因分析。

5.选择确定。在您将分析发布为控制面板后,Amazon QuickSight 才会实施计划。在分析中,您可以选择手动运行异常检测,而无需设置计划。

6.设置配置后,请选择立即运行来手动运行检测。您将看到消息“正在分析以查找异常…这可能需要一段时间…”。分析可能需要几分钟到几小时,具体取决于数据集的大小。

异常检测完成后,您将看到见解图表中列出的数据中在最近一段时间内的主要异常。Amazon QuickSight 还将计算和显示预期值,以便您能更好地了解该异常的重要性。

7.要查看此数据的所有异常,请选择图表右上方的选择器,然后选择浏览异常

在详细异常页面,您可以看到针对最近一段时间检测出的所有异常。图表的标题表示应用于类别字段的唯一组合的指标。图表上突出显示的数据点(在图表的最右侧)表示针对该时间序列检测出的最新异常。

在左侧窗格中,您将看到该异常的主要起因(基于您预定义的维度)。将光标悬停在主要起因上时,Amazon QuickSight 会显示对该起因的重要性的说明。

8.若要按日期查看异常,请选择图表顶部的按日期显示异常以显示日期选择器。图表将显示针对您的异常检测配置的每个时间单位所检测到的异常数。您可以选择特定日期以查看该日期的异常。例如,如果您从图中选择 2018 年 11 月 1 日,则条形图将突出显示该日期的异常数。

重要信息:Amazon QuickSight 使用数据集中的前 40 个数据点进行训练;这些数据点将不会计入异常检测算法中。您可能不会看到前 40 个数据点中的任何异常。

9.使用窗格顶部的筛选控件更改异常阈值,以显示具有高、中重要性的异常,或仅显示高于预期低于预期的异常。您还可以按数据集中的类别值进行筛选,以查看仅针对这些类别的异常。

10.若要返回分析,请选择窗格顶部的返回分析

由 ML 提供支持的预测

利用内置的 ML 算法,您现在可以通过简单的点击操作预测业务指标,而无需编写代码或生成复杂的电子表格。

1.在您的时间序列图表中,选择图表右上角的选择器,然后选择添加预测。Amazon QuickSight 将使用 ML 分析历史数据,并呈现对接下来 14 个时段的预测。

2.在左侧的“预测”属性窗格中,您可以自定义预测设置。例如,您可以更改要预测的未来时段的数量,还可以向过去的时间内添加“预测”时段以便将历史实际值与基于 ML 的预测值进行对比。

您可以通过更改预测间隔和手动设置季节性(时段数)来调整预测条带的宽度。选择应用即可保存您的更改。

3.从图表中选择已预测的数据点,然后选择假设分析。利用假设分析,您可以设置特定日期或日期范围的目标值,Amazon QuickSight 将合理调整预测以达到此目标。

4.选择应用可查看针对目标调整的新预测和原始预测。您可以将光标悬停在数据点上以查看详细信息。

利用由 ML 提供支持的预测功能,Amazon QuickSight 可帮助您预测复杂的真实场景,例如具有多个季节性的数据。它将排除异常值并估算缺失的值。

若要以 CSV 格式导出预测数据,请选择图表右上角的选择器,然后选择导出为 CSV

自动叙述性内容

自动叙述性内容使您可以创建图表的自然语言总结。您可以将这些总结嵌入控制面板中以突出显示对您的读者有重要意义的重要见解,从而使他们能够访问数据,而不必仔细查看整个控制面板。当您定义模板时,叙述性内容将随数据集中的数据刷新而自动更新,与图表一样。以下步骤展示了如何开始使用自动叙述性内容。

1.在您的时间序列图表中,再次选择见解以显示建议性见解。

2.向分析中添加叙述性见解的一种简单方法就是选择建议性见解旁的加号 (+)。出于此演示的目的,请选择“日期到日期的变化”见解。

您将在分析中看到带有预定义模板的见解图表。请注意,字段区域已填充了日期、指标和类别。这些设置通过您用于创建见解图表的图表进行填充。您可以根据需要自定义这些字段。

3.要编辑叙述性内容,请选择见解图表菜单,然后选择自定义叙述性内容。您将看到“配置叙述性内容”窗格,您可在其中编辑见解模板。您可以使用格式工具栏通过更改大小和颜色来设置内容的格式。您还可以插入表达式和条件语句,如 IF 和 FOR 语句。

在左侧窗格中,您可以在叙述性内容中添加运算。运算是预定义的,例如时段到时段、时段到日期、增长率、最大值、最小值和主要推动因素,您可以在模板中引用这些运算来描述您的数据。目前,Amazon QuickSight 支持 13 种不同的运算。此示例中默认添加 PeriodOverPeriod,因为我们从建议性见解窗格中选择了“日期到日期的变化”见解。

4.要添加新运算,请选择窗格左下角的“添加运算”。系统将提示您从运算列表中进行选择。出于本演练的目的,请选择增长率运算类型,然后选择下一步

5.您可以配置运算的某些方面。对于增长率,您可以更改要计算其增长率的时段数。做出选择后,请选择确定

6.现在展开左窗格中的“运算”。您应看到 PeriodOverPeriod 和 GrowthRate 选项。

请注意,运算名称必须唯一。创建运算时,请提供唯一的名称。您可以在模板中引用同一类型的多个运算。例如,您有两个指标,如销售额和已售单位数,您可以为每个指标创建 GrowthRate 运算,并为每个运算提供不同的名称。然后即可在模板中按名称引用特定运算。

另请注意,异常运算与所有其他运算类型均不兼容。例如,您有 PeriodOverPeriod 或 GrowthRate 运算,则您将无法向同一个见解图表中添加异常运算。

7.要向叙述性内容中添加增长率,请在叙述性内容模板中添加短语以下时间段内的复合增长率。从“运算”窗格中,选择 GrowthRate,然后选择 timePeriods 以在叙述性内容中插入 GrowthRate.timePeriods 表达式。此表达式引用在配置中设置的时段数。

8.通过输入日期为完成句子。然后通过依次选择 GrowthRatecompounded GrowthRateformattedValue 来从“运算”窗格添加另一个表达式。选择 formattedValue 将返回根据应用于字段中指标的格式进行格式化的短语。要以整数或小数格式查看原始值,请选择而不是 formattedValue

现在,我们来试试条件语句。

1.要插入 IF 语句,请将光标放在叙述性内容模板的末尾。在插入代码菜单中,选择内联 IF

2.系统将提示您输入代码。在左窗格中,依次选择 GrowthRatecompoundedGrowthRate值。要插入值,请输入 > 3,然后选择保存

3.对于条件内容,请输入 Great!。 选择文本并使用格式菜单将颜色更改为绿色。

4.重复前面的步骤,对增长率值输入 <3。对于条件内容,请输入 Bad!。 然后将文本格式设置为红色。

5.选择应用。您应看到如下所示的结果。

模板可为您提供用于自定义叙述性内容的高级工具。在此模板中,您还可以引用分析或控制面板中的参数,以及利用一系列内置功能执行更多计算。

开始使用自动叙述性内容和了解语法的最好方法就是使用通过建议性见解生成的现有模板。 但是您还可以通过依次选择添加添加见解来从头开始创建见解图表。

动手试试吧! 尝试创建枚举最近三个月的最畅销产品的叙述性内容。

小结

从本演练中您可以了解到,ML Insights 可帮助您执行大规模异常检测,并且只需单击几次即可创建业务预测。您可以在几分钟内在控制面板中生成丰富且用户友好型自动叙述性内容,并且无需任何自定义开发或 ML 技能。

 


关于作者

Luis Wang 是 Amazon QuickSight 的首席产品经理。他已在 AWS 工作 6 年,先后负责开发包括 Amazon EC2 在内的多种服务以及推出 Amazon QuickSight。Luis 现在专注于通过 QuickSight 将机器学习和人工智能应用于商业智能和分析。他喜欢跑步、看情景喜剧和与家人共度时光。