Category: Analytics

无论您是刚刚开始物联网（IoT）之旅，还是已经拥有数百万台互联的 IoT 设备，您可能都在寻求方法以最大限度地利用从 IoT 数据中提取的价值。IoT 设备数据所报告的遥测数据、元数据、状态以及命令和响应中包含了丰富的信息。但是，要想获得尽可能提升运营效率和交付业务成果所需的洞察，拥有正确的报告和可视化解决方案是关键所在。

对于任何一个客户或合作伙伴来说，集中查看所有用户打开的案例并了解其情况是很有价值的，能帮助他们方便的参考当前案例和过往案例的概况，同时也易于与组织内的其他人分享案例中的经验教训以提高生产力，而AWS的合作伙伴可以利用面板的观察，准确掌控案例开启和处理的状况来提高案例的处理质量。

本文介绍了Amazon OpenSearch Service提供的跨集群复制CCR功能，通过CCR用户可以轻松快速地将数据索引的复制，以实现对集群读写分离、故障转移、跨区域同步、集中式管理等应用场景的支持。

企业通常会积累海量数据，并继续生成越来越多的数据量，从 TB 级到 PB 级，有时甚至会生成 EB 级的数据。此类数据通常在不同的系统中生成，需要聚合到一个位置进行分析和生成洞察。借助数据湖架构，您可以聚合各个孤岛中的数据，将其存储在一个集中式存储库中，实施数据治理，并支持基于这些存储的数据进行分析和机器学习（ML）。

可将数据流摄取到云数据仓库中。流式摄取可以帮助用户以极低延迟，在几秒钟内将数百MB数据摄取到Amazon Redshift云数据仓库集群

Flink MSK CDC consumption

云上自动驾驶数据湖参考架构和落地实践。

本文会带您一步一步地在AWS上部署Spline,提供在Glue和EMR中实现Spark代码级别的血缘，并且结合开源数据湖架构Hudi和Delta Lake来提供批流入湖实例，本文会重点介绍如何使用Spline来捕获。

机器学习（ML）可以优化多个垂直行业的核心业务功能（例如需求预测、信用评分、定价、预测客户流失、确定下一次最佳商品推荐、预测延迟发货及提高生产质量），从而帮助企业增加收入、推动业务增长并降低成本。传统机器学习开发周期需要几个月的时间，且需要稀缺的数据科学和机器学习工程技能。分析师对机器学习模型的想法往往会积压很长时间，因为需要等待数据科学团队有空来实现，而数据科学家的精力却往往放在需要其全部技能的更复杂的机器学习项目上。

这篇文章中，我们使用 Lambda 架构，介绍如何分析业务，以及如何以数据湖为本来形成流批一体的架构。