Tag: Amazon Kinesis

使用RisingWave快速实现数据同步

本文介绍了一种利用亚马逊云科技 Lambda 自动将 Kinesis Data Stream 中的数据导入到 Kafka 的方案。所有的应用无需修改，便能平滑迁移到亚马逊云科技上，同时运维人力成本也基本不会增加。

本文从大屏应用涉及的技术要点入手，详细论述了如何在亚马逊云科技上基于 Kinesis 和 Redshift stream ingestion 以及 Amazon 托管的 Grafana 来实现实时大屏，满足运维实时监控，物联网，APP 埋点实时分析，黑五、双 11、 618 等电商平台的实时数据可视化展示等场景。

在这篇博客中，我们将讨论宝马集团如何利用亚马逊云上的云原生技术重新构建数据湖，并围绕数据重新思考我们的组织流程，从而克服其内部数据湖面临的挑战。

借助 Amazon Redshift，您可以使用标准 SQL 轻松分析数据仓库、运营数据库和数据湖中的所有数据类型。在这篇博文中，我们将实时收集、处理和分析数据流。通过数据共享，您可以在 Amazon Redshift 集群之间共享实时数据以进行读取，同时具有相对的安全性和开箱即用性。在这篇博文中，我们将讨论如何利用 Amazon Redshift 的数据共享功能来设置大数据 Lambda 架构，以支持批量分析和近实时分析。

无论您是刚刚开始物联网（IoT）之旅，还是已经拥有数百万台互联的 IoT 设备，您可能都在寻求方法以最大限度地利用从 IoT 数据中提取的价值。IoT 设备数据所报告的遥测数据、元数据、状态以及命令和响应中包含了丰富的信息。但是，要想获得尽可能提升运营效率和交付业务成果所需的洞察，拥有正确的报告和可视化解决方案是关键所在。

企业通常会积累海量数据，并继续生成越来越多的数据量，从 TB 级到 PB 级，有时甚至会生成 EB 级的数据。此类数据通常在不同的系统中生成，需要聚合到一个位置进行分析和生成洞察。借助数据湖架构，您可以聚合各个孤岛中的数据，将其存储在一个集中式存储库中，实施数据治理，并支持基于这些存储的数据进行分析和机器学习（ML）。

可将数据流摄取到云数据仓库中。流式摄取可以帮助用户以极低延迟，在几秒钟内将数百MB数据摄取到Amazon Redshift云数据仓库集群

近年来，我们已经从整体式架构向微服务架构转变。微服务架构使应用程序更易于扩展和更快开发，从而实现创新并加快新功能的上市。但是，这种方法会导致数据存在于不同的孤岛中，这使得执行分析变得困难。为了获得更深入和更丰富的洞察，您应该将不同孤岛中的所有数据集中到一个地方。

使用Amazon Kinesis和Amazon EMR构建数据批处理分析架构，并和流式处理汇总到Redshift做集中数仓查询.