亚马逊AWS官方博客

Tag: Amazon Kinesis

基于 Redshift 和 Grafana 搭建实时大屏应用

本文从大屏应用涉及的技术要点入手,详细论述了如何在亚马逊云科技上基于 Kinesis 和 Redshift stream ingestion 以及 Amazon 托管的 Grafana 来实现实时大屏,满足运维实时监控,物联网,APP 埋点实时分析,黑五、双 11、 618 等电商平台的实时数据可视化展示等场景。

使用 Amazon Redshift 构建用于批量和实时分析的大数据 Lambda 架构

借助 Amazon Redshift,您可以使用标准 SQL 轻松分析数据仓库、运营数据库和数据湖中的所有数据类型。在这篇博文中,我们将实时收集、处理和分析数据流。通过数据共享,您可以在 Amazon Redshift 集群之间共享实时数据以进行读取,同时具有相对的安全性和开箱即用性。在这篇博文中,我们将讨论如何利用 Amazon Redshift 的数据共享功能来设置大数据 Lambda 架构,以支持批量分析和近实时分析。

IoT 数据摄入和可视化的 7 种模式 – 如何确定最适合您使用场景的模式

无论您是刚刚开始物联网(IoT)之旅,还是已经拥有数百万台互联的 IoT 设备,您可能都在寻求方法以最大限度地利用从 IoT 数据中提取的价值。IoT 设备数据所报告的遥测数据、元数据、状态以及命令和响应中包含了丰富的信息。但是,要想获得尽可能提升运营效率和交付业务成果所需的洞察,拥有正确的报告和可视化解决方案是关键所在。

使用 AWS Glue、Apache Hudi 和 Amazon S3 构建无服务器管道以分析串流数据

企业通常会积累海量数据,并继续生成越来越多的数据量,从 TB 级到 PB 级,有时甚至会生成 EB 级的数据。此类数据通常在不同的系统中生成,需要聚合到一个位置进行分析和生成洞察。借助数据湖架构,您可以聚合各个孤岛中的数据,将其存储在一个集中式存储库中,实施数据治理,并支持基于这些存储的数据进行分析和机器学习(ML)。

使用 Amazon MSK Connect、Apache Flink 和 Apache Hudi 创建低延迟的源到数据湖管道

近年来,我们已经从整体式架构向微服务架构转变。微服务架构使应用程序更易于扩展和更快开发,从而实现创新并加快新功能的上市。但是,这种方法会导致数据存在于不同的孤岛中,这使得执行分析变得困难。为了获得更深入和更丰富的洞察,您应该将不同孤岛中的所有数据集中到一个地方。