Tag: Amazon Kinesis

AWS Lambda 是一项无服务器事件驱动型计算服务。利用 AWS Lambda 的无服务器特性，我们可以做到无论需要对接多少个 Kinesis Data Stream 都可以支持；每个 Kinesis Data Stream 需要接收多大的数据流量，我们都能自动扩展；而底层资源无需运维管理。

本篇博客会基于Kinesis和Redshift stream ingestion以及Amazon托管的Grafana来实现实时大屏，具体业务场景可以满足比如运维实时监控，物联网，APP埋点实时分析，黑五，双11， 618等电商平台的实时数据可视化展示等。以下是构建实时大屏应用的架构流程。

在这篇博客中，我们将讨论宝马集团如何利用亚马逊云上的云原生技术重新构建数据湖，并围绕数据重新思考我们的组织流程，从而克服其内部数据湖面临的挑战。

借助 Amazon Redshift，您可以使用标准 SQL 轻松分析数据仓库、运营数据库和数据湖中的所有数据类型。在这篇博文中，我们将实时收集、处理和分析数据流。通过数据共享，您可以在 Amazon Redshift 集群之间共享实时数据以进行读取，同时具有相对的安全性和开箱即用性。在这篇博文中，我们将讨论如何利用 Amazon Redshift 的数据共享功能来设置大数据 Lambda 架构，以支持批量分析和近实时分析。

无论您是刚刚开始物联网（IoT）之旅，还是已经拥有数百万台互联的 IoT 设备，您可能都在寻求方法以最大限度地利用从 IoT 数据中提取的价值。IoT 设备数据所报告的遥测数据、元数据、状态以及命令和响应中包含了丰富的信息。但是，要想获得尽可能提升运营效率和交付业务成果所需的洞察，拥有正确的报告和可视化解决方案是关键所在。

企业通常会积累海量数据，并继续生成越来越多的数据量，从 TB 级到 PB 级，有时甚至会生成 EB 级的数据。此类数据通常在不同的系统中生成，需要聚合到一个位置进行分析和生成洞察。借助数据湖架构，您可以聚合各个孤岛中的数据，将其存储在一个集中式存储库中，实施数据治理，并支持基于这些存储的数据进行分析和机器学习（ML）。

可将数据流摄取到云数据仓库中。流式摄取可以帮助用户以极低延迟，在几秒钟内将数百MB数据摄取到Amazon Redshift云数据仓库集群

近年来，我们已经从整体式架构向微服务架构转变。微服务架构使应用程序更易于扩展和更快开发，从而实现创新并加快新功能的上市。但是，这种方法会导致数据存在于不同的孤岛中，这使得执行分析变得困难。为了获得更深入和更丰富的洞察，您应该将不同孤岛中的所有数据集中到一个地方。

使用Amazon Kinesis和Amazon EMR构建数据批处理分析架构，并和流式处理汇总到Redshift做集中数仓查询.

为了让更多的 AWS 用户能够方便地分析系统的安全情况，大中华区企业支持团队根据与企业客户协作的实际经验，创建了基于Elasticsearch的WAF日志分析系统方案。