精选 re:Invent 2017 研讨会
使用 Amazon Kinesis 实时分析流数据 (ABD301)
Amazon Kinesis 使您可以轻松收集、处理和分析实时流数据,以便您及时获得见解并对新信息快速做出响应。在本次研讨会中,我们通过用于进行数据摄取的 Kinesis Streams、用于实时处理的 Kinesis Analytics 和用于实现持久性的 Amazon Data Firehose 来展示端到端的流数据解决方案。我们将详细了解一下如何使用流数据编写 SQL 查询,并讨论用于优化和监控 Kinesis Analytics 应用程序的最佳实践。最后,我们将讨论如何预估整个系统的成本。
研讨会:在 AWS 上构建您的首款大数据应用程序 (ABD317)
想要增加您关于 AWS 大数据 Web 服务的知识,并在云上启动您的首款大数据应用程序吗? 我们将带您了解如何将大数据处理简化为数据总线形式 (包含摄取、存储、处理和虚拟化)。您可以使用 Amazon Athena、Amazon Kinesis、Amazon DynamoDB 和 Amazon S3 等 AWS 托管服务构建大数据应用程序。同时,我们将了解大数据应用程序的架构设计模式,并授予您访问课后练习用实验的权限,以便您可以自己重建和自定义应用程序。您应该带上自己的笔记本电脑,并熟悉 AWS 产品,以充分利用本次研讨会。
研讨会:不要等到明天:如何使用流数据获取业务的实时见解 (ABD321)
在最近几年,连接设备和实时数据源的数量呈爆炸式增长。因此,数据不断地生成,而且生成速度也在加快。企业无需再等数小时或数天才能使用该数据。要获取最有价值的见解,他们必须立即使用该数据,以便对新信息做出迅速响应。在本次研讨会中,您将了解如何利用流数据源以近乎实时的方式进行分析和做出响应。您会看到真实流数据场景的几个要求,并负责制定能够通过 Amazon Kinesis、AWS Lambda 和 Amazon SNS 等服务成功满足要求的解决方案。
Amazon Flex 如何使用实时分析按时交付软件包 (ABD217)
对于所有使用批处理数据分析工具探索流分析优势的企业和客户来说,缩短通过数据获取可行性见解所需的时间至关重要。了解最佳实践,将您的架构从数据仓库和数据库扩展到实时解决方案。了解如何使用 Amazon Kinesis 获取实时数据见解并将其与 Amazon Aurora、Amazon RDS、Amazon Redshift 和 Amazon S3 集成。Amazon Flex 团队描述了他们如何在 Amazon Flex 移动应用程序中使用流分析,Amazon Delivery Driver 使用该应用程序每月按时交付数百万个软件包。他们讨论了能够克服将现有批处理数据迁移到流处理数据所面临的挑战并进而实现从批处理系统向实时系统迁移的架构,还讨论了如何从实时分析中获益。
AWS 上的实时流处理应用程序:使用案例和模式 (ABD203)
要在市场中获胜并提供独特的客户体验,企业必须能够实时使用实时数据来促使快速制定出决策。在本次研讨会中,您将了解常见的流数据处理使用案例和架构。首先,我们将概述流数据和 AWS 流数据功能。接下来,我们来了解几个客户示例以及他们的实时流应用程序。最后,我们将了解一下常见的架构和首要流数据使用案例的设计模式。
Splunk Cloud 和 AWS 助力 Cox Automotive 实现扩展 (ABD208)
网络研讨会录像
使用 Amazon Data Firehose 进行实时日志分析(2017 年 6 月)
日志分析是一种常见的大数据使用案例,让您可以分析来自网站、移动设备、服务器、传感器和其他来源的日志数据,并用于数字营销、应用程序监控、欺诈检测、广告技术、游戏及 IoT 等多种应用场景。将日志分析升级到实时分析可以缩短信息化的时间,从而将洞察时间从几小时或几天缩短至几秒钟或几分钟。在本次研讨会中,您将学习如何使用 Amazon Data Firehose 摄取和传送不含基础设施信息的日志。我们将展示如何使用适用于 Apache Flink 的亚马逊托管服务实时处理日志数据来构建响应式分析。最后,我们将展示如何使用 Amazon Elasticsearch Service 进行交互式查询并呈现日志数据。
学习目标:
- 了解如何轻松构建端到端的实时日志分析解决方案。
- 概述如何使用 Amazon Kinesis 实时收集和处理数据。
- 了解如何使用 Amazon Elasticsearch Service 以交互的方式查询和可视化日志数据。
使用 Amazon Data Firehose 对数据湖进行流式 ETL 操作(2017 年 5 月)
数据湖让您组织中的员工能够访问和分析不同数据来源的大量非结构化和结构化数据,其中许多数据源会连续、快速地生成数据。及时提供此数据进行分析需要一个流解决方案,该解决方案可以持久且经济高效地将这些数据摄取到您的数据湖中。 Amazon Data Firehose 是一种完全托管的服务,这样一来,您可以轻松地准备流数据并将其加载到 AWS 中。在这次技术演讲中,我们将对 Firehose 进行概述,并深入阐述如何使用该服务将实时流数据收集、转换、批处理、压缩和加载到 Amazon S3 数据湖中。
学习目标:
- 了解收集、准备流数据并将其加载到数据湖中的主要要求。
- 概述如何使用 Firehose 传输数据。
- 了解如何使用 Firehose 执行数据转换。
TrueCar 如何借助 Splunk Cloud 获得可付诸行动的见解
将整个数据中心迁移到云端绝非易事! TrueCar 技术平台团队承担的正是这样的任务。他们希望找到一种更具可扩展性的监控和故障排除解决方案,能够提高基础设施和应用程序的性能、加强安全保护并推动产品改进。该公司最终选择了在 AWS 上运行的 Splunk Cloud,并且只用了一天时间就完成了部署! 在本次网络研讨会中,您将了解 TrueCar 如何利用 AWS 和 Splunk 的功能从其数据中实时获取见解。
观看网络研讨会,了解 TrueCar 结合 Amazon Data Firehose 在 AWS 上运行 Splunk Cloud 的经验可以为您提供哪些帮助:
- 通过延长数据留存期获取历史见解
- 更好地了解 AWS 账单
- 获取安全性见解并实现威胁检测
博客文章
Amazon Data Firehose 现在支持对 Amazon S3 进行动态分区
作者:Jeremy Ber 和 Michael Greenshtein,2021 年 9 月 2 日
CloudWatch Metric Streams - 将 AWS 指标实时发送给合作伙伴和您的应用程序
作者:Jeff Barr,2021 年 3 月 31 日
使用 Amazon Kinesis、AWS Lambda 和 Amazon Redshift 实时流式传输、转换和分析 XML 数据
作者:Sakti Mishra,2020 年 8 月 18 日
利用 AWS Lambda 实现 Amazon Data Firehose 数据转换
作者:Bryan Liston,2027 年 2 月 13 日
观看使用 AWS DMS 将 CDC 流式传输到 Parquet 格式的 Amazon S3 数据湖
作者:Viral Shah,2020 年 9 月 8 日
Amazon S3 对象的 Amazon Data Firehose 自定义前缀
作者:Rajeev Chakrabarti,2019 年 4 月 22 日
通过 Amazon Data Firehose 将数据流式传输到 HTTP 端点
作者:Imtiaz Sayed 和 Masudur Rahaman Sayem,2020 年 6 月 29 日
使用 AWS Lambda 捕获 Amazon Aurora 中的数据变化
作者:Re Alvarez-Parmar,2017 年 9 月 5 日
如何使用 AWS Lambda 和 Amazon Data Firehose 将数据从 Amazon DynamoDB 流传输至 Amazon Aurora
作者:Aravind Kodandaramaiah,2017 年 5 月 4 日
使用 Amazon Athena 和 Amazon QuickSight 分析 VPC 流日志
作者:Ian Robinson、Chaitanya Shah 和 Ben Snively,2017 年 3 月 9 日