亚马逊AWS官方博客

Category: Analytics

基于开源工具构建 EMR 数据分析平台(二)使用 Dinky 进行 Flink 任务开发、管理

本文介绍了 Dinky 作为一个开源的实时计算平台,如何与 Amazon EMR Flink 集成部署,为数据分析平台提供易用且强大的实时在线任务处理能力。Dinky 凭借其先进的架构设计、完备的功能模块和便捷的开发运维体验,能够很好地弥补 Amazon EMR 在任务提交、管理、监控等方面的复杂度,使得构建实时数据分析平台的整个过程更加顺畅高效。

基于开源工具构建 EMR 数据分析平台(一)方案总体介绍

本文提出了一种结合开源组件与 AWS 服务的综合性解决方案,旨在利用 Amazon 的高性能计算资源,为客户提供一个易于使用、开源可控、低成本、且功能完备的数据平台。该方案涵盖了调度平台、Flink 作业平台、Spark SQL 执行网关、SQL 开发平台和元数据管理平台等多个关键组件,并通过实际案例展示了其在生产环境中的成功应用。

构建一站式车联网数据分析平台

本文介绍了围绕 Amazon EMR 和统一数据湖(S3)在构建车联网数据平台的实践,用户无需在不同数据分析引擎之间移动数据,通过 Amazon EMR 让开发人员可以继续沿用以往在 hadoop 生态体系下的数据平台的操作习惯,实现细粒度的数据权限和身份认证控制,另外针对车联网数据具有实时性、数据流量存在波峰波谷不确定等特性,利用亚马逊云科技 Serverless 服务的优势,在通过弹性资源优化资源利用率,也可以快速完成整个车联网数据平台架构的验证与运营,为助力车企向“服务和数据驱动”转型变革保驾护航。