亚马逊AWS官方博客

在Amazon EMR上构建实时数据湖

在 Amazon EMR 集群上，通过使用Flink, Spark 等服务与Hudi 集成，配合 Airflow, Amazon MSK 等服务可以轻松实现流式数据湖的构建，从而有效的减少了数据从产生到消费的数据延迟。同时借助 Amazon EMR 和 Amazon MSK, 消除了 Flink /Spark/Kafka 等基础服务运营开销，让这些服务开箱即用，从而使我们只要关心数据湖的构建以及湖上的数据处理

使用Amazon ECS Anywhere在边缘部署AWS IoT Greengrass  

本文将提出一种基于Amazon ECS Anywhere构建容器化云边统一管理的IoT平台参考架构，介绍了如何利用ECS Anywhere在边缘设备上容器化部署AWS IoT Greengrass，并在Greengrass上部署组件，帮助用户简化IoT设备管理，从云端到边缘确保 IoT 应用的安全，使客户可以专注于业务应用的开发，通过统一的容器管理平台以容器形式在云上和边缘侧快速部署应用，从而构建基于云边一体的IoT平台。

Amazon EMR Hudi 性能调优——Clustering

Hudi作为Amazon EMR提供的智能湖仓的重要组件，已经得到越来越广泛的应用，Hudi在考虑到多种业务场景的同时，也对查询性能提供了很多的优化的方法，例如Index，Metadata Table, Clustering。本篇Blog介绍Hudi在查询方面做的性能优化的方法之一 —- Clustering, 通过介绍 Clustering的原理，操作，以及查询性能的对比，有助于读者理解Hudi Clustering, 并在实际开发中找到适合的场景。

← Older posts
Newer posts →