Category: Analytics

本文介绍了围绕 Amazon EMR 和统一数据湖（S3）在构建车联网数据平台的实践，用户无需在不同数据分析引擎之间移动数据，通过 Amazon EMR 让开发人员可以继续沿用以往在 hadoop 生态体系下的数据平台的操作习惯，实现细粒度的数据权限和身份认证控制，另外针对车联网数据具有实时性、数据流量存在波峰波谷不确定等特性，利用亚马逊云科技 Serverless 服务的优势，在通过弹性资源优化资源利用率，也可以快速完成整个车联网数据平台架构的验证与运营，为助力车企向“服务和数据驱动”转型变革保驾护航。

Celeborn 是一个开源的实现 Remote Shuffle 的工具。通过为 EMR 部署 Celeborn 服务，可以将 Spark 计算的中间结果从采用 Spot 实例的 EMR 集群节点中分离存储，实现 shuffle 数据的存算分离，有效减少了 Spot 实例回收导致的重算成本。

介绍如何利用 Elastic Kubernetes Service（EKS）打造弹性 StarRocks 集群，以及 StarRorks 在亚马逊云上的部署优势。

1. 概述 上文讲述了如何建立 Apache Flink（以下简称 Flink）的本地开发环境，完成了从 Am […]

1. 概述 随着 2023 年 8 月亚马逊云科技把原来 Amazon Kinesis Data Analyt […]

本文将深入探讨字节跳动 ByteHouse 云原生之路上的持续优化。通过充分利用 AWS 的强大基础设施，ByteHouse 可以帮助用户成功地打造一款高性能的日志分析 SaaS 服务，成为企业实时处理和分析日志数据的强大工具。

随着组织对云使⽤成熟度上的成⻓，云数据/资源的使⽤越来越深⼊和复杂，组织需要对产⽣的成本进⾏更好的管理、分析、预测、预警，以便及时进⾏调整和优化，从⽽更好的控制成本；同时各个组织/部门在使⽤云的过程中，也需要基于更多的维度更加清晰直观的了解所使⽤资源的成本消耗情况，费⽤占⽐，以及是否超预期等。这篇 Blog 中，我们会分别介绍标准⽅案和⾃定义⽅案实现方案部署⽅式，满⾜客户不同的账单分析需求。

人工智能和大数据技术的日渐火爆，越来越多的客户打算构建自己的数据仓库来实现对数据的分析。然而对于部分大数据技术处于起步阶段或者不打算在大数据方面投入过多人力成本的客户来说，复杂的数据重建和高昂的维护成本对他们来说是巨大的挑战。Zero-ETL 功能正是在此时推出来帮助客户解决此类问题。

在 Cisco 的数据团队构建数据业务时，选取并使用 Apache DolphinScheduler 进行搭建大数据调度平台已经有近三年时间。其中大部分的数据任务都需要提交部署到 AWS 平台上，在团队进行系统架构和开发期间经历了一系列的挑战。

本方案结合 MSK Managed VPC connection 和 VPC Peering 为用户提供跨 Region 的私有访问方式，既满足网络安全隔离的要求，也能实现跨 Region 的 MSK 访问。