亚马逊AWS官方博客

Category: AWS Big Data

使用 Apache Airflow、Genie 和 Amazon EMR 编排大数据工作流：第 2 部分

在 AWS 上运行大数据 ETL 工作流的大型企业的运营规模很大，它们为很多内部终端用户提供服务，并且同时运行数千个管道。再加上需要持续更新和扩展大数据平台以第一时间掌握新框架和最新版本的大数据处理框架，这便需要高效的架构和组织结构，既能简化大数据平台的管理，又能方便对大数据应用进行访问。
在此博文系列的第 1 部分中，您已经学习了如何使用 Apache Airflow、Genie 和 Amazon EMR 管理大数据工作流。
本博文将指导您部署 AWS CloudFormation 模板、配置 Genie 以及运行在 Apache Airflow 中创作的示例工作流。

使用 Apache Airflow、Genie 和 Amazon EMR 编排大数据工作流：第 1 部分

在 AWS 上运行大数据 ETL 工作流的大型企业的运营规模很大，从而为很多内部终端用户提供服务，并且同时运行数千个管道。再加上需要持续更新和扩展大数据平台以第一时间掌握新框架和最新版本的大数据处理框架，这便需要高效的架构和组织结构，既能简化大数据平台的管理，又能方便对大数据应用进行访问。
此博文介绍了可帮助集中平台团队维护大数据平台以同时服务数千个 ETL 工作流的架构，并且简化了实现该目的所需的操作任务。

数据魔方 – 快速在 Amazon EMR 上部署 Apache Kylin 进行大数据分析

Amazon EMR是业界领先的原生云大数据平台，它极大地简化了在AWS上运行各种大数据框架进行大数据的处理和分析工作。通过使用这些框架和相关的开源项目(如Apache Spark、Apache Hive和Apache HBase等)，并结合 Amazon EC2 的Auto Scaling动态弹性和 Amazon S3 的可扩展高可靠存储，您可以轻松、快速、经济高效地处理大规模海量数据。通过EMR ，您可以在数分钟内启动大数据集群，并且无需担心基础设施管理的任务，EMR会帮助完成这些工作，您只需要集中精力进行数据分析即可。

Amazon EMR 推出适用于 Apache Spark 的 EMR Runtime

Amazon EMR宣布推出了适用于 Apache Spark 的 Amazon EMR Runtime，这是一种针对 Apache Spark 进行了性能优化的环境，此runtime在 Amazon EMR 集群上默认处于活动状态。适用于 Spark 的 EMR runtime速度最快可达 EMR 5.16 的 32 倍，并且与开源 Spark API实现了 100% 的兼容性。这使得工作负载运行速度更快，无需对应用程序进行任何更改即可节省计算成本。

快速构建基于 AWS Glue 的抽取跨区域 MySQL 8 的数据管道

AWS Glue 是一种完全托管的数据目录和 ETL工具，如果您是首次使用AWS Glue详细演示和概念讲解可参照此博客。当前AWS Glue原生的JDBC连接库不支持MySQL 8，本文展示如何利用自定义的JDBC库连接外部数据源。本文以MySQL 8 举例，但任何支持JDBC连接的数据源都适用于此方法。由于目前国内宁夏区域的成本更经济，所以生产系统的数据库在北京，但数据处理系统在宁夏的情况并不少见。

DynamoDB Accelerator（DAX）服务–无需改写应用，将 DynamoDB 的响应时间从毫秒提升到微秒

传统的缓存场景通常是进行旁路的部署，需要考虑使用新的API接口、大量的应用修改，以及需要管理缓存的伸缩性和高可用等方面。用户的应用开发和运维管理工作的压力很大，因此一直期望有一个高性能、高可用并且简单易用的方案来做数据库的缓存。

使用 Amazon Redshift 设计数据湖架构的 ETL 和 ELT 模式：第 1 部分

在本系列文章的第 1 部分中，我们将讨论使用主要和短期 Amazon Redshift 集群构建可扩展 ETL（提取、转换、加载）和 ELT（提取、加载、转换）数据处理管道的设计的最佳实践。您还将了解一些重要的 Amazon Redshift 功能（例如 Amazon Redshift Spectrum、并发扩展以及最近新增的对数据湖导出的支持）的相关用例。

用 Airflow 实现 EMR 集群的动态启停并通过 Livy 远程提交任务

互联网行业每天都有大量的日志生成，需要在固定时间段对数据进行ETL工作。用户常规的做法是启动一组长期运行的EMR集群，配置远程提交任务的服务器，结合自身的任务调度系统定期提交任务，但集群执行完成任务之后会闲置，造成不必要的开销。另一种方法是在需要执行任务的时候启动集群，任务完成之后关闭集群，但因为每次启动集群后，主节点与核心节点的IP都会发生分变化，导致每次都需要重新配置提交任务的服务器，造成额外的工作负担。本文介绍了一种通过Apache Airflow任务调度系统动态启停Amazon EMR集群的方法，并通过EMR内置的Livy远程提交作业，这样可以节省大量的成本并且无需进行过多的额外配置。

使用 Kerberos 身份验证将 Amazon EMR 与 Microsoft Active Directory 集成

本文将指导您完成整个流程，使用 AWS CloudFormation 建立跨领域信任，并将身份验证从 Active Directory 网络扩展到启用了 Kerberos 的 Amazon EMR 集群。建立跨领域信任后，Active Directory 用户可以使用自己的 Active Directory 凭证访问 Amazon EMR 集群，并以自己的身份运行作业。

← Older posts
Newer posts →