亚马逊AWS官方博客

新增功能 – 使用 Step Functions 协调 Amazon EMR 工作负载

从今天开始,Step Functions 将连接到 Amazon EMR,使您能够以最少的代码创建数据处理和分析工作流,节省时间,并优化集群利用率。例如,为机器学习构建数据处理管道不仅耗时,而且棘手。借助这一全新集成功能,您可以轻松协调工作流功能,包括上一步结果中的并行执行和依赖关系,并在运行数据处理作业时处理故障和异常情况。

Service Broker 在 AWS 中国区的落地

OpenShift运行在AWS上,除了支持动态创建EBS卷、调用ELB等基础功能外,还可以通过Service Broker直接创建AWS原生服务,并提供给OpenShift中的容器化应用使用。
本文就针对OpenShift 3.11在AWS中国区如何使用Service Broker进行详细说明。

在大规模部署基础设施期间采用 AWS CodePipeline 和开放源工具

在这篇博客文章中,我们将向您介绍如何运用 AWS 开发人员工具和热门的开放源工具(如,CFN-Nag、CFN-Python-Lint 和 Stacker 等)在 AWS 上构建无服务器基础设施部署管道(即,您无需管理构建服务器)。管道会对照 CloudFormation 模板运行自动验证检查;若模板有效,它将部署对应的 CloudFormation 堆栈。

新增功能 – 使用 Amazon EMR 和 Apache Hudi 插入、更新、删除 S3 上的数据

从今天开始,EMR 版本 5.28.0 包含 Apache Hudi(孵化),因此,您不再需要构建自定义解决方案来执行记录级插入、更新和删除操作。Hudi 开发于 2016 年开始于 Uber,用于解决提取和 ETL 管道间的效率低下。 近几个月来,EMR 团队与 Apache Hudi 社区密切合作,贡献了很多修补程序,包括将 Hudi 更新为 Spark 2.4.4 (HUDI-12)、支持 Spark Avro (HUDI-91)、增加对 AWS Glue Data Catalog (HUDI-306) 的支持以及多个漏洞修复。