亚马逊AWS官方博客

在大规模部署基础设施期间采用 AWS CodePipeline 和开放源工具

在这篇博客文章中,我们将向您介绍如何运用 AWS 开发人员工具和热门的开放源工具(如,CFN-Nag、CFN-Python-Lint 和 Stacker 等)在 AWS 上构建无服务器基础设施部署管道(即,您无需管理构建服务器)。管道会对照 CloudFormation 模板运行自动验证检查;若模板有效,它将部署对应的 CloudFormation 堆栈。

新增功能 – 使用 Amazon EMR 和 Apache Hudi 插入、更新、删除 S3 上的数据

从今天开始,EMR 版本 5.28.0 包含 Apache Hudi(孵化),因此,您不再需要构建自定义解决方案来执行记录级插入、更新和删除操作。Hudi 开发于 2016 年开始于 Uber,用于解决提取和 ETL 管道间的效率低下。 近几个月来,EMR 团队与 Apache Hudi 社区密切合作,贡献了很多修补程序,包括将 Hudi 更新为 Spark 2.4.4 (HUDI-12)、支持 Spark Avro (HUDI-91)、增加对 AWS Glue Data Catalog (HUDI-306) 的支持以及多个漏洞修复。

参加 Open Distro for Elasticsearch 研讨会,为 re:Invent 2019 做好准备

今年,re:Invent 2019 将推出一个全新主题,内容都与开源有关! 多场关于 Open Distro for Elasticsearch 及其 Alerting、Security 和 Performance Analyzer 等组成部分的研讨会即将精彩呈献。快来加入了解更多信息并参加动手实践研讨会! 敬请关注我们关于 k-NN 等机器学习功能及如何设置 Open Distro 的研讨会。