亚马逊AWS官方博客

本文章是来自 AWS Serverless 明星 Yan Cui 的访客贴。
这个连载包括两部分，在第一部分中，我们了解了部署框架并探索了部分最佳无服务器框架插件。我们还了解了 org-formation 和 lumigo-cli 以及在使用 AWS 并构建无服务器应用程序时它们如何让您的生活变得更轻松。
在第 2 部分中，我们将了解在 Node.js 中编写 AWS Lambda 函数时可以使用的常用库，还将探索有用的 AWS Serverless Application Repository 应用程序，您可以利用它们处理很多常见杂务。

本文章是来自 AWS Serverless 明星 Yan Cui 的访客贴。
这个连载包括两部分，在第一部分中，我们了解了部署框架并探索了部分最佳无服务器框架插件。我们还了解了 org-formation 和 lumigo-cli 以及在使用 AWS 并构建无服务器应用程序时它们如何让您的生活变得更轻松。
在第 2 部分中，我们将了解在 Node.js 中编写 AWS Lambda 函数时可以使用的常用库，还将探索有用的 AWS Serverless Application Repository 应用程序，您可以利用它们处理很多常见杂务。

在使用Python的早些年，为了解决Python包的隔离与管理 virtualenvwrapper 就成为我的工具箱中重要的一员。而这几年，应用场景的的复杂性越来与高，无论是开发还是部署都需要设置复杂的环境。随之而来Docker 就变成了程序员必不可少的常备工具。Alpine这个Linux 发行版本比其它哪些老字号的Linux 发行版更适合Docker 的环境吗？至于我的Python 应用，究竟选择哪一个 Docker 基础映像更好呢？

欢迎阅读我们的第一篇半导体和电子的博客！这篇文章以及未来陆续发布的其他文章将帮助AWS客户和合作伙伴及时了解AWS半导体和电子团队的活动，并为在AWS上运行半导体和电子工作流程提供规范指导。我们的团队成员分布在全球各地，致力于帮助全球客户加速其关键的半导体工作流程，包括从前端设计和验证，到后端制造、封装和组装的全部流程。我们的团队由行业领导者组成，每个行业领导者在半导体和电子行业都有数十年的经验。我们利用这种经验来指导客户，从他们最初的AWS入门到运行他们的第一个生产工作负载。

在 AWS 上运行大数据 ETL 工作流的大型企业的运营规模很大，它们为很多内部终端用户提供服务，并且同时运行数千个管道。再加上需要持续更新和扩展大数据平台以第一时间掌握新框架和最新版本的大数据处理框架，这便需要高效的架构和组织结构，既能简化大数据平台的管理，又能方便对大数据应用进行访问。
在此博文系列的第 1 部分中，您已经学习了如何使用 Apache Airflow、Genie 和 Amazon EMR 管理大数据工作流。
本博文将指导您部署 AWS CloudFormation 模板、配置 Genie 以及运行在 Apache Airflow 中创作的示例工作流。

在 AWS 上运行大数据 ETL 工作流的大型企业的运营规模很大，从而为很多内部终端用户提供服务，并且同时运行数千个管道。再加上需要持续更新和扩展大数据平台以第一时间掌握新框架和最新版本的大数据处理框架，这便需要高效的架构和组织结构，既能简化大数据平台的管理，又能方便对大数据应用进行访问。
此博文介绍了可帮助集中平台团队维护大数据平台以同时服务数千个 ETL 工作流的架构，并且简化了实现该目的所需的操作任务。

Amazon EMR是业界领先的原生云大数据平台，它极大地简化了在AWS上运行各种大数据框架进行大数据的处理和分析工作。通过使用这些框架和相关的开源项目(如Apache Spark、Apache Hive和Apache HBase等)，并结合 Amazon EC2 的Auto Scaling动态弹性和 Amazon S3 的可扩展高可靠存储，您可以轻松、快速、经济高效地处理大规模海量数据。通过EMR ，您可以在数分钟内启动大数据集群，并且无需担心基础设施管理的任务，EMR会帮助完成这些工作，您只需要集中精力进行数据分析即可。

上周，我与 AWS 的一位大客户高管进行了交谈，并且有幸能够与他们分享 Amazon 文化的各个方面。我与他们讨论了我们的领导原则和逆向工作法模型。像客户经常问到的一样，他们也询问了我们对这个行业未来 5 年或 10 年的看法。这个问题确实难以回答，因为我们 90% 的产品路线图是由客户需求驱动的。坦白来说，我确实不知道未来会是什么样的，但是我知道，它肯定会帮助我们的客户实现目标并完成其愿景。

Amazon EMR宣布推出了适用于 Apache Spark 的 Amazon EMR Runtime，这是一种针对 Apache Spark 进行了性能优化的环境，此runtime在 Amazon EMR 集群上默认处于活动状态。适用于 Spark 的 EMR runtime速度最快可达 EMR 5.16 的 32 倍，并且与开源 Spark API实现了 100% 的兼容性。这使得工作负载运行速度更快，无需对应用程序进行任何更改即可节省计算成本。

AWS Glue 是一种完全托管的数据目录和 ETL工具，如果您是首次使用AWS Glue详细演示和概念讲解可参照此博客。当前AWS Glue原生的JDBC连接库不支持MySQL 8，本文展示如何利用自定义的JDBC库连接外部数据源。本文以MySQL 8 举例，但任何支持JDBC连接的数据源都适用于此方法。由于目前国内宁夏区域的成本更经济，所以生产系统的数据库在北京，但数据处理系统在宁夏的情况并不少见。