发布于: Jul 25, 2019

AWS Glue 更新了自己的 Apache Spark 基础设施,可以支持使用 Apache Spark 2.4.3(除 Apache Spark 2.2.1 之外)运行 ETL 作业,让您可以充分利用此版 Apache Spark 的稳定性修复和新功能。 

您可以通过在作业属性中选择 Glue 版本,来挑选希望在其中运行 Glue 作业的 Apache Spark 基础设施。在没有指定 Glue 版本的情况下创建的现有 Glue ETL 作业将被默认为 Glue 版本0.9。Glue 版本为 1.0 的 Glue 作业将在 Apache Spark 2.4.3 上运行。除了支持最新版 Spark 之外,您还能够针对 ETL 作业选择 Python 2 或 Python 3。 

要了解有关如何利用此功能的更多信息,请访问我们的文档发行说明。 

现在,除 AWS GovCloud(美国东部)和 AWS GovCloud(美国西部)以外,推出 AWS Glue 的所有 AWS 区域均提供此功能。