发布于: May 25, 2023

我们很高兴地宣布在 AWS GovCloud(美国西部)区域推出 AWS Glue 4.0。AWS Glue 4.0 是 AWS Glue 的新版本,可加快 AWS 中的数据集成工作负载。AWS Glue 4.0 将 Spark 引擎升级至 Apache Spark 3.3.0Python 3.10。Glue 4.0 为客户提供了最新的 Spark 和 Python 版本,让他们可以开发、运行和扩展其数据集成工作负载,并更快地获得见解。

AWS Glue 是一项无服务器、可扩展的数据集成服务,它简化了发现、准备、移动和集成来自多个来源的数据的工作。AWS Glue 4.0 添加了对内置 Pandas API 以及对数据湖框架 Apache Hudi、Apache Iceberg 和 Delta Lake 的支持,为您提供更多用于分析和存储数据的选项。它升级了用于本机 AWS Glue 数据库来源(如 RDS、MySQL 和 SQLServer)的连接器,这将简化到常见数据库来源的连接。AWS Glue 4.0 还添加了对新的适用于 Apache Spark 的云随机存储插件的本机支持,这可以帮助客户在运行时期间扩展其磁盘使用量。它启用了自适应查询执行功能,在运行过程中动态优化您的查询。最后,AWS Glue 4.0 通过向错误消息添加更多上下文来改进开发人员的体验。与 AWS Glue 3.0 一样,客户只需为使用的资源付费。

要了解更多信息,请访问我们的文档