AWS Glue 现在支持新的工作线程来处理更大的内存密集型工作负载
发布于:
2025年7月17日
AWS Glue 现在新增更多工作线程类型,以满足不同的数据集成和数据处理需求。新的工作线程包括更大的 G.12X 和 G.16X 通用计算工作线程,以及四种新的用于内存密集型 AWS Glue 工作负载的内存优化工作线程:R.1X、R.2X、R.4X 和 R.8X。Glue 客户现在能够处理更复杂的转换、聚合、联接和查询,还能够使用 Apache Spark 快速处理更多数据。
新的 G.12X 和 G.16X 工作线程对现有的 G 工作线程大小进行了扩展,提供了更多的计算、内存和存储。这些工作线程非常适合拥有大量资源密集型工作负载的客户。与 G 工作线程相比,新的 R.1X、R.2X、R.4X 和 R.8X 工作线程可提供两倍的内存,通过缓存、重排和聚合等内存密集型 Spark 操作,使它们成为合适的工作负载。客户可以通过以下方式选择这些新的工作线程类型:在 AWS Glue Studio 中选择,使用 Notebook 或可视化 ETL,或者通过 Glue 作业 API。
有关这些新工作线程类型和推出新工作线程的 AWS 区域的更多信息,请访问 AWS Glue 文档。