发布于: Feb 10, 2023
Amazon EMR Serverless 是 Amazon EMR 中的无服务器选项，使用该功能，数据工程师和数据科学家可以轻松运行开源大数据分析框架，而无需配置、管理和扩展集群或服务器。EMR Serverless 应用程序在内部使用 worker 来执行您的工作负载，您可以根据工作负载需求配置不同的 worker 配置。以前，EMR Serverless 支持的最大 worker 配置是 4 个 vCPU 和 30GB 内存。今天，我们很高兴地宣布，EMR Serverless 现在提供 8 个 vCPU 和 60GB 内存以及 16 个 vCPU 和 120GB 内存的 worker 配置，使您能够在 EMR Serverless 上运行更多的计算或内存密集型工作负载。
大型 worker 可以帮助您提高作业的运行时性能。如果您的作业繁重，则使用大型 worker 可以减少执行者之间效率低下的数据传输。如果您的作业存在数据扭曲，则大型 worker 可以减少出现内存不足故障的几率。此外，如果您的作业需要缓存数据，则大型 worker 可让您缓存更多的数据，从而提高作业性能。为了利用这些优势，我们建议在 EMR Serverless 中使用大型 worker 来运行计算和内存密集型 Spark 和 Hive 工作负载。