发布于: Mar 12, 2024
Amazon EMR Serverless 是一个无服务器选项，使用该功能，数据分析师和工程师可以轻松运行开源大数据分析框架，而无需配置、管理和扩展集群或服务器。
我们很高兴地宣布，Amazon CloudWatch 推出了适用于 Amazon EMR Serverless 的任务工作线程指标。现在，您可以在聚合工作线程级别监控用于跟踪 Apache Spark 和 Hive 任务的 vCPU、内存、临时存储以及磁盘 I/O 分配和使用量指标。这些新指标提供了对任务绩效、吞吐量和资源利用率的精细见解。这使您能够更快地确定常见错误和瓶颈的根本原因，分析聚合工作线程的性能，并微调任务以提高效率。例如，如果 vCPU 或内存的利用效率低下，可能会揭示出资源浪费，从而使您可以优化工作线程规模以实现潜在的成本节约。同样，跟踪临时存储使用量的峰值有助于识别磁盘瓶颈，并通过为每个工作线程分配更多存储来缓解瓶颈。首先，将 emr-serverless-samples Git 存储库中提供的控制面板部署到您的账户。