发布于: Nov 6, 2019
现在,您可以使用 EMR 控制台直接登录脱离集群的持久性 Apache Spark History Server,来调试和监控您的 Apache Spark 作业。
Spark History Server 是 Apache Spark Web 用户界面 (UI) 的扩展程序。它提供可视界面,显示集群上已完成和正在运行的 Spark 作业的详细信息。您可以深入研究特定作业的指标,以及关于计划程序阶段、任务和运行执行程序的信息。
现在,Amazon EMR 可以在集群外永久存储 Spark History Server 以及事件和容器日志,其存储时间不受集群生命周期影响。这可让您访问 Spark History Server,并使用其查看已终止或正在运行的集群等内容。另外,您也可以直接从控制台访问 Spark History Server,而无需通过复杂的步骤以 Web 界面的形式查看。
该功能在 EMR 版本 5.25 及更高版本中可用,并且已面向以下区域推出:美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、加拿大(中部)、欧洲(法兰克福、爱尔兰和伦敦)以及亚太地区(孟买、首尔、新加坡、悉尼和东京)。