发布于: Jun 15, 2020

Amazon EMR 现在可将 YARN 时间表服务器和 Tez 用户界面 (UI) 与事件和容器日志一起保留在集群外部。您现在可使用 EMR 控制台将日志直接记录在 Web 界面中,从而独立于集群的生命周期调试和监控 YARN 应用程序。YARN 时间表服务器和 Tez UI 是开源应用程序,可提供适用于活动和已终止集群的指标和可视工具。 

调试分布式应用程序需要对多个来源的日志进行解析。原生 YARN(资源计划程序)、Tez(大数据框架)和 Spark(分析引擎)可通过将日志覆盖到执行背景并提供直观 UI 来提高调试性能。但是,出于安全原因,您在完成多个步骤时需要连接到主节点以在 EMR 集群上查看 Web 界面。此外,如果您运行的是瞬态集群,当该集群终止后 UI 将不可用。Amazon EMR 通过引入可从 EMR 控制台直接访问的持久 Spark History Server、YARN 时间表服务器和 Tez UI,简化了调试和监控。 

要开始使用 YARN 时间表服务器和 Tez UI,请访问 AWS 管理控制台。 

该功能在 EMR 版本 6.0.0 及更高版本中可用,已面向以下区域推出:美国东部(弗吉尼亚北部和俄亥俄)、美国西部(加利福尼亚北部和俄勒冈)、加拿大(中部)、欧洲(法兰克福、爱尔兰和伦敦)以及亚太地区(孟买、首尔、新加坡、悉尼和东京)。