发布于: Jul 31, 2023
Amazon EMR Serverless 是一个无服务器选项,使用该功能,数据分析师和工程师可以轻松运行 Apache Spark 和 Apache Hive 等开源大数据分析框架,而无需配置、管理和扩展集群或服务器。从今天开始,您可以调用 EMR Serverless API 来查看应用程序 UI,例如用于正在运行的作业的实时 Spark UI 或 Tez UI,以及用于已完成作业的 Spark 历史服务器或持久 Tez UI。
Spark 或 Hive 工作负载通常使用 Apache Airflow、AWS Step Functions 等编排工具提交。要监控此类管道,能够导航到用于正在运行的作业的实时应用程序 UI 和用于已完成作业的永久应用程序 UI 非常有用。EMR Serverless 应用程序 UI 可从 EMR Studio UI 获得,但对于喜欢 API 的用户,他们现在可以使用 get-dashboard-for-job-run API 获取安全的 URL 来查看应用程序 UI。
此功能在推出 Amazon EMR Serverless 的所有区域提供。