发布于: Feb 13, 2024

今天,EC2 上的 Amazon EMR 宣布对 DescribeStep 和 ListStep API 进行增强,允许客户查看过去 7 天内多达 10,000 个已完成的步骤,而之前的限制是 1,000 个步骤。该服务还将继续支持检索过去两个月的 1,000 个步骤。这些 API 改进提高了对已完成步骤的可见性,使您能够更轻松地监控和管理您的步骤工作流程。

Amazon EMR 是一种云端大数据平台,可以使用 Apache SparkPresto、TrinoApache Flink 等多种开源框架进行数据处理、交互式分析和机器学习。 此项改进为审查和协调步骤状态提供了简化的方法,从而确保正确执行步骤并帮助进行调试,从而简化了具有大量短期运行步骤的客户的体验。如果集群在 7 天内收到超过 10,000 个步骤,则用户提交的处于 COMPLETED(已完成)、CANCELLED(已取消)或 FAILED(失败)状态的非活动步骤将按时间顺序删除,从最旧的步骤开始。

此改进适用于所有 EMR 版本,并且已在所有提供 Amazon EMR 的 AWS 区域推出。您无需执行任何其他操作。要了解有关查看步骤的更多信息,请参阅查看步骤API DescribeStep 文档。