发布于: Nov 21, 2022
今天，Amazon EMR 宣布在 Trino 引擎 (Project Tardigrade) 上支持长期运行的容错 SQL 查询，并在 Amazon S3 或 HDFS 中推出检查点功能，以实现容错。Project Tardigrade 旨在改善在 Trino 上针对 ETL 工作负载执行长期运行的资源密集型查询时的用户体验。Project Tardigrade 使用 Amazon S3 的检查点功能来检查缓冲的中间数据。此外，对于 Amazon EMR 版本 6.9，我们还在 HDFS 上增加了检查点功能，用于长时间运行的性能敏感型 SQL 工作负载。
确保长时间运行的 ETL 工作负载在 Trino 上以可靠且经济高效的方式运行是一项挑战。这是因为从头开始重启失败的查询会浪费集群资源，而缺乏迭代查询功能可能会导致在大型集群上浪费更多资源。Project Tardigrade 引入了一种新的容错执行机制，使用这种机制，Trino 集群可以通过使用 S3 上收集的中间交换数据重试查询来缓解查询失败问题。Amazon EMR 团队将此功能扩展到 HDFS 中的检查点，以进一步提高这些 Trino 查询的性能。通过支持容错的长期运行查询，Amazon EMR 用户现在可以可靠地运行 ETL 工作流程，同时还可以因为迭代任务运行从性能和成本节约中受益。您可以使用 Amazon EMR 控制台、CLI 或 API 上的 Trino 配置分类在 Amazon EMR Trino 集群上启用容错功能。
您可以在提供 Amazon EMR 的所有区域中使用此功能。要了解有关此功能的更多信息，请参阅我们的文档。