发布于: Jul 25, 2023

Amazon EMR Serverless 是一种无服务器功能,可以让数据分析师和工程师能够轻松运行 Apache Spark 和 Apache Hive 等开源大数据分析框架,而无需配置、管理和扩展集群或服务器。从今天开始,您可以在 Amazon CloudWatch 中存储 EMR Serverless Spark 和 Hive 应用程序的日志。

向 EMR Serverless 应用程序提交任务时,您可以选择应用程序日志的存储位置。可以是托管的存储系统,可以是 Amazon S3,也可以两者同时使用。现在,您也可以选择 Amazon CloudWatch。利用这一功能,您可以使用 CloudWatch 的各种日志分析功能,例如 CloudWatch Logs InsightsLive Tail 等,还可以将日志从 CloudWatch 传输到 Amazon OpenSearch 等其他系统,以便进行进一步分析。在 Amazon CloudWatch 中存储日志时,日志数据始终处于加密状态,但您也可以选择使用自己的加密密钥。

此功能适用于 EMR 的所有发行版本,可以在支持 Amazon EMR Serverless 的所有区域使用。有关更多信息,请参阅 EMR 文档