为什么 Amazon EMR 上的 Spark 或 Hive 作业失败并显示 HTTP 503“Slow Down”（运行缓慢）AmazonS3Exception 错误？

上次更新时间：2021 年 12 月 9 日

java.io.IOException: com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Slow Down (Service: Amazon S3; Status Code: 503; Error Code: 503 Slow Down; Request ID: 2E8B8866BFF00645; S3 Extended Request ID: oGSeRdT4xSKtyZAcUe53LgUf1+I18dNXpL2+qZhFWhuciNOYpxX81bpFiTw2gum43GcOHR+UlJE=), S3 Extended Request ID: oGSeRdT4xSKtyZAcUe53LgUf1+I18dNXpL2+qZhFWhuciNOYpxX81bpFiTw2gum43GcOHR+UlJE=

当您超过 Amazon Simple Storage Service (Amazon S3) 请求速率时，会发生此错误。请求速率为存储桶中每个前缀每秒 3500 个 PUT/COPY/POST/DELETE 请求和 5500 个 GET/HEAD 请求。

解决此问题的方式有三种：

• 添加更多前缀到 S3 存储桶。
• 减少 Amazon S3 请求的数量。
• 提高 EMR 文件系统 (EMRFS) 重试限制。

在确定请求过多的问题前，首先配置 Amazon CloudWatch 请求指标。

要监控 Amazon S3 请求，请为存储桶启用 CloudWatch 请求指标。然后，为前缀定义筛选条件。有关要监控的有用指标列表，请参阅使用 Amazon CloudWatch 监控指标。

在启用指标后，使用指标中的数据确定以下哪个解决办法最适用于您的使用案例。

存储桶中的前缀数量没有限制。请求速率针对每个前缀，而不是存储桶。例如，如果您在一个存储桶中创建三个前缀，如下：

• s3://awsexamplebucket/images
• s3://awsexamplebucket/videos
• s3://awsexamplebucket/documents

那么，您可以每秒对该存储桶发出 10500 个写入请求或 16500 个读取请求。

• 如果多个并发作业（Spark、Apache Hive 或 s3-dist-cp）正在读取或写入相同的 Amazon S3 前缀：减少并发作业的数量。从最繁重的读/写作业开始。如果您为 Amazon S3 配置了跨账户访问，请记住其他账户也有可能会提交作业到前缀。
• 如果作业尝试写入目标存储桶时发生错误：降低作业的并行性。例如，在写入 Amazon S3 前使用 Spark .coalesce() 或 .repartition() 操作减少 Spark 输出分区的数量。您还可以减少每个执行程序的内核数量，或减少执行程序的数量。
• 如果作业尝试从源存储桶读取时发生错误：减少文件数量，从而减少 Amazon S3 请求的数量。例如，使用 s3-dist-cp 将大量小文件合并成少量大文件。

默认情况下，EMRFS 重试限制设置为 4。您可以在正在运行的集群上或在应用程序运行时提高新集群的重试限制。

要在没有 EMRFS 一致性的情况下提高新集群的重试限制，在启动集群时添加与下面类似的配置对象。

[
    {
      "Classification": "emrfs-site",
      "Properties": {
        "fs.s3.maxRetries": "20"
      }
    }
]

在启动集群后， Spark 和 Hive 应用程序将使用新限制。

要提高正在运行的集群的重试限制，请执行以下操作：

1.    打开 Amazon EMR 控制台。

2.    在集群列表中，在名称下选择要重新配置的活动集群。

3.    打开集群的集群详细信息页面，然后选择配置选项卡。

4.    在筛选条件下拉列表中，选择您想要重新配置的实例组。

5.    在重新配置下拉菜单中，选择在表中编辑。

6.    在配置分类表中，选择 Add configuration（添加配置），然后输入以下内容：

对于 Classification（分类）：输入 emrfs-site；对于 Property（属性）：输入 fs.s3.maxRetries；对于 Value（值）：输入重试限制的新值（例如 20）

7.    选择将此配置应用到所有活动的实例组，然后选择保存更改。

在部署配置后， Spark 和 Hive 应用程序将使用新限制。

要在运行时提高重试限制：

以下是 Spark shell 会话在运行时提高重试限制的示例：

spark> sc.hadoopConfiguration.set("fs.s3.maxRetries", "20")
spark> val source_df = spark.read.csv("s3://awsexamplebucket/data/")
spark> source_df.write.save("s3://awsexamplebucket2/output/")

以下是在运行时为 Hive 应用程序提高重试限制的示例：

hive> set fs.s3.maxRetries=20;
hive> select ....