如何解决 AWS Glue 错误“指定子网没有足够的可用地址来满足请求”？

上次更新时间：2021 年 7 月 26 日

我的 AWS Glue 提取、转换和加载 (ETL) 任务返回以下错误之一：

“指定子网没有足够的可用地址来满足请求。（服务：AmazonEC2；状态代码：400；错误代码：InsufficientFreeAddressesInSubnet；请求 ID：my_request_id）”

-或者-

调用 o70.getDynamicFrame 时发生错误。任务 0 已取消，因为 SparkContext 由于达到启动后执行程序的阈值失败而导致关闭”

简短描述

如果没有足够的 IP 地址可用于 AWS Glue 任务，您就会收到此错误。下面是可能发生这些错误的两个常见原因：

当您在 Virtual Private Cloud (VPC) 子网中运行任务时，AWS Glue 会设置弹性网络接口，使您的任务能够安全地连接到 VPC 中的其他资源。每个弹性网络接口都会获得一个私有 IP 地址。如果弹性网络接口未按预期释放，则可能没有足够的 IP 地址可用于该作业。要解决此错误，请确认作业使用的 DPU 数量。然后，减少 DPU 的数量，并再次运行作业。或者，删除未使用的弹性网络接口。
多个 AWS 服务正在使用同一子网。这些服务可能使用子网的许多可用 IP 地址。要解决此错误，请为 AWS Glue 作业使用具有更多可用 IP 地址的不同子网。

使用以下方法之一来解决这些错误。

任务运行完成后，检查该任务使用的 DPU 数量：

执行以下操作以减少任务的 DPU 数量：

检查子网中的可用 IP 地址的数量：

打开 AWS Glue 控制台。
在导航窗格中，选择连接。
选择要检查的连接。
在操作下拉列表中，选择查看详细信息。记下该子网。
打开 Amazon VPC 控制台。
在导航窗格中，选择 Subnets（子网）。
在 Subnet（子网）下拉列表中，选择 AWS Glue 连接正在使用的子网。
在 Description（说明）选项卡上，选中 Available IPv4 Addresses（可用的 IPv4 地址）字段。此字段显示子网中有多少 IP 地址可用。

请确保可用 IP 地址的数量超过 AWS Glue 任务所需的 IP 地址数。

如果可用 IP 地址的数量少于 AWS Glue 任务运行所需的数量，则删除未使用的弹性网络接口。

执行以下操作以创建新子网：

在 VPC 中创建新子网。
注意：您可以使用 VPC 的原始 CIDR 块创建新子网，也可以将额外的 CIDR 块添加到您的 VPC 以便与新子网一起使用。
查阅与旧子网关联的路由表和访问控制列表 (ACL) 规则，以确保新子网以相同的方式路由流量。例如，如果以前的子网将默认路由配置为互联网网关，则确保新子网具有类似的默认路由。

执行以下操作修改 AWS Glue 连接以使用新子网：

打开 AWS Glue 控制台。
在导航窗格中，选择连接。
选择 AWS Glue 任务正在使用的连接。
在 Action（操作）下拉列表中，选择 Edit connection（编辑连接）。
在 Set up your connection’s properties（设置连接的属性）页面上，选择 Next（下一步）。
在 Set up access to your data store（设置数据存储的访问权限）页面上的 Subnet（子网）下拉列表中，选择新子网。
选择 Next（下一步），然后选择 Finish（完成）。
重新运行任务。