AWS Glue 宣布针对 REST API 连接器提供 VPC 支持、过滤下推和分区支持
发布于:
2026年7月29日
AWS Glue 现在针对 REST API 连接器提供 VPC 支持、过滤下推和分区支持。使用 REST API 连接器,您可以从提供基于 REST 的 API 的任何来源(包括专有系统和没有原生 AWS Glue 连接器的新兴平台)摄取数据。通过此次发布,您可以使用 REST API 端点从数据来源运行 ETL 管道,不仅能够安全地连接到私有端点、仅传输必要数据,还能并行读取以加快摄取速度,所有这些都无需编写自定义代码。
借助 VPC 支持,您可以使用 REST API 连接器访问私有子网中托管的或通过 VPN 或 AWS PrivateLink 连接的数据来源,无需让流量经过公共互联网。过滤下推可将查询谓词转换为 API 原生参数,因此只有匹配的记录才会离开数据来源,从而降低数据传输成本并提高作业性能。分区支持可使用基于字段或按记录计数的策略,将大型数据集拆分到多个 Spark 工作线程中,并提供并行读取,从而缩短高大量分页 API 的摄取时间。
这些功能已在提供 AWS Glue 的所有 AWS 商业区域推出。
要开始使用,请参阅 AWS Glue REST API 连接器文档。