发布于: Oct 19, 2023
AWS Glue for Apache Spark 现在支持与 Google BigQuery 的原生连接，这样用户无需安装或管理 Apache Spark 库的 BigQuery 连接器即可高效地从 BigQuery 读取和写入数据。用户现在可以在 AWS Glue Studio 的无代码、拖放式可视化界面中将 BigQuery 添加为源或目标，也可以直接在 AWS Glue ETL 作业脚本中使用连接器。与 AWS Glue 的 ETL（提取、转换、加载）功能相结合后，这个新的连接器可以有效简化 ETL 管道的创建，从而使 ETL 开发人员能够节省构建和维护数据管道的时间。
首先，请在 AWS Glue Data Catalog 中创建一个新的 Google BigQuery 连接，然后将 BigQuery 源或目标添加到 Glue ETL 作业中。从 BigQuery 读取数据时，开发人员可以直接选择 BigQuery 表作为来源，也可以使用 BigQuery SQL 来定义自定义来源。在写入 BigQuery 时，用户可以重复使用现有的 BigQuery 连接，也可以创建新的连接用作目标。使用这些功能，ETL 开发人员能够在各种场景中使用 BigQuery 和 AWS Glue。
此功能已在推出 AWS Glue 的所有商业 AWS 区域提供。
要了解更多信息，请访问 AWS Glue 文档。