投稿日: Oct 19, 2023
AWS Glue for Apache Spark が Google BigQuery へのネイティブ接続をサポートするようになりました。これにより、ユーザーは Apache Spark ライブラリ用の BigQuery コネクタをインストールしたり管理したりすることなく、BigQuery からデータを効率的に読み書きできるようになります。ユーザーは、ノーコードのドラッグアンドドロップで使用できる AWS Glue Studio の視覚的なインターフェイス内で BigQuery をソースまたはターゲットとして追加したり、AWS Glue ETL ジョブスクリプトでコネクタを直接使用したりできるようになりました。この新しいコネクタを AWS Glue の ETL (抽出、変換、ロード) 機能と組み合わせると、ETL パイプラインの作成が容易になり、ETL デベロッパーはデータパイプラインの構築と保守にかかる時間を節約できます。
開始するには、AWS Glue データカタログ内で新しい Google BigQuery 接続を作成し、BigQuery のソースまたはターゲットを Glue ETL ジョブに追加します。BigQuery からデータを読み込む場合、デベロッパーは BigQuery テーブルをソースとして直接選択したり、BigQuery SQL を使用してカスタムソースを定義したりできます。BigQuery に書き込む際に、ユーザーは既存の BigQuery 接続を再利用したり、ターゲットとして使用する新しい接続を作成したりできます。これらの機能により、ETL デベロッパーはさまざまなシナリオで BigQuery と AWS Glue を使用できます。
この機能は、AWS Glue が利用できるすべての商用 AWS リージョンで利用可能です。
詳細については、AWS Glue のドキュメントを参照してください。