AWS Glue が REST API コネクタの VPC 接続、フィルタープッシュダウン、およびパーティション化に対応
AWS Glue において、REST API コネクタの VPC 接続、フィルタープッシュダウン、パーティション化がサポートされました。REST API コネクタを使用すると、独自開発のシステムや AWS Glue の標準コネクタが存在しない新興プラットフォームなど、REST ベースの API を公開しているあらゆるソースからデータを取り込むことができます。今回のリリースにより、REST API エンドポイントをもつデータソースからの ETL パイプライン運用において、プライベートエンドポイントへの安全な接続、必要なデータのみの転送、およびデータ取り込み高速化のための並列読み込みが、カスタムコードを記述することなくすべて実現可能になります。
VPC サポートにより、REST API コネクタを使用して、トラフィックをパブリックインターネットに公開することなく、プライベートサブネット内にホストされているデータソースや、VPN または AWS PrivateLink 経由で接続されたデータソースにアクセスできます。フィルタープッシュダウン機能は、クエリの述語を API ネイティブのパラメータに変換するため、条件に一致するレコードのみがソースから出力されます。これにより、データ転送コストが削減され、ジョブのパフォーマンスが向上します。パーティションサポート機能は、フィールドベースまたはレコードカウントベースの戦略を用いて大規模なデータセットを複数の Spark ワーカーに分割し、並列読み取りを提供します。これにより、大容量かつページ分割された API からの取り込み時間を短縮できます。
これらの機能は、AWS Glue が利用可能なすべての AWS 商用リージョンでご利用いただけます。
使用を開始するには、AWS Glue REST API コネクタのドキュメントを参照してください。