投稿日: Nov 30, 2022
Amazon Redshift で、Amazon S3 から Amazon Redshift へのデータの読み込みを簡素化する自動コピー機能のプレビューの提供が開始されました。Amazon S3 のパスを追跡して継続的にファイルを取り込むルールを設定することで、ツールやカスタムソリューションを別途用意することなく新しいファイルを自動的に読み込むことができます。
Amazon Redshift をお使いのお客様は、COPY 命令を実行することで、Amazon S3 などのさまざまなデータソースからローカルのテーブルにデータを読み込めます。今回のリリースでは、COPY 命令をコピージョブに格納できるようになったため、指定した Amazon S3 のパス上にある新しいファイルを自動的に検出して読み込めるようになりました。コピージョブは、過去に読み込まれたファイルを追跡し、それらのファイルを取り込み処理から除外します。その動作はシステムテーブルを使用してモニタリングできます。また、自動読み込みが不要な場合、コピージョブを手動で実行することもできます。これにより、コピー命令を再利用したり、データの重複を回避したりすることができます。
Redshift の Amazon S3 からの自動コピー機能は、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、アジアパシフィック (東京)、欧州 (アイルランド)、欧州 (ストックホルム) の AWS リージョンにおいて、プロビジョニング済みクラスター向けのプレビューとして利用できます。
この機能の使用を開始するには、プレビューのドキュメントをご覧ください。