投稿日: Feb 10, 2022
Amazon Redshift が、Kinesis Data Streams (KDS) のストリーミング取り込みのサポートを開始します。Amazon Redshift のストリーミング取り込みを使用すると、データを Amazon Redshift に取り込む前に Amazon S3 でステージングする必要がなくなり、1 秒あたり数百メガバイトのストリーミングデータをデータウェアハウスに取り込みながら、数秒で低レイテンシーを実現できます。
データエンジニア、データアナリスト、ビッグデータデベロッパーは、分析をバッチからリアルタイムに進化させ、Amazon Kinesis などのストリーミングエンジンを採用して、ストリーミングアプリケーションデータにほぼリアルタイムの応答ロジックと分析を実装しています。現在、Amazon Kinesis などのサービスから Amazon Redshift にリアルタイムデータを取り込みたいお客様は、最初に Amazon S3 でデータをステージングし、COPY コマンドを使用する必要があります。これにより数分でレイテンシーを達成しできます。Amazon Redshift の新しいストリーミング取り込み機能を使用すると、Redshift 内で SQL (Structured Query Language) を使用して、複数の Kinesis データストリームに同時に接続してデータを直接取り込む機能を実現できます。Amazon Redshift のストリーミング取り込みは、ストリームの上にマテリアライズドビューを直接作成できるようにすることで、データパイプラインを簡素化します。マテリアライズドビューには、ELT (抽出、変換、ロード) パイプラインの一部として SQL 変換を含めることもできます。マテリアライズドビューが定義されると、それらを手動で更新して、最新のストリームデータを照会できるようにすることができます。このアプローチにより、追加費用なしで、使い慣れた既存のツールと SQL を使用して、ストリーミングデータのダウンストリーム処理と変換を実行できます。
Amazon Redshift のストリーミング取り込みプレビューが、Amazon Redshift が利用可能なすべてのアマゾン ウェブ サービス (AWS) リージョンで利用できるようになりました。 Amazon Redshift のストリーミング取り込みの使用を開始するには、現在のトラックで Amazon Redshift クラスターをプロビジョニングし、クラスターがバージョン 1.0.35480 以降を実行していることを確認します。プレビュー機能は、主に評価とテストの目的で提供されていることに注意してください。したがって、本稼働システムまたは本稼働データでは使用しないでください。プレビューの利用規約については、AWS のサービス利用規約のベータサービスへの参加をご覧ください。Amazon Redshift のストリーミング取り込みの使用を開始する方法の詳細については、Amazon Redshift のドキュメントページを参照してください。ご不明な点やフィードバックがございましたら、redshiftstreamingingestion@amazon.com までお気軽にお問い合わせください。