投稿日: Jan 19, 2024
Amazon Kinesis Data Firehose (Firehose) を Snowflake Snowpipe Streaming と直接統合できるようになりました (プレビュー版)。Firehose を使用すると、お客様はデータストリームを確実にキャプチャおよび変換できるほか、Amazon S3、Amazon Redshift、Splunk、その他の宛先に対して分析用にデータストリームを配信できます。この新機能により、お客様は Kinesis Data Streams を含む複数のソースからのクリックストリーム、アプリケーション、AWS サービスのログを Snowflake にストリーミングできます。数回クリックするだけで、お客様は Firehose ストリームを設定して Snowflake にデータを配信できます。Firehose は自動的にスケールしてギガバイト単位のデータをストリーミングし、レコードは数秒以内に Snowflake で利用可能になります。
Snowflake には、データを Snowflake テーブルにロードするためのオプションが 2 つあります。Snowpipe と Snowpipe Streaming です。Snowpipe を使用すると、お客様はマイクロバッチでデータをファイルからロードできます。この場合、ストリームをバッチに集約し、一時ストレージに書き込んでから、Snowflake にロードする必要があります。この複数のステップからなるプロセスでは、数分のレイテンシーが発生し、コストも高額になります。Snowpipe Streaming では、データ行をテーブルに書き込むことができます。Snowpipe Streaming との統合により、Firehose は利用可能になったストリームをすぐにレコード単位で配信するため、Snowflake でデータを数秒でクエリできるようになります。これによりお客様は、Snowflake へのストリーム配信を行う際のコスト、レイテンシー、複雑さを軽減できます。
Firehose と Snowflake の統合は、米国東部 (バージニア北部)、米国西部 (オレゴン)、および欧州 (アイルランド) の各 AWS リージョンでプレビュー版を利用できます。詳細および開始方法については、Amazon Kinesis Data Firehose のドキュメント、料金、コンソールをご覧ください。プレビュー機能は、評価とテストのために提供されるものです。本番システムでは使用しないでください。利用規約については、AWS のサービス条件に記載のベータサービスへの参加に関する内容をご覧ください。