投稿日: Apr 17, 2024
Amazon Data Firehose (Firehose) を Snowflake Snowpipe Streaming と直接統合できるようになりました。Firehose を使用すると、お客様はデータストリームを確実にキャプチャおよび変換できるほか、Amazon S3、Amazon Redshift、Splunk、その他の宛先に対して分析用にデータストリームを配信できます。この新機能により、お客様は Kinesis Data Streams を含む複数のソースからのクリックストリーム、アプリケーション、AWS サービスのログを Snowflake にストリーミングできます。数回クリックするだけで、お客様は Firehose ストリームを設定して Snowflake にデータを配信できます。Firehose は自動的にスケールしてギガバイト単位のデータをストリーミングし、レコードは数秒以内に Snowflake で利用可能になります。
Snowflake には、データを Snowflake テーブルにロードするためのオプションが 2 つあります。Snowpipe と Snowpipe Streaming です。Snowpipe を使用すると、お客様はマイクロバッチでデータをファイルからロードできます。この場合、ストリームをバッチに集約し、一時ストレージに書き込んでから、Snowflake にロードする必要があります。この複数のステップからなるプロセスでは、数分のレイテンシーが発生し、コストも高額になります。Snowpipe Streaming では、データ行をテーブルに書き込むことができます。Snowpipe Streaming との統合により、Firehose は利用可能になったストリームをすぐにレコード単位で配信するため、Snowflake でデータを数秒でクエリできるようになります。これによりお客様は、Snowflake へのストリーム配信を行う際のコスト、レイテンシー、複雑さを軽減できます。