发布于: Jan 19, 2024
Amazon Kinesis Data Firehose (Firehose) 现已在预览版中提供与 Snowflake Snowpipe Streaming 的直接集成。使用 Firehose,客户能够可靠地捕获、转换数据流,并将其传输到 Amazon S3、Amazon Redshift、Splunk 和其他目的地进行分析。借助这项新功能,客户可以将包括 Kinesis Data Streams 在内的多个来源的点击流、应用程序和 AWS 服务日志流式传输到 Snowflake。只需单击几下,客户就可以设置一个 Firehose 数据流来向 Snowflake 传输数据。Firehose 可自动扩展到流式传输数 GB 的数据,并且记录只需几秒钟即可在 Snowflake 中提供。
Snowflake 提供了两种将数据加载到 Snowflake 表中的选项:Snowpipe 和 Snowpipe Streaming。使用 Snowpipe,客户可以微批处理的形式加载文件中的数据。这需要将数据流聚合成批次、写入临时存储,然后加载到 Snowflake 中。这种多步骤的过程会带来几分钟的延迟,并产生更高的成本。Snowpipe Streaming 支持将数据行写入表中。通过与 Snowpipe Streaming 集成,Firehose 能够尽可能快地逐条记录提供数据流,因此只需几秒钟即可在 Snowflake 中查询数据。这样,客户便降低了向 Snowflake 传输数据流的成本、延迟和复杂性。