Publicado en: Apr 17, 2024
Amazon Data Firehose (Firehose) ahora ofrece una integración directa con Snowflake Snowpipe Streaming. Firehose permite a los clientes capturar, transformar y entregar de manera confiable secuencias de datos a Amazon S3, Amazon Redshift, Splunk y otros destinos para el análisis. Con esta nueva característica, los clientes pueden transmitir registros de secuencias de clics, aplicaciones y servicios de AWS desde varias fuentes, incluido Kinesis Data Streams, a Snowflake. Con unos pocos clics, los clientes pueden configurar un flujo de Firehose para entregar datos a Snowflake. Firehose escala automáticamente para transmitir gigabytes de datos y los registros están disponibles en Snowflake en cuestión de segundos.
Snowflake ofrece dos opciones para cargar datos en las tablas de Snowflake: Snowpipe y Snowpipe Streaming. Con Snowpipe, los clientes cargan los datos de los archivos en microlotes. Esto requiere agregar los flujos en lotes, escribirlos en el almacenamiento provisional y, a continuación, cargarlos en Snowflake. Este proceso de varios pasos suma varios minutos de latencia y un costo mayor. Snowpipe Streaming permite escribir filas de datos en tablas. Gracias a la integración con Snowpipe Streaming, Firehose entrega los flujos registro por registro tan pronto como están disponibles. Por este motivo, los datos están disponibles para consultarlos en Snowflake en cuestión de segundos. De este modo, los clientes reducen el costo, la latencia y la complejidad de la entrega de flujos a Snowflake.
Para obtener más información y comenzar, consulte la documentación, los precios y la consola de Amazon Data Firehose.