Publicado en: Jan 19, 2024
Amazon Kinesis Data Firehose (Firehose) ahora ofrece una integración directa con Snowflake Snowpipe Streaming en versión preliminar. Firehose permite a los clientes capturar, transformar y entregar de manera confiable flujos de datos a Amazon S3, Amazon Redshift, Splunk y otros destinos para el análisis. Con esta nueva característica, los clientes pueden transmitir registros de secuencias de clics, aplicaciones y servicios de AWS desde varias fuentes, incluido Kinesis Data Streams, a Snowflake. Con unos pocos clics, los clientes pueden configurar un flujo de Firehose para entregar datos a Snowflake. Firehose escala automáticamente para transmitir gigabytes de datos y los registros están disponibles en Snowflake en cuestión de segundos.
Snowflake ofrece dos opciones para cargar datos en las tablas de Snowflake: Snowpipe y Snowpipe Streaming. Con Snowpipe, los clientes cargan los datos de los archivos en microlotes. Esto requiere agregar los flujos en lotes, escribirlos en el almacenamiento provisional y, a continuación, cargarlos en Snowflake. Este proceso de varios pasos suma varios minutos de latencia y un costo mayor. Snowpipe Streaming permite escribir filas de datos en tablas. Gracias a la integración con Snowpipe Streaming, Firehose entrega los flujos registro por registro tan pronto como están disponibles. Por este motivo, los datos están disponibles para consultarlos en Snowflake en cuestión de segundos. De este modo, los clientes reducen el costo, la latencia y la complejidad de la entrega de flujos a Snowflake.
La integración de Firehose con Snowflake está disponible en versión preliminar en las regiones Este de EE. UU. (Norte de Virginia), Oeste de EE. UU. (Oregón) y Europa (Irlanda). Para obtener más información y comenzar, consulte la documentación, los precios y la consola de Amazon Kinesis Data Firehose. Las características de versión preliminar se proporcionan para la evaluación y las pruebas y no se deben utilizar en los sistemas de producción. Para ver los términos y condiciones, consulte el artículo Participación en el servicio beta en los términos del servicio de AWS.