Publicado: Apr 17, 2024
Agora, o Amazon Data Firehose (Firehose) oferece integração direta com o Snowflake Snowpipe Streaming. O Firehose permite que os clientes capturem, transformem e entreguem fluxos de dados de forma confiável no Amazon S3, Amazon Redshift, Splunk e outros destinos para análise. Com esse novo atributo, os clientes podem transmitir logs de clickstream, de aplicações e de serviços da AWS de várias fontes, incluindo o Kinesis Data Streams, para o Snowflake. Com alguns cliques, os clientes podem configurar um fluxo do Firehose para entregar dados ao Snowflake. O Firehose é escalado automaticamente para transmitir gigabytes de dados, e os registros ficam disponíveis no Snowflake em segundos.
O Snowflake oferece duas opções para carregar dados nas tabelas do Snowflake: Snowpipe e Snowpipe Streaming. Com o Snowpipe, os clientes carregam dados de arquivos em microlotes. Isso exige a agregação de fluxos em lotes, a gravação no armazenamento provisório e o carregamento no Snowflake. Esse processo de várias etapas introduz vários minutos de latência e maior custo. O Snowpipe Streaming permite gravar linhas de dados em tabelas. Por meio da integração com o Snowpipe Streaming, o Firehose fornece fluxos registro por registro assim que disponíveis, para que os dados estejam disponíveis para consulta no Snowflake em segundos. Assim, os clientes reduzem o custo, a latência e a complexidade da entrega de fluxos no Snowflake.
Para saber mais e começar a usar, acesse a documentação, os preços e o console do Amazon Data Firehose.