Publicado: Jan 19, 2024
O Amazon Kinesis Data Firehose (Firehose) agora oferece integração direta com o Snowflake Snowpipe Streaming em pré-visualização. O Firehose permite que os clientes capturem, transformem e entreguem fluxos de dados de forma confiável no Amazon S3, Amazon Redshift, Splunk e outros destinos para análise. Com esse novo atributo, os clientes podem transmitir logs de clickstream, de aplicações e de serviços da AWS de várias fontes, incluindo o Kinesis Data Streams, para o Snowflake. Com alguns cliques, os clientes podem configurar um fluxo do Firehose para entregar dados ao Snowflake. O Firehose é escalado automaticamente para transmitir gigabytes de dados, e os registros ficam disponíveis no Snowflake em segundos.
O Snowflake oferece duas opções para carregar dados nas tabelas do Snowflake: Snowpipe e Snowpipe Streaming. Com o Snowpipe, os clientes carregam dados de arquivos em microlotes. Isso exige a agregação de fluxos em lotes, a gravação no armazenamento provisório e o carregamento no Snowflake. Esse processo de várias etapas introduz vários minutos de latência e maior custo. O Snowpipe Streaming permite gravar linhas de dados em tabelas. Por meio da integração com o Snowpipe Streaming, o Firehose fornece fluxos registro por registro assim que disponíveis, para que os dados estejam disponíveis para consulta no Snowflake em segundos. Assim, os clientes reduzem o custo, a latência e a complexidade da entrega de fluxos no Snowflake.
A integração do Firehose com o Snowflake está disponível em pré-visualização nas regiões da AWS Leste dos EUA (N. da Virgínia), Oeste dos EUA (Oregon) e Europa (Irlanda). Para saber mais e começar a usá-lo, acesse a documentação, os preços e o console do Amazon Kinesis Data Firehose. Os atributos de pré-visualização são fornecidos para fins de avaliação e teste e não devem ser usados em sistemas de produção. Para ver os termos e condições, consulte “Participação do Serviço Beta” nos Termos de Serviço da AWS.