Publicado: Aug 31, 2021
Hoje anunciamos o particionamento dinâmico no Amazon Kinesis Data Firehose. Com o particionamento dinâmico, você pode particionar continuamente dados de transmissão no Kinesis Data Firehose usando chaves dentro de dados como “customer_id” ou “transaction_id” e entregar dados agrupados por essas chaves nos prefixos correspondentes do Amazon Simple Storage Service (Amazon S3), fazendo com que seja mais fácil para você executar análises econômicas de alta performance em transmissão de dados no Amazon S3 usando Amazon Athena, Amazon EMR e Amazon Redshift Spectrum.
O particionamento de seus dados minimiza a quantidade de dados verificados, otimizando a performance e reduzindo os custos de suas consultas analíticas no Amazon S3 e aumentando o acesso detalhado aos dados. Tradicionalmente, os clientes usam fluxos de entrega Kinesis Data Firehose para capturar e carregar seus fluxos de dados no Amazon S3. Para particionar um conjunto de dados de transmissão para análises baseadas no Amazon S3, os clientes precisariam executar aplicativos de particionamento entre buckets do Amazon S3 antes de disponibilizar os dados para análise, o que pode se tornar complicado ou caro.
Agora, com o particionamento dinâmico, o Kinesis Data Firehose vai agrupar continuamente os dados em trânsito por chaves de dados definidas de forma dinâmica ou estática e entregar isso aos prefixos individuais do Amazon S3 por chave. Isso reduzirá o tempo de insight em minutos ou horas, reduzindo custos e simplificando arquiteturas. Junto com os recursos de conversão de formato Apache Parquet e Apache ORC, esse recurso torna o Kinesis Data Firehose o melhor lugar para capturar, preparar e carregar dados de transmissão prontos para análise para o Amazon S3.
Visite o manual do usuário do Kinesis Data Firehose para começar com o particionamento dinâmico ou visite a página de preços para saber mais sobre preços sob demanda para particionamento dinâmico. O particionamento dinâmico pode ser usado em todas as regiões da AWS comerciais onde o Kinesis Data Firehose está disponível.