Publicado: Nov 29, 2022
Agora, o Amazon Redshift oferece a ingestão de streaming em tempo real para Amazon Kinesis Data Streams (KDS) e Amazon Managed Streaming para Apache Kafka (MSK). A ingestão de streaming do Amazon Redshift elimina a necessidade de preparar dados de streaming no Amazon S3 antes de ingeri-los no Amazon Redshift, permitindo que os clientes obtenham baixa latência (segundos) na ingestão de centenas de megabytes de dados de streaming por segundo para um data warehouse.
Engenheiros de dados, analistas de dados e desenvolvedores de big data estão evoluindo as análises, migrando de lotes para processamento em tempo real com a adoção de mecanismos de streaming, como Amazon KDS e Amazon MSK, para implementar lógica e análises responsivas, praticamente em tempo real, de dados de aplicações de streaming. Hoje, clientes que desejam ingerir dados em tempo real de serviços como Amazon KDS e Amazon MSK no Amazon Redshift precisam primeiro preparar os dados no Amazon S3 e usar o comando COPY, que oferece latência de minutos. Com o novo recurso de ingestão de streaming no Amazon Redshift, você pode usar SQL (Structured Query Language) no Redshift para conexão e ingestão direta e simultânea de dados de vários fluxos do Amazon KDS ou tópicos do Amazon MSK. A ingestão de streaming do Amazon Redshift simplifica os pipelines de dados, permitindo que você crie visões materializadas diretamente dos fluxos. As visões materializadas também podem incluir transformações de SQL dentro de pipelines de ELT (Extract Load Transform).
Após a definição das visões materializadas, os dados de streaming são ingeridos de forma automática e contínua do fluxo do KDS ou tópico do MSK para a visão materializada de streaming do Amazon Redshift (o recurso de atualização automática precisa estar ativado). Além disso, se pretende ter controle direto sobre a programação de ingestão, você pode atualizar manualmente a visão materializada do streaming. Essa abordagem permite que você execute processamento e transformações de dados de streaming em etapas posteriores do fluxo de trabalho, usando SQL e ferramentas do Amazon Redshift já conhecidas, sem custo adicional.
A ingestão de streaming do Amazon Redshift já está disponível em todas as regiões da Amazon Web Services (AWS) em que o Amazon Redshift é oferecido. Para começar a usar a ingestão de streaming do Amazon Redshift, provisione um cluster do Amazon Redshift no acompanhamento atual. Para obter mais informações sobre como começar a usar a ingestão de streaming do Amazon Redshift, consulte a página de documentação do Amazon Redshift.