Publicado: Feb 10, 2022
O Amazon Redshift lança o suporte de ingestão de streaming para Kinesis Data Streams (KDS). A ingestão de streaming do Amazon Redshift elimina a necessidade de preparar dados no Amazon S3 antes de ingeri-los no Amazon Redshift, permitindo que os clientes obtenham baixa latência em segundos enquanto ingerem centenas de megabytes de dados de streaming por segundo em seu data warehouse.
Os engenheiros de dados, analistas de dados e desenvolvedores de big data estão evoluindo suas análises de lote para tempo real, adotando mecanismos de streaming como o Amazon Kinesis, para implementar lógica e análise responsiva quase em tempo real em dados de aplicativos de streaming. Atualmente, os clientes que desejam ingerir dados em tempo real, de serviços como o Amazon Kinesis, no Amazon Redshift devem primeiro preparar os dados no Amazon S3 e usar o comando COPY, que atinge a latência em minutos. Com o novo recurso de ingestão de streaming no Amazon Redshift, você pode usar o SQL (Structured Query Language) no Redshift para fornecer a capacidade de se conectar e ingerir dados diretamente de vários fluxos de dados do Kinesis simultaneamente. A ingestão de streaming do Amazon Redshift simplifica os pipelines de dados, permitindo que você crie visualizações materializadas diretamente sobre os streams. As visualizações materializadas também podem incluir transformações SQL como parte de seu pipeline ELT (Extract Load Transform). Depois que as visualizações materializadas forem definidas, você poderá atualizá-las manualmente para permitir que você consulte os dados de fluxo mais recentes. Essa abordagem permite que você execute o processamento downstream e transformações de dados de streaming usando ferramentas existentes e SQL com os quais você está familiarizado, sem custo adicional.
A visualização do Amazon Redshift Streaming Ingestion agora está disponível em todas as regiões da Amazon Web Services (AWS) onde o Amazon Redshift está disponível.. Para começar a usar o Amazon Redshift Streaming Ingestion, provisione um cluster do Amazon Redshift no CURRENT Track e verifique se o cluster está executando a versão 1.0.35480 ou mais recente. Observe que os recursos de visualização são fornecidos principalmente para fins de avaliação e teste. Eles não devem ser usados em sistemas de produção ou com dados de produção. Para ver os termos e condições de visualização, consulte Participação do Serviço Beta em Termos de Serviço da AWS. Para obter mais informações sobre como começar a usar o Amazon Redshift Streaming Ingestion, consulte a página de documentação do Amazon Redshift. Não hesite em nos contatar com perguntas ou comentários em: redshiftstreamingingestion@amazon.com.