Publicado en: Nov 29, 2022
Amazon Redshift ahora admite la ingesta de streaming en tiempo real para Amazon Kinesis Data Streams (Amazon KDS) y Amazon Managed Streaming para Apache Kafka (Amazon MSK). La ingesta de streaming de Amazon Redshift elimina la necesidad de organizar los datos de streaming en Amazon S3 antes de ingerirlos en Amazon Redshift, lo que les permite a los clientes conseguir una baja latencia, medida en segundos, mientras ingieren cientos de megabytes de datos de streaming por segundo en su almacenamiento de datos.
Los ingenieros y analistas de datos, así como los desarrolladores de macrodatos, están desarrollando el análisis de lote a tiempo real, adoptando motores de streaming como Amazon KDS y Amazon MSK, para implementar una lógica de respuesta y análisis casi en tiempo real sobre los datos de las aplicaciones de streaming. Hoy en día, los clientes que quieren ingerir datos en tiempo real, procedentes de servicios como Amazon KDS y Amazon MSK, en Amazon Redshift primero deben preparar los datos en Amazon S3 y utilizar el comando COPY, que obtiene una latencia de minutos. Con la nueva capacidad de ingesta de streaming en Amazon Redshift, se puede utilizar SQL (Structured Query Language) dentro de Redshift para brindar la capacidad de conectarse e ingerir directamente los datos de múltiples secuencias de datos de Amazon KDS o de múltiples temas de Amazon MSK simultáneamente. La ingesta de streaming de Amazon Redshift simplifica las canalizaciones de datos al permitirle crear vistas materializadas sobre los flujos directamente. Las vistas materializadas también pueden incluir transformaciones SQL como parte de la canalización ELT (Extract Load Transform).
Una vez que se definen las vistas materializadas, los datos de streaming se ingieren de forma automática y continua desde la secuencia de KDS o el tema de MSK en la vista materializada de streaming de Amazon Redshift cuando está habilitada la función de actualización automática. Además, puede optar por actualizar manualmente la vista materializada de streaming cuando desea tener control directo sobre la programación de la ingesta. Este enfoque le permite realizar el procesamiento posterior y las transformaciones de los datos de streaming mediante las herramientas de Amazon Redshift existentes y el SQL con el que está familiarizado, sin costo adicional.
La ingesta de streaming de Amazon Redshift ya está disponible a nivel general en todas las regiones de Amazon Web Services (AWS) en las que está disponible Amazon Redshift. Para comenzar a utilizar la ingesta de streaming de Amazon Redshift, aprovisione un clúster de Amazon Redshift en la pista ACTUAL. Para obtener más información acerca de cómo comenzar a utilizar la ingesta de streaming de Amazon Redshift, consulte la página de documentación de Amazon Redshift.