Publicado en: Feb 10, 2022
Amazon Redshift lanza la compatibilidad con la ingestión de streaming para Kinesis Data Streams (KDS). La ingesta de streaming de Amazon Redshift elimina la necesidad de organizar los datos en Amazon S3 antes de ingerirlos en Amazon Redshift, lo que permite a los clientes conseguir una baja latencia en segundos mientras ingieren cientos de megabytes de datos de streaming por segundo en su almacenamiento de datos.
Los ingenieros y analistas de datos, así como los desarrolladores de macrodatos, están evolucionando la análisis de lote a tiempo real, adoptando motores de streaming como Amazon Kinesis, para implementar una lógica de respuesta y análisis casi en tiempo real sobre los datos de las aplicaciones de streaming. Hoy en día, los clientes que quieren ingerir datos en tiempo real, procedentes de servicios como Amazon Kinesis, en Amazon Redshift deben primero preparar los datos en Amazon S3 y utilizar el comando COPY, que obtiene una latencia de minutos. Con la nueva capacidad de ingesta de streaming en Amazon Redshift, se puede utilizar SQL (Structured Query Language) dentro de Redshift para brindar la capacidad de conectarse e ingerir directamente los datos de múltiples secuencias de datos de Kinesis simultáneamente. La ingesta de streaming de Amazon Redshift simplifica las canalizaciones de datos al permitirle crear vistas materializadas sobre los flujos directamente. Las vistas materializadas también pueden incluir transformaciones SQL como parte de la canalización ELT (Extract Load Transform). Una vez definidas las vistas materializadas, puede actualizarlas manualmente para poder consultar los datos más recientes del flujo. Este enfoque le permite realizar el procesamiento posterior y las transformaciones de los datos de streaming utilizando las herramientas existentes y el SQL con el que está familiarizado, sin costo adicional.
La versión preliminar de ingesta de streaming de Amazon Redshift ya está disponible en todas las regiones de Amazon Web Services (AWS) en las que está disponible Amazon Redshift. Para comenzar a utilizar la ingesta de streaming de Amazon Redshift, aprovisione un clúster de Amazon Redshift en la pista ACTUAL y verifique que el clúster ejecuta la versión 1.0.35480 o más reciente. Tenga en cuenta que las funciones de versión preliminar se proporcionan principalmente con fines de evaluación y prueba. No deben utilizarse en sistemas de producción ni con datos de producción. Para ver los términos y condiciones de la versión preliminar, consulte la participación en el servicio beta en los términos del servicio de AWS. Para obtener más información acerca de cómo comenzar a utilizar la ingesta de streaming de Amazon Redshift, consulte la página de documentación de Amazon Redshift. No dude en ponerse en contacto con nosotros si tiene preguntas o sugerencias en: redshiftstreamingingestion@amazon.com.