Presentamos los trabajos de streaming de Amazon EMR sin servidor para el procesamiento continuo de los datos de streaming
Amazon EMR sin servidor es una opción sin servidor en Amazon EMR que facilita a los ingenieros y los científicos de datos la ejecución de marcos de análisis de big data de código abierto sin la necesidad de configurar, administrar y escalar clústeres o servidores. Nos complace anunciar un nuevo modo de trabajo de streaming en Amazon EMR sin servidor, que le permite analizar y procesar datos de streaming de forma continua.
El streaming se ha vuelto vital para que las empresas obtengan información continua de orígenes de datos como sensores, dispositivos de IoT y registros web. Sin embargo, el procesamiento de datos de streaming puede ser un desafío debido a requisitos como la alta disponibilidad, la resistencia a los fallos y la integración con los servicios de streaming. Los trabajos de streaming de Amazon EMR sin servidor tienen características integradas para abordar estos desafíos. Ofrecen alta disponibilidad gracias a la resiliencia multi-AZ (zona de disponibilidad) al conmutar automáticamente por error a las zonas de disponibilidad en buen estado. También ofrecen una mayor resiliencia mediante reintentos automáticos de trabajos en caso de errores y características de administración de registros, como la rotación y compactación de registros, lo que evita la acumulación de archivos de registro que podrían provocar errores en los trabajos. Además, los trabajos de streaming de Amazon EMR sin servidor admiten el procesamiento de datos de servicios de streaming, como los clústeres autoadministrados de Apache Kafka y Amazon Managed Streaming para Apache Kafka, y ahora se integran con Amazon Kinesis Data Streams mediante un nuevo conector integrado para este servicio, lo que facilita la creación de canalizaciones de streaming de extremo a extremo.
Los trabajos de streaming en Amazon EMR sin servidor están disponibles de forma general en las versiones 7.1.0 y posteriores de EMR y en las siguientes regiones de AWS: Este de EE. UU. (Norte de Virginia, Ohio), Oeste de EE. UU. (Oregón), Europa (Estocolmo, París, Fráncfort, Irlanda, Londres), América del Sur (São Paulo) y Asia-Pacífico (Tokio, Seúl, Singapur, Bombay, Sídney). Para empezar, visite la página de trabajos de streaming de Amazon EMR sin servidor en la Guía del usuario de Amazon EMR sin servidor.