AWS Step Functions agrega la integración del servicio Amazon EMR

Publicado en: Nov 19, 2019

AWS Step Functions ahora viene integrado con Amazon EMR, lo que agiliza la creación y facilita el monitoreo de los flujos de trabajo de procesamiento de big data de EMR.

AWS Step Functions le permite crear flujos de trabajo resilientes con servicios de AWS, como Amazon EMR, Amazon SageMaker y AWS Lambda. Amazon EMR es la plataforma de big data nativa en la nube líder del sector, que permite a los equipos procesar grandes volúmenes de datos de forma rápida y rentable a escala. Con Step Functions y Amazon EMR, puede organizar flujos de trabajo de big data para los que escribe una cantidad mínima de código adicional.  

Con Amazon EMR y AWS Step Functions, ahora puede crear flujos de trabajo de procesamiento de datos eficientes que ordenan los pasos de Amazon EMR, administran las dependencias y ejecutan el trabajo en paralelo. Puede ampliar o reducir proactivamente un clúster como parte de un flujo de trabajo de ETL, con lo que logra ajustar el tamaño del clúster para la tarea en cuestión. También puede mejorar la resiliencia de sus flujos de trabajo de procesamiento de datos si elige la forma de administrar las excepciones, si vuelve a intentar completar los trabajos fallidos y si avisa a los usuarios de los errores.

Con la integración del servicio Amazon EMR en el SDK de ciencia de datos de AWS Step Functions, puede crear flujos de trabajo integrales para la ciencia de datos. La integración del servicio EMR está disponible en todas las regiones en las que se ofrecen tanto AWS Step Functions como Amazon EMR. Para obtener una lista completa de regiones y servicios ofrecidos, consulte Regiones de AWS.

Para empezar, revise la documentación e implemente un proyecto de muestra de un solo clic que demuestre cómo crear un flujo de trabajo de procesamiento de datos con Amazon EMR. A continuación, comience a crear su primer flujo de trabajo de procesamiento de datos.

Más información: