Publicado en: Dec 9, 2020
Amazon EMR en Amazon EKS proporciona una nueva opción de implementación para Amazon EMR que le permite ejecutar Apache Spark en Amazon Elastic Kubernetes Service (Amazon EKS). Si ya utiliza Amazon EMR, ahora puede ejecutar aplicaciones basadas en Amazon EMR con otros tipos de aplicaciones en el mismo clúster de Amazon EKS para mejorar el uso de los recursos y simplificar la administración de la infraestructura en múltiples zonas de disponibilidad de AWS. Si ya ejecuta marcos de big data en Amazon EKS, ahora puede utilizar Amazon EMR para automatizar el aprovisionamiento y la administración, así como también para ejecutar Apache Spark hasta el triple de rápido. Con esta opción de implementación, puede centrarse en la ejecución de cargas de trabajo de análisis mientras Amazon EMR en Amazon EKS crea, configura y administra los contenedores.
Para comenzar, registre su clúster de EKS en Amazon EMR. Después, defina el trabajo e incluya la versión de EMR, los parámetros de Spark y las dependencias de la aplicación. Amazon EMR en Amazon EKS programará los pods, contenedores y recursos en el clúster de Amazon EKS. Puede configurar el trabajo para que se ejecute en las instancias Amazon EC2 o en Amazon Fargate si quiere una experiencia sin servidor. Puede crear flujos de trabajo con Apache Airflow o Amazon Managed Workflows for Apache Airflow y analizar el resultado con registros por trabajo almacenados en Amazon S3 o Amazon CloudWatch.
Para enviar trabajos mediante blocs de notas, EMR Studio proporciona un entorno de desarrollo integrado (IDE, Integrated Development Environment) que facilita a los científicos e ingenieros de datos el desarrollo, la visualización y la corrección de aplicaciones de ingeniería y de ciencias de datos escritas en R, Python, Scala y PySpark.
Los precios de Amazon EMR en EKS se calculan con base en el vCPU y los recursos de memoria utilizados desde el momento en que se programa un pod de Amazon EKS hasta el momento en que se termina, redondeado al segundo más cercano con un mínimo de un minuto. Los precios se basan en la vCPU y los recursos de memoria solicitados para la tarea o pod.
Amazon EMR en Amazon EKS se encuentra disponible en las regiones de AWS en EE. UU. Oeste (Oregón), EE. UU. Este (Norte de Virginia) y UE (Irlanda).
Para más información, consulte la página de detalle de Amazon EMR en Amazon EKS y la publicación del blog de noticias de AWS.