Publicado en: May 1, 2024
Amazon EMR sin servidor es una opción sin servidor en Amazon EMR que facilita a los ingenieros y los científicos de datos la ejecución de marcos de análisis de big data de código abierto sin la necesidad de configurar, administrar y escalar clústeres o servidores. Una aplicación de EMR sin servidor utiliza procesos de trabajo para ejecutar cargas de trabajo. Esto permite a los usuarios configurar el almacenamiento efímero por proceso de trabajo en función de las necesidades de las cargas de trabajo. Hoy nos complace presentar los discos optimizados para reorganización en Amazon EMR sin servidor, que ofrecen una mayor capacidad de almacenamiento (hasta 2 TB) y un mayor nivel de operaciones de entrada/salida por segundo (IOPS). De esta manera, se ofrece un mejor rendimiento para las cargas de trabajo de Spark y Hive con uso intensivo de E/S.
La reorganización es un paso fundamental en un trabajo de Apache Spark o Apache Hive, ya que implica operaciones intensivas de E/S que redistribuyen o reorganizan los datos para realizar cálculos paralelos durante operaciones como uniones, agregaciones o transformaciones. Las cargas de trabajo complejas con grandes conjuntos de datos para reorganizar requieren una capacidad de disco y un rendimiento de E/S suficientes para lograr un procesamiento aleatorio optimizado. Los discos optimizados para reorganización ofrecen hasta 2 TB de capacidad de almacenamiento y un nivel de IOPS base más alto. Esto permite ejecutar de manera eficiente cargas de trabajo de Spark y Hive que requieren un uso intensivo de E/S y amplia reorganización.
Los discos optimizados para reorganización suelen estar disponibles en la versión 7.1.0 de EMR en todas las regiones de AWS en las que EMR sin servidor está disponible, excepto en las regiones de AWS GovCloud (EE. UU.) y China. Para obtener más información sobre los discos optimizados para reorganización, consulte la Guía del usuario sin servidor de EMR. Para obtener información sobre los precios de los discos optimizados para reorganización, visite la página de precios de EMR sin servidor.