Publicado en: Dec 14, 2022
Amazon EMR en EKS ahora admite la computación acelerada en tipos de instancias de la unidad de procesamiento gráfico (GPU) mediante Nvidia RAPIDS Accelerator para Apache Spark. La creciente adopción de la inteligencia artificial (IA) y el machine learning (ML) en los análisis ha aumentado la necesidad de procesar datos de forma rápida y rentable con las GPU. Nvidia RAPIDS Accelerator para Apache Spark ayuda a los clientes a aprovechar las ventajas del rendimiento de la GPU a la vez que ahorran en costos de infraestructura. Con esta versión, los clientes de EMR en EKS pueden utilizar RAPIDS Accelerator simplemente especificando la etiqueta de versión de Spark-RAPIDS al llamar a la API de EMR en EKS.
Hasta ahora, los clientes de EMR en EKS tenían que crear una imagen personalizada para usar Nvidia RAPIDS Accelerator. Esto requiere un esfuerzo de ingeniería y pruebas. Además, con cada nueva versión de Nvidia RAPIDS, correcciones de errores o actualizaciones de seguridad, los clientes tenían que reconstruir la imagen personalizada y volver a realizar las pruebas. A partir de EMR 6.9, EMR en EKS presenta una nueva imagen de Nvidia RAPIDS Accelerator para Spark. Los clientes pueden usar la misma API StartJobRun para ejecutar sus trabajos de Spark y simplemente especificar una nueva etiqueta de versión de Spark-RAPIDS para aprovechar RAPIDS Accelerator en un clúster de EKS con un tipo de instancia compatible con GPU.
Esta función está disponible a partir de la versión 6.9 de Amazon EMR en todas las regiones en las que está disponible Amazon EMR en EKS. Para obtener más información sobre cómo ejecutar Nvidia RAPIDS Accelerator para Apache Spark, visite la página de documentación.