Publicado: Dec 14, 2022
O Amazon EMR no EKS já oferece suporte à computação acelerada em tipos de instância de unidade de processamento gráfico (GPU) usando o Nvidia RAPIDS Accelerator para Apache Spark. A crescente adoção da inteligência artificial e do machine learning (ML) na análise aumentou a necessidade de processar dados de forma rápida e econômica com GPUs. O Nvidia RAPIDS Accelerator para Apache Spark ajuda os clientes a aproveitar os benefícios da performance da GPU e, ao mesmo tempo, economizar custos de infraestrutura. Com essa versão, para o cliente do EMR no EKS usar o RAPIDS Accelerator, basta especificar o rótulo de versão do SPARK-Rapids ao chamar A API do EMR no EKS.
Até agora, os clientes do EMR no EKS precisavam criar uma imagem personalizada para usar o Nvidia RAPIDS Accelerator. Isso requer esforço de engenharia e teste. Além disso, a cada nova versão, correção de bugs ou atualização de segurança do Nvidia RAPIDS, os clientes precisavam recriar a imagem personalizada e passar pelos testes novamente. A partir do EMR 6.9, o EMR no EKS está apresentando uma nova imagem do Nvidia RAPIDS Accelerator para Spark. Os clientes podem usar a mesma API StartJobRun para executar seus trabalhos do Spark e simplesmente especificar um novo rótulo de versão do SPARK-Rapids para aproveitar o RAPIDS Accelerator em um cluster do EKS com tipo de instância compatível com GPU.
Esse recurso está disponível a partir do Amazon EMR versão 6.9 em todas as regiões nas quais o Amazon EMR no EKS é oferecido. Para saber mais sobre como executar o Nvidia RAPIDS Accelerator para Apache Spark, acesse a página de documentação.