Publicado: Jun 24, 2021
O Amazon EMR on Amazon EKS anunciou o suporte para imagens personalizadas, um novo recurso que permite aos clientes personalizar as imagens de contêiner do Docker usadas para executar aplicações Apache Spark no Amazon EMR on EKS. Imagens personalizadas permitem instalar e configurar pacotes específicos para sua workload que não estão disponíveis na distribuição pública do tempo de execução Spark do EMR em um único contêiner imutável. Um contêiner imutável promove a portabilidade e simplifica o gerenciamento de dependências para cada workload e permite integrar aplicações em desenvolvimento para o EMR on EKS com seu próprio pipeline de integração contínua (CI).
Até hoje, o EMR on EKS permitia que você fornecesse dependências de aplicações de maneira pontual, enviando uma dependência de um serviço de armazenamento externo, como o Amazon S3, como parte do envio de trabalhos. Agora, com suporte a imagens personalizadas, você pode criar uma imagem do Docker autônoma com a aplicação e suas dependências para cada caso de uso. Por exemplo, você pode criar uma imagem personalizada para engenheiros de dados que inclui uma versão Java específica e certificados exigidos pela aplicação e uma imagem separada para cientistas de dados que inclui dependências diferentes, como bibliotecas patenteadas ou dependências específicas do Python. Os engenheiros de dados e cientistas de dados podem usar a imagem personalizada específica da aplicação em trabalhos do EMR on EKS. Com a nova funcionalidade, você não precisa mais manter, atualizar ou versão de bibliotecas armazenadas externamente, e suas aplicações de big data podem ser desenvolvidas usando os mesmos processos de DevOps que suas outras aplicações conteinerizadas estão usando.
É fácil usar uma imagem personalizada para o seu trabalho do EMR on EKS. Você pode especificar a imagem personalizada que deseja usar no seu trabalho usando o parâmetro spark.kubernetes.container.image na API Start-Job-Run. Também pode usar os parâmetros spark.kubernetes.driver.container.image e spark.kubernetes.executor.container.image para especificar uma imagem diferente para os pods de driver e executor do Spark.
Para começar, consulte nosso blog de lançamento de Notícias da AWS e nosso vídeo de demonstração de visão geral. A imagem personalizada tem suporte em todas as versões do Amazon EMR on EKS e está disponível em todas as regiões em que o Amazon EMR on EKS está disponível. Além disso, você pode saber mais lendo nossa documentação ou acessando a página de detalhes do Amazon EMR on Amazon EKS.