Publicado: Jan 4, 2022
O Amazon EMR on EKS oferece suporte para imagens personalizadas: uma funcionalidade que ajuda os clientes a personalizar a imagem do contêiner do Docker utilizada para executar aplicações Apache Spark no EMR on EKS. Hoje, o EMR on EKS abriu o código de uma ferramenta de validação de imagem personalizada que permite aos clientes executar um conjunto automatizado de testes para validar a imagem do contêiner do docker personalizada.
Ao usar imagens personalizadas, os engenheiros e cientistas de dados podem instalar e configurar pacotes específicos para sua workload que não estão disponíveis na distribuição padrão dos tempos de execução Spark do EMR em um único contêiner imutável. Com suporte a imagens personalizadas, é possível criar uma imagem do docker autônoma com a aplicação e suas dependências para cada caso de uso. Por exemplo, é possível criar uma imagem customizada para engenheiros de dados que inclui uma versão Java específica e certificados exigidos pelo aplicativo, e uma imagem customizada separada para cientistas de dados que inclui dependências diferentes, como bibliotecas proprietárias ou dependências específicas do Python. Os engenheiros e cientistas de dados podem utilizar a imagem personalizada específica da aplicação em trabalhos do EMR on EKS.
É possível baixar a ferramenta de validação de imagem personalizada do nosso repositório GitHub. Para instruções de configuração e exemplos de utilização, acesse o nosso guia de iniciação. A ferramenta de validação de imagem personalizada oferece suporte para versões atualmente disponíveis do Amazon EMR on EKS. Para contribuir com o código-fonte, consulte o guia de contribuição e o guia de desenvolvimento. Para saber mais sobre a personalização de imagens no EMR on EKS, acesse nossa documentação e o post do blog.