Publicado: Jan 6, 2023
O Amazon EMR Sem Servidor é uma opção de tecnologia sem servidor do Amazon EMR que simplifica a execução de estruturas de análises de big data de código aberto por engenheiros e cientistas de dados, sem necessidade de configurar, gerenciar e escalar clusters ou servidores. Hoje, temos o prazer de anunciar que o EMR Sem Servidor agora permite que você personalize imagens para o Apache Spark e o Hive. Isso significa que você pode empacotar dependências de aplicações ou código personalizado na imagem, simplificando a execução de workloads do Spark e do Hive.
A execução de imagens personalizadas simplifica muitos casos de uso de análise de big data. Por exemplo, os engenheiros de dados podem personalizar a imagem de versão padrão para empacotar dependências comuns, código personalizado, versões específicas de Java ou Python ou certificados SSL exigidos pelas workloads. Em seguida, eles podem armazenar essas imagens personalizadas no Amazon Elastic Container Repository (ECR), facilitando a execução de workloads do Spark com dependências personalizadas. Os engenheiros de segurança podem digitalizar essas imagens para cumprir os padrões organizacionais. Cientistas de dados podem personalizar imagens de tempo de execução para incluir bibliotecas proprietárias ou pacotes específicos do Python. Além disso, as versões do EMR Sem Servidor podem ser integradas diretamente aos processos de criação, teste e implantação do Docker da sua organização, simplificando a integração contínua e a entrega contínua (CI/CD) de aplicações.
Para saber mais sobre como personalizar o tempo de execução do EMR para uma versão específica a fim de incluir dependências de aplicações, acesse nossa documentação.
Esse recurso está disponível em todas as regiões da AWS nas quais o EMR Sem Servidor é oferecido. Para ver a disponibilidade regional do Amazon EMR Sem Servidor, consulte as perguntas frequentes.