Publicado: Dec 9, 2020
OAmazon EMR no Amazon EKS fornece uma nova opção de implantação para o Amazon EMR que permite a execução do Apache Spark no Amazon Elastic Kubernetes Service (Amazon EKS). Se você já usa o Amazon EMR, agora pode executar aplicações baseadas no Amazon EMR com outros tipos de aplicações no mesmo cluster do Amazon EKS para melhorar a utilização de recursos e simplificar o gerenciamento de infraestrutura em várias zonas de disponibilidade da AWS. Se você já executa estruturas de big data no Amazon EKS, agora pode usar o Amazon EMR para automatizar o provisionamento e o gerenciamento e executar o Apache Spark até 3 vezes mais rápido. Com esta opção de implantação, você pode se concentrar na execução de cargas de trabalho analíticas enquanto o Amazon EMR no Amazon EKS cria, configura e gerencia contêineres.
Para começar, registre seu cluster do EKS com Amazon EMR. Em seguida, defina seu trabalho, incluindo a versão de lançamento de EMR, parâmetros do Spark e dependências das aplicações. O Amazon EMR no Amazon EKS agendará os pods, contêineres e recursos em seu cluster do Amazon EKS. É possível configurar seu trabalho para ser executado em instâncias do Amazon EC2 ou Amazon Fargate se quiser ter uma experiência sem servidor. Você pode criar fluxos de trabalho com o Amazon Managed Workflows para Apache Airflow ou Apache Airflow e analisar a saída com logs de trabalho armazenados no Amazon S3 ou no Amazon CloudWatch.
Para enviar trabalhos usando notebooks, o EMR Studio fornece um ambiente de desenvolvimento integrado (IDE) que torna fácil para os cientistas e engenheiros de dados desenvolverem, visualizarem e depurarem aplicações de engenharia de dados e ciência de dados escritas em R, Python, Scala e PySpark.
A definição de preço do Amazon EMR no EKS é feita com base na vCPU e nos recursos de memória usados desde o momento em que um pod Amazon EKS é agendado até o momento em que o pod Amazon EKS é encerrado, arredondado para o segundo mais próximo com um mínimo de um minuto. A definição de preço é baseada nos recursos de vCPU e memória solicitados para a tarefa ou o pod.
O Amazon EMR no Amazon EKS está disponível nas regiões Oeste dos EUA (Oregon), Leste dos EUA (Norte da Virgínia) e Europa (Irlanda) da AWS.
Para obter mais informações, visite a página de detalhes do Amazon EMR no Amazon EKS e a postagem do blog de Notícias da AWS.