Publicado: Apr 19, 2024
Hoje, temos o prazer de anunciar que os clientes agora poderão usar o Apache Livy para enviar seus trabalhos do Apache Spark para o Amazon EMR no EKS, além de usar a API StartJobRun, o Spark Operator, o Spark Submit e os endpoints interativos. Com esse lançamento, os clientes poderão usar uma interface REST para enviar facilmente trabalhos do Spark ou trechos de código do Spark, recuperar resultados de forma síncrona ou assíncrona e continuar a obter todos os benefícios do Amazon EMR no EKS, como runtime do Spark otimizado para EMR, endpoint do Livy protegido por SSL, experiência de configuração programática etc.
O Apache Livy é um serviço que permite interações fáceis com o cluster do Spark pela interface REST. Antes do lançamento de hoje, os clientes, ao executarem suas workloads em lote ou interativas em seu ambiente local por meio de uma interface REST, precisavam usar a API StartJobRun ou os endpoints interativos. Isso resultou na necessidade de os clientes fazerem alterações em suas aplicações. Agora, com o lançamento de hoje, simplificamos a experiência em que os clientes podem criar facilmente um endpoint do Livy e usar esse endpoint para enviar trabalhos do Apache Spark para seus clusters do Amazon EMR no EKS por meio de uma interface REST. Além disso, para aumentar a segurança, os clientes também podem restringir o acesso ao endpoint do Livy configurando a autenticação por meio de um dos protocolos compatíveis, como Kerberos, autenticação personalizada.
Para saber mais e começar a usar, acesse a seção do Apache Livy na documentação. O Amazon EMR no EKS com o Apache Livy está disponível com a versão EMR 7.1 nas regiões que oferecem atualmente o Amazon EMR no EKS.