Publicado: Nov 22, 2022
Termos o prazer de anunciar o suporte à configuração de propriedades do Spark em sessões de caderno Jupyter do EMR Studio para workloads interativas do Spark. O Amazon EMR no EKS permite aos clientes executar com eficiência estruturas de big data de código aberto, como o Apache Spark, no Amazon EKS. Os clientes do Amazon EMR no EKS configuram e utilizam um endpoint gerenciado (disponível para demonstração) para executar workloads interativas utilizando ambientes de desenvolvimento integrados (IDEs) como o EMR Studio.
Cientistas e engenheiros de dados usam cadernos Jupyter do EMR Studio com o EMR no EKS para desenvolver, visualizar e depurar aplicações escritas em Python, PySpark ou Scala. Com este lançamento, os clientes já podem personalizar configurações do Spark, como CPU/memória de driver e executor, número de executores e dependências de pacotes dentro de uma sessão de caderno para processar workloads computacionais ou quantidades de dados diferentes, usando um único endpoint gerenciado.
Para saber mais sobre como aplicar configurações do Spark diferentes em uma sessão de caderno, consulte a documentação. O suporte a configurações em uma sessão para endpoints gerenciados é oferecido no Amazon EMR no EKS versão 6.9 ou superior e está disponível em todas as regiões em que o Amazon EMR no EKS é oferecido.