Publicado: Apr 20, 2021
Temos o prazer de anunciar a disponibilidade do EMR Studio, um Integrated Development Environment (IDE – Ambiente de Desenvolvimento Integrado) que permite que cientistas e engenheiros de dados desenvolvam, visualizem e depurem aplicações de análise de dados e big data escritas em R, Python, Scala e PySpark com mais facilidade. O EMR Studio oferece blocos de anotações Jupyter totalmente gerenciados e ferramentas como Spark UI e YARN Timeline Service para simplificar a depuração. O EMR Studio utiliza o AWS Single Sign-On e permite fazer login diretamente com suas credenciais corporativas, sem precisar fazer o registro em log no Console AWS.
Como administrador no EMR Studio, você pode criar e configurar EMR Studios no console do EMR ou automatizar a criação do Studio especificando as configurações e dependências em um modelo do CloudFormation. É possível usar o console do AWS SSO para habilitar o recurso, escolher um dos provedores de identidade compatíveis, como Okta, Azure AD, OneLogin, Ping Identity e Microsoft AD, e usar o console do EMR para atribuir usuários e grupos ao EMR Studio.
O EMR Studio oferece exemplos de blocos de anotações, como consulta ao metastore do Hive usando código em PySpark, código em Python para visualização etc., para ajudar você a começar a desenvolver rapidamente seus aplicativos de ciência de dados. Você pode conectar blocos de anotações a repositórios GitHub, Bitbucket, GitLab e AWS CodeCommit independentemente dos pontos de acesso públicos. É possível executar aplicações em clusters EMR existentes ou criar clusters usando um modelo do CloudFormation predefinido e passando parâmetros personalizados no EMR Studio. Inicie a Spark UI ativa diretamente de blocos de anotações para acessar logs e depurar a aplicação.
O EMR Studio está disponível nas versões 5.32, 6.2 e posterior do EMR nas regiões Leste dos EUA (Norte da Virgínia e Ohio), Oeste dos EUA (Oregon), Europa (Irlanda, Frankfurt e Londres) e Ásia-Pacífico (Mumbai, Seul, Singapura, Sydney e Tóquio).
Para começar a usar o EMR Studio, consulte a documentação do Amazon EMR Studio.