Publicado: Aug 20, 2019
Agora, você pode instalar bibliotecas externas do Python em clusters do EMR em tempo de execução usando blocos de anotações do EMR. Antes desse recurso, era necessário usar uma ação de bootstrap ou uma AMI personalizada para instalar bibliotecas adicionais não empacotadas na AMI antes de executar o cluster do EMR. Esse recurso permite importar as bibliotecas preferidas e usá-las para criar um aplicativo do Spark, analisar dados e visualizar os resultados de dentro do bloco de anotações. As bibliotecas do Python instaladas usando blocos de anotações do EMR são isoladas à sessão do bloco de anotações e não interferirão com bibliotecas atuais do cluster do EMR. Você pode importar essas bibliotecas de repositórios PyPI públicos ou privados. Consulte Using Notebook-scoped Libraries para saber mais sobre esse recurso.
Esse recurso está disponível a partir do EMR versão 5.26.0.
Os blocos de anotações do EMR estão disponíveis nas regiões Leste dos EUA (Norte da Virgínia e Ohio), Oeste dos EUA (Norte da Califórnia e Oregon), Canadá (Central), UE (Frankfurt, Irlanda e Londres) e Ásia-Pacífico (Mumbai, Seul, Cingapura, Sydney e Tóquio)