Execute workloads interativas no Amazon EMR Sem Servidor com o Spark Connect
O Amazon EMR Sem Servidor agora oferece suporte a sessões interativas com o Spark Connect, permitindo que você desenvolva e execute aplicativos Apache Spark a partir de notebooks gerenciados no Estúdio Unificado Amazon SageMaker, bem como seus ambientes de notebook e IDEs favoritos, como Jupyter e Visual Studio Code. Você também pode monitorar e depurar sessões ativas e concluídas no console do EMR e obter visibilidade granular do custo e do uso de sessões individuais.
Uma sessão interativa fornece um contexto persistente do Spark que se estende perfeitamente pelas células e scripts, permitindo que você combine a execução local do código Python com as operações remotas do Spark em um ambiente unificado. Isso é habilitado pela arquitetura cliente-servidor do Spark Connect, que separa seu cliente de aplicativo do driver do Spark e permite que você mantenha seu ambiente de desenvolvimento e ferramentas preferidos enquanto a infraestrutura Spark é executada de forma independente no EMR Sem Servidor. Essa arquitetura desbloqueia fluxos de trabalho, incluindo exploração de dados ad hoc, depuração iterativa passo a passo e desenvolvimento incremental de tarefas do PySpark antes da implantação na produção. Para maior observabilidade, você obtém monitoramento de sessão em tempo real por meio da interface do usuário do Spark, rastreamento de histórico por meio do Spark History Server e gerenciamento de sessões pelo console do EMR ou API/CLI/SDK.
O Spark Connect no Amazon EMR Sem Servidor está disponível com o EMR versão 7.13 em todas as regiões da AWS em que o Amazon EMR Sem Servidor está disponível. A experiência do Estúdio Unificado SageMaker está disponível em regiões suportadas. Para começar a usar, visite o Guia do usuário das Sessões Interativas do EMR Sem Servidor ou o guia de introdução ao Estúdio Unificado Amazon SageMaker.