Anúncio do agente de upgrade do Apache Spark para o Amazon EMR
A AWS anuncia o agente de upgrade do Apache Spark, um novo recurso que acelera as atualizações da versão do Apache Spark para o Amazon EMR no EC2 e no EMR Sem Servidor. Usando análise e transformação automatizadas de código, o agente converte processos complexos de atualização que normalmente levam meses em projetos que duram poucas semanas. As organizações investem recursos substanciais de engenharia analisando mudanças de API, resolvendo conflitos e validando aplicações durante as atualizações do Spark. O agente apresenta interfaces de conversação nas quais os engenheiros expressam os requisitos de atualização em linguagem natural, mantendo o controle total sobre as modificações do código.
O agente de upgrade do Apache Spark identifica automaticamente alterações na API e modificações comportamentais em aplicações PySpark e Scala. Os engenheiros podem iniciar upgrades diretamente do Estúdio Unificado SageMaker, Kiro CLI ou do IDE de sua escolha, ajudados pela compatibilidade com MCP (protocolo de contexto de modelo). Durante o processo de upgrade, o agente analisa o código existente e sugere alterações específicas, e os engenheiros podem revisar e aprovar antes da implementação. O agente valida a correção funcional por meio de validações de qualidade de dados. Atualmente, o agente é compatível com upgrades do Spark 2.4 para o 3.5 e mantém a precisão do processamento de dados durante todo o processo de upgrade.
O agente de upgrade do Apache Spark já está disponível em todas as regiões da AWS que oferecem o Estúdio Unificado SageMaker. Para começar a usar o agente, acesse o Estúdio Unificado SageMaker e selecione o IDE Spaces ou instale a CLI do Kiro. Para ver orientações detalhadas de implementação, documentação de referência e exemplos de migração, acesse a documentação.