Anúncio das atualizações de IA generativa para o Apache Spark no AWS Glue (pré-visualização)
O AWS Glue anuncia atualizações de IA generativa para o Apache Spark, um novo recurso de IA generativa que permite que os profissionais de dados atualizem e modernizem rapidamente trabalhos existentes no Spark. Baseado no Amazon Bedrock, esse recurso automatiza a análise e a atualização de scripts e configurações do Spark, reduzindo o tempo e o esforço necessários para atualizações do Spark de semanas para minutos.
O AWS Glue é um serviço de integração de dados escalável com tecnologia sem servidor que facilita a descoberta, a preparação e a combinação de dados para analytics, machine learning e desenvolvimento de aplicações. Com as atualizações do Spark, você pode iniciar atualizações automatizadas com um único clique no console do AWS Glue para modernizar trabalhos do Spark de uma versão mais antiga para a versão 4.0 do AWS Glue. Esse recurso analisa trabalhos do Spark baseados em Python e gera planos de atualização detalhando alterações de código e modificações de configuração. O recurso usa IA generativa para melhorar e validar iterativamente o código atualizado por meio de execuções de teste como trabalhos do Glue. Depois que a validação for bem-sucedida, você receberá um resumo detalhado de todas as alterações para análise, permitindo a implantação segura de trabalhos atualizados do Spark. Essa abordagem automatizada reduz a complexidade das atualizações do Spark e mantém a confiabilidade dos pipelines de dados.
As atualizações de IA generativa para a pré-visualização do Apache Spark estão disponíveis para o AWS Glue nas seguintes regiões da AWS: Leste dos EUA (Ohio), Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Ásia-Pacífico (Tóquio) e Ásia-Pacífico (Sydney). Para saber mais, acesse o site do AWS Glue, leia o blog do lançamento ou leia a documentação.