Anúncio da solução de problemas com IA generativa para o Apache Spark no AWS Glue (pré-visualização)
O AWS Glue anuncia a solução de problemas com IA generativa para o Apache Spark, um novo recurso que ajuda engenheiros de dados e cientistas a identificar e resolver rapidamente problemas em trabalhos do Spark. A solução de problemas do Spark usa machine learning e tecnologias de IA generativa para fornecer uma análise automatizada da causa-raiz dos problemas de trabalhos do Spark, junto com recomendações práticas para corrigir os problemas identificados.
O AWS Glue é um serviço de integração de dados escalável com tecnologia sem servidor que facilita a descoberta, a preparação e a combinação de dados para analytics, machine learning e desenvolvimento de aplicações. Com a solução de problemas do Spark, você pode iniciar uma análise automatizada de trabalhos que falharam com um único clique no console do AWS Glue. Esse recurso fornece etapas de análise e correção da causa-raiz para problemas difíceis de diagnosticar no Spark, como erros de memória, problemas de distorção de dados e exceções de recursos não encontrados. Isso ajuda a reduzir o tempo de inatividade em pipelines de dados críticos. Com a tecnologia Amazon Bedrock, a solução de problemas do Spark reduz o tempo de depuração de dias para minutos.
A pré-visualização de solução de problemas com IA generativa para o Apache Spark está disponível para trabalhos executados no AWS Glue 4.0 nas seguintes regiões da AWS: Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Europa (Irlanda), Leste dos EUA (Ohio) e outras. Para saber mais, acesse o site do AWS Glue, leia o blog do lançamento ou leia a documentação.