Publicado: Feb 23, 2022
O AWS Glue agora fornece insights de execução de trabalhos, um recurso que reduz o tempo de desenvolvimento de trabalhos do Apache Spark, ajudando a determinar fontes de erros e gargalos de performance. O AWS Glue é um serviço de integração de dados que permite que os clientes descubram, preparem e combinem dados para análise usando o Apache Spark e o Python sem servidor. O processamento distribuído e o modelo de “execução lenta” do Spark tornam difícil e demorado para os engenheiros de dados diagnosticar erros e ajustar a performance. Com este lançamento, o AWS Glue oferece análise e interpretação automatizadas de erros em seus trabalhos do Spark para agilizar o processo.
Os insights de execução de trabalhos simplificam a análise da causa raiz em falhas de execução de trabalhos e nivelam a curva de aprendizado para o AWS Glue e Apache Spark. Ele identifica o número da linha em seu código onde ocorreu a falha e fornece detalhes sobre o que o mecanismo do AWS Glue estava fazendo no momento do erro. Ele também interpreta os erros para você e fornece recomendações sobre como ajustar seus trabalhos e códigos para corrigir problemas e melhorar a performance. Esse recurso aumenta os logs da IU do Spark e os logs e métricas do CloudWatch fornecidos anteriormente pelo AWS Glue.
Este recurso está disponível nas mesmas regiões da AWS do AWS Glue.
Para saber mais, consulte documento ou visualize um trabalho executado no painel de monitoramento de trabalhos do AWS Glue Studio.