Publicado: Feb 13, 2024
Hoje, o Amazon EMR no EC2 anunciou um aprimoramento nas APIs DescribeStep e ListStep para permitir que os clientes visualizem até 10.000 etapas concluídas nos últimos 7 dias, um aumento em relação ao limite anterior de 1.000 etapas. O serviço também continuará apoiando a recuperação de 1.000 etapas dos últimos dois meses. Essas melhorias da API oferecem maior visibilidade das etapas concluídas e facilitam o monitoramento e o gerenciamento do fluxo de trabalho das etapas.
O Amazon EMR é a plataforma de big data em nuvem líder do setor para processamento de dados, análise interativa e machine learning usando estruturas de código aberto, como Apache Spark, Presto e Trino, e Apache Flink. Essa melhoria simplifica a experiência dos clientes com um número maior de etapas de execução curtas, fornecendo uma maneira simplificada de revisar e reconciliar o status de suas etapas para garantir a execução adequada das etapas e ajudar na depuração. Se o cluster receber mais de 10.000 etapas em um período de 7 dias, as etapas inativas enviadas pelo usuário no estado COMPLETED (CONCLUÍDO), CANCELLED (CANCELADO) ou FAILED (COM FALHA) serão removidas em ordem cronológica, começando pelas mais antigas.
Essa melhoria tem suporte em todas as versões do EMR e está disponível em todas as regiões da AWS em que o Amazon EMR é oferecido. Nenhuma outra ação é necessária da sua parte. Para saber mais sobre as etapas de visualização, consulte as etapas de visualização e a documentação da API DescribeStep.