Como soluciono uma etapa que falhou no Amazon EMR?

Breve descrição

O Amazon EMR identifica e retorna a causa raiz das falhas nas etapas enviadas usando a operação da API Step. O Amazon EMR 5.x e versões posteriores também retornam o nome do arquivo de log relevante e uma parte do rastreamento da pilha de aplicativos por meio da API.

Observação: você pode usar as informações a seguir para solucionar uma etapa do Amazon EMR de qualquer aplicativo. Para obter informações específicas sobre etapas com falha do Apache Spark, consulte Como soluciono uma etapa do Spark que falhou no Amazon EMR?

Resolução

Observação: para obter descrições dos tipos de logs de etapas, consulte Verificar os logs de etapas.

Veja os logs de etapas usando o console de gerenciamento da AWS

Para obter mais informações, consulte Para ver os detalhes da falha usando o console da AWS em Depuração de etapa aprimorada.

Veja os detalhes da etapa usando a CLI da AWS

Observação: se você receber erros ao executar comandos da AWS Command Line Interface (AWS CLI), confirme se está usando a versão mais recente da AWS CLI.

Use o comando describe-step conforme mostrado no exemplo a seguir. No comando a seguir, substitua cluster-id e step-id pelos valores corretos para seu caso de uso.

aws emr describe-step --cluster-id j-1K48XXXXXHCB --step-id s-3QM0XXXXXM1W

Para obter mais informações, consulte Para ver os detalhes da falha usando a AWS CLI em Depuração de etapa aprimorada.

Visualize arquivos de log de etapas no nó principal usando SSH

Para obter mais informações, consulte Visualizar arquivos de log no nó principal.

Visualizar arquivos de log arquivados no Amazon S3

1.    Abra o console do Amazon Simple Storage Service (Amazon S3).

2.    Selecione o bucket do S3 especificado como o URI de log do S3 em que os arquivos de log são arquivados.

3.    Navegue até o seguinte caminho e baixe o objeto do arquivo de log: cluster-id/steps/step-id/.

Para obter mais informações, consulte Visualizar arquivos de log arquivados no Amazon S3.

Veja os logs de etapas na ferramenta de depuração

Observação: a ferramenta de depuração não é ativada automaticamente no Amazon EMR. Para obter informações sobre como ativar a ferramenta de depuração, consulte Ativar a ferramenta de depuração.

Para obter informações sobre a visualização de logs de etapas na ferramenta de depuração, consulte Visualizar arquivos de log na ferramenta de depuração.

---

Informações relacionadas

Como cancelo uma etapa do Amazon EMR?