Come risolvo una fase Spark non riuscita in Amazon EMR?

Breve descrizione

Amazon EMR identifica e restituisce la causa principale degli errori nei passaggi inviati utilizzando l'operazione Step API. Amazon EMR 5.x e versioni successive restituiscono anche il nome del file di registro pertinente e una parte della traccia dello stack dell'applicazione tramite API.

Nota: puoi utilizzare le seguenti informazioni per risolvere una fase Amazon EMR di qualsiasi applicazione. Per informazioni specifiche sui passaggi non riusciti di Apache Spark, consulta Come posso risolvere un passaggio di Spark fallito in Amazon EMR?

Risoluzione

Nota: per le descrizioni dei tipi di registri dei passaggi, consulta Controlla i log delle fasi.

Visualizza i registri dei passaggi utilizzando la console di gestione AWS

Per ulteriori informazioni, consulta Per visualizzare i dettagli degli errori utilizzando la console AWS in Debugging delle fasi migliorato.

Visualizza i dettagli dei passaggi utilizzando la CLI AWS

Nota: se ricevi un messaggio di errore durante l’esecuzione dei comandi dell’interfaccia della linea di comando AWS (AWS CLI), assicurati di utilizzare la versione più recente di AWS CLI.

Utilizzate il comando describe-step come illustrato nell'esempio seguente. Nel comando seguente, sostituisci cluster-id e step-id con i valori corretti per il tuo caso d'uso.

aws emr describe-step --cluster-id j-1K48XXXXXHCB --step-id s-3QM0XXXXXM1W

Per ulteriori informazioni, consulta Per visualizzare i dettagli degli errori utilizzando l'interfaccia della linea di comando AWS (AWS CLI) in debugging della fase migliorato.

Visualizza i file di log delle fasi sul nodo principale utilizzando SSH

Per ulteriori informazioni, consulta Visualizzare i file di log sul nodo principale.

Visualizza i file di log archiviati in Amazon S3

1.    Apri la console Amazon Simple Storage Service (Amazon S3).

2.    Seleziona il bucket S3 specificato come URI di registro S3 in cui vengono archiviati i file di log.

3.    Passa al seguente percorso e scarica l'oggetto del file di log: cluster-id/steps/step-id/.

Per ulteriori informazioni, consulta Visualizzare i file di log archiviati in Amazon S3.

Visualizza i log delle fasi nello strumento di debug

Nota: lo strumento di debug non viene attivato automaticamente in Amazon EMR. Per informazioni sull'attivazione dello strumento di debug, consulta Attivazione dello strumento di debug.

Per informazioni sulla visualizzazione dei log delle fasi nello strumento di debug, consulta Visualizzare i file di log nello strumento di debug.

---

Informazioni correlate

Come si annulla una fase di Amazon EMR?