Amazon EMR で失敗したステップのトラブルシューティングを行うにはどうすればよいですか?

所要時間1分

Amazon EMR で失敗したステップのトラブルシューティングを行いたいと考えています。

簡単な説明

Amazon EMR は、Step API オペレーションを使用して送信されたステップのステップ失敗の根本原因を特定して返します。Amazon EMR 5.x 以降では、関連するログファイルの名前とアプリケーションスタックトレースの一部も API を介して返されます。

**注:**次の情報を使用して、任意のアプリケーションの Amazon EMR ステップのトラブルシューティングを行うことができます。失敗した Apache Spark ステップに固有の情報については、「Amazon EMR で失敗した Spark ステップをトラブルシューティングするにはどうすればよいですか?」を参照してください。

**注:**ステップログの種類の説明については、「ステップログを確認する」を参照してください。

詳細については、「拡張ステップデバッグ」の「AWS コンソールを使用して失敗の詳細を表示する」を参照してください。

注: AWS コマンドラインインターフェイス (AWS CLI) のコマンド実行時にエラーが発生した場合は、最新バージョンの AWS CLI を使用していることを確認してください。

次の例に示すように describe-step コマンドを使用します。次のコマンドでは、cluster-id と step-id をユースケースに合った正しい値に置き換えます。

aws emr describe-step --cluster-id j-1K48XXXXXHCB --step-id s-3QM0XXXXXM1W

詳細については、「拡張ステップデバッグ」の「AWS CLI を使用して失敗の詳細を表示する」を参照してください。

詳細については、「マスターノードのログファイルを表示する」を参照してください。

2. ログファイルがアーカイブされる S3 ログ URI として指定された S3 バケットを選択します。

3. 次のパスに移動して、ログファイルオブジェクト cluster-id/steps/step-id/ をダウンロードします。

**注:**Amazon EMR では、デバッグツールは自動的に有効にはなりません。デバッグツールをオンにする方法については、「デバッグツールをオンにする」を参照してください。

デバッグツールでのステップログの表示については、「デバッグツールでのログファイルの表示」を参照してください。