データを Amazon S3 へ変換したり、Amazon S3 から移動したりするために Amazon EMR を使用する場合、S3 バケットに「 _$folder$」サフィックスを持つ空のファイルがいくつか作成されます。これらのファイルは何ですか。そして削除しても問題はありませんか。

Amazon EMR は、Amazon S3 など、AWS データストア内のデータの処理、配布、および操作を行うためにマネージド Hadoop フレームワークを使用するウェブサービスです。S3 はキー値ペアストレージシステムを使用するので、Hadoop ファイルシステムは、「 _$folder$」サフィックスを持つ空のファイルを作成することによって、S3 のディレクトリサポートを実装します。

注: この動作が行われるのは、Amazon EMR File System (EMRFS)s3:// または s3n:// のプレフィックスを持つフォルダーの作成を試みるときです。

S3 バケット内の「 _$folder$」サフィックスを持つ空のファイルを削除しても問題はありません。これらのファイルは Hadoop フレームワークによって実行時に作成されますが、Hadoop はこれらの空のファイルが削除されていてもデータを処理することができるように作られています。

注: _$folder$」サフィックスを持つプレースホルダーファイルを削除しなかった場合、Hadoop は s3:// または s3n:// のプレフィックスを持つ、オリジナルの EMRFS 宛先フォルダーでジョブを実行する際に「File exists」エラーを生成します。同じジョブを s3:// または s3n:// のプレフィックスを持つ異なる EMRFS 宛先フォルダーで実行した場合、「File Exists」エラーは返されませんが、新しい宛先フォルダーには空のプレースホルダーファイルが作成されます。


このページは役に立ちましたか? はい | いいえ

AWS サポートナレッジセンターに戻る

サポートが必要ですか?AWS サポートセンターをご覧ください。

公開日: 2016 年 4 月 29 日

更新: 2018 年 4 月 10 日