將 Amazon EMR 與 Amazon S3 搭配使用時,是否可以安全地刪除 Amazon S3 儲存貯體中出現的帶有「_$folder$」後綴的空檔案?

1 分的閱讀內容
0

使用 Amazon EMR 將資料轉換或者移入或移出 Amazon Simple Storage Service (Amazon S3) 時,我的 S3 儲存貯體中會出現幾個帶有「_$folder$」後綴的空檔案。這些檔案是什麼?刪除它們是否安全?

解決方法

「_$folder$」檔案是預留位置。Apache Hadoop 在您使用 -mkdir 命令在 S3 儲存貯體中建立資料夾時會建立這些檔案。Hadoop 在您放置第一個物件之前不會建立資料夾。如果您在放置至少一個物件之前刪除「_$folder$」檔案,Hadoop 無法建立資料夾。這會導致「沒有此類檔案或目錄」錯誤。

一般而言,最好不要刪除「_$folder$」檔案。否則可能導致 Amazon EMR 作業的效能問題。例外情況是,如果您手動從 Amazon S3 刪除資料夾,然後嘗試在 Amazon EMR 作業中或使用 Hadoop 命令重新建立資料夾。如果您在嘗試重新建立資料夾之前未刪除「_$folder$」檔案,則會出現「檔案存在」錯誤。


相關資訊

將資料上傳到 Amazon S3

設定輸出位置

AWS 官方
AWS 官方已更新 3 年前