Amazon S3에서 Amazon EMR을 사용할 때 Amazon S3 버킷에 _$folder$ 접미사가 있는 빈 파일을 안전하게 삭제할 수 있습니까?

해결 방법

"_ $ folder $" 파일은 자리 표시자입니다. -mkdir 명령을 사용하여 S3 버킷에 폴더를 생성하면 Apache 하둡이 이러한 파일을 생성합니다. 하둡은 첫 번째 객체를 PUT할 때까지 폴더를 생성하지 않습니다. 하나 이상의 객체를 PUT하기 전에 "_ $ folder $" 파일을 삭제하면 하둡이 폴더를 생성할 수 없습니다. 그러면 "해당 파일이나 디렉터리가 없음(No such file or directory)" 오류가 발생합니다.

일반적으로 "_$folder$" 파일을 삭제하지 않는 것이 좋습니다. 그러면 Amazon EMR 작업의 성능 문제가 발생할 수 있습니다. 단, Amazon S3에서 폴더를 수동으로 삭제한 다음 Amazon EMR 작업에서 또는 하둡 명령을 사용하여 폴더를 다시 생성하려고 시도하는 경우는 예외입니다. 폴더를 다시 만들기 전에 "_$folder$" 파일을 삭제하지 않으면 "파일이 존재함(File exists)" 오류가 발생합니다.

관련 정보

Amazon S3에 데이터 업로드

출력 위치 구성