HDFS 대신 Amazon S3를 Hadoop 스토리지로 사용할 수 있나요?

1분 분량
0

Hadoop 분산 파일 시스템(HDFS) 대신 Amazon Simple Storage Service(S3)를 Apache Hadoop 스토리지 시스템으로 사용하도록 Amazon EMR을 구성하려고 합니다.

해결 방법

Hadoop 스토리지 계층에 HDFS 대신 Amazon S3를 사용하도록 Amazon EMR을 구성할 수 없습니다. Amazon S3를 사용하는 HDFS와 EMR 파일 시스템(EMRFS)은 모두 Amazon EMR과 호환되지만 서로 대체할 수는 없습니다. HDFS는 POSIX 파일 시스템 동작을 모델링하도록 구현된 Hadoop FileSystem 동작입니다. EMRFS는 파일 시스템이 아니라 객체 스토어입니다. 자세한 내용은 객체 스토어어 및 다음에 대한 Hadoop 설명서를 참조하세요. 파일 시스템 .

Amazon EMR의 스토리지 계층에 대한 개요는Amazon EMR 아키텍처 개요를 참조하세요.

각 파일 시스템을 사용하는 시기에 대한 권장 사항은 스토리지 및 파일 시스템 작업을 참조하세요.


관련 정보

EMR 파일 시스템(EMRFS)

HDFS 구성

AWS 공식
AWS 공식업데이트됨 2년 전