是否可以将 Amazon S3 而不是 HDFS 作为 Hadoop 存储?

上次更新时间:2020 年 6 月 4 日

是否可以将 Amazon EMR 配置为使用 Amazon Simple Storage Service (Amazon S3) 不是 Hadoop 分布式文件系统 (HDFS) 作为 Apache Hadoop 存储系统?

解决方法

您不能将 Amazon EMR 配置为使用 Amazon S3 而不是 HDFS 作为 Hadoop 存储层。HDFS 和使用 Amazon S3 的 EMR 文件系统 (EMRFS) 均兼容 Amazon EMR,但两者不能互换。HDFS 是 Hadoop FileSystem API 的一种实现,该 API 用于 POSIX 文件系统行为建模。EMRFS 是一种对象存储,非文件系统。有关更多信息,请参阅 Hadoop 文档中的对象存储与文件系统

有关何时使用哪种文件系统的建议,请参阅使用存储和文件系统


这篇文章对您有帮助吗?

我们可以改进什么?


需要更多帮助?