是否可以将 Simple Storage Service (Amazon S3) 而不是 HDFS 作为 Hadoop 使用?

上次更新日期:2022 年 3 月 4 日

我想要将 Amazon EMR 配置为使用 Amazon Simple Storage Service (Amazon S3) 不是 Hadoop 分布式文件系统(HDFS)作为 Apache Hadoop 存储系统。

解决方法

您不能将 Amazon EMR 配置为使用 Amazon S3 而不是 HDFS 作为 Hadoop 存储层。HDFS 和使用 Amazon S3 的 EMR 文件系统 (EMRFS) 均兼容 Amazon EMR,但两者不能互换。HDFS 是 Hadoop FileSystem API 的一种实现,该 API 用于 POSIX 文件系统行为建模。EMRFS 是一种对象存储,而不是文件系统。有关更多信息,请参阅关于 Object Stores vs.Filesystems 的 Hadoop 文档。

有关何时使用哪种文件系统的建议,请参阅使用存储和文件系统


这篇文章对您有帮助吗?


您是否需要账单或技术支持?