Posso usar o Amazon S3 para armazenamento Hadoop em vez do HDFS?
1 minuto de leitura
0
Quero configurar o Amazon EMR para usar o Amazon Simple Storage Service (Amazon S3) como sistema de armazenamento Apache Hadoop em vez do Hadoop Distributed File System (HDFS).
Resolução
Você não pode configurar o Amazon EMR para usar o Amazon S3 em vez do HDFS para a camada de armazenamento do Hadoop. O HDFS e o EMR File System (EMRFS), que usa o Amazon S3, são compatíveis com o Amazon EMR, mas não são intercambiáveis. O HDFS é uma implementação da API Hadoop FileSystem, que modela o comportamento do sistema de arquivos POSIX. O EMRFS é um armazenamento de objetos, não um sistema de arquivos. Para obter mais informações, consulte a documentação do Hadoop para Object Stores vs. Sistemas de arquivos.