Puis-je utiliser Amazon S3 pour le stockage Hadoop, au lieu de HDFS ?

Dernière mise à jour : 04/03/2022

Je souhaite configurer Amazon EMR pour utiliser Amazon Simple Storage Service (Amazon S3) comme système de stockage Apache Hadoop, au lieu du système de fichiers distribué Hadoop (HDFS).

Solution

Vous ne pouvez pas configurer Amazon EMR pour utiliser Amazon S3 au lieu de HDFS pour la couche de stockage Hadoop. HDFS et le système de fichiers EMR (EMRFS), qui utilise Amazon S3, sont tous deux compatibles avec Amazon EMR mais pas interchangeables. HDFS est une implémentation de l'API Hadoop FileSystem, qui modélise le comportement du système de fichiers POSIX. EMRFS est un magasin d'objets, et non un système de fichiers. Pour plus d'informations, consultez la documentation Hadoop pour les magasins d'objets vs . Systèmes de fichiers.

Pour savoir quand utiliser l'un ou l'autre système de fichiers, consultez Gestion du stockage et des systèmes de fichiers.


Cet article vous a-t-il été utile ?


Besoin d'aide pour une question technique ou de facturation ?