Puis-je utiliser Amazon S3 pour le stockage Hadoop, au lieu de HDFS ?

Date de la dernière mise à jour : 04/06/2020

Puis-je configurer Amazon EMR pour utiliser Amazon Simple Storage Service (Amazon S3) comme système de stockage Apache Hadoop, au lieu du système de fichiers distribué Hadoop (HDFS) ?

Résolution

Vous ne pouvez pas configurer Amazon EMR pour utiliser Amazon S3 au lieu de HDFS pour la couche de stockage Hadoop. HDFS et le système de fichiers EMR (EMRFS), qui utilise Amazon S3, sont tous deux compatibles avec Amazon EMR mais pas interchangeables. HDFS est une implémentation de l'API Hadoop FileSystem, qui modélise le comportement du système de fichiers POSIX. EMRFS est un magasin d'objets, et non un système de fichiers. Pour plus d'informations, consultez Object Stores vs. Filesystems dans la documentation Hadoop.

Pour obtenir des recommandations sur le moment où utiliser chaque système de fichiers, consultez la page Gestion du stockage et des systèmes de fichiers.


Cet article vous a-t-il été utile ?

Cette page peut-elle être améliorée ?


Vous avez besoin d'aide ?