Apache Hadoop fournit les clients de système de fichiers ci-dessous pour lire et écrire des fichiers dans Amazon S3 :

  • S3N (schéma d'URI : s3n) : système de fichiers natif pour lire et écrire des fichiers habituels dans S3. S3N permet à Hadoop d'accéder dans S3 aux fichiers écrits avec d'autres outils. Inversement, les autres outils peuvent accéder aux fichiers écrits dans S3N avec Hadoop. S3N est stable est très utilisé, mais aucune nouvelle fonctionnalité n'y est ajoutée. S3N nécessite une version appropriée de jets3t JAR au niveau du chemin de classe.
  • S3A (schéma d'URI : s3a) : successeur Hadoop du système de fichiers S3N. S3A utilise les bibliothèques Amazon pour interagir avec S3. S3A prend en charge l'accès aux fichiers de plus de 5 Go. Il offre par ailleurs diverses améliorations, notamment en matière de performances. Pour Apache Hadoop, S3A succède à S3N avec lequel il est rétrocompatible. Avec Apache Hadoop, tous les objets accessibles à partir des URL s3n:// doivent également l'être à partir de S3A en remplaçant le schéma d'URL.
    Remarque
    Actuellement, Amazon EMR ne prend pas en charge l'utilisation du système de fichiers Apache Hadoop S3A.
  • S3 (schéma d'URI : s3) : implémentation Apache Hadoop d'un système de fichiers S3 basé sur des blocs. Apache Hadoop ne prend plus en charge ce système de fichiers depuis mai 2016.

Amazon EMR utilise le schéma d'URI s3 dans la documentation EMR. Lequel de ces trois schémas d'URI dois-je utiliser avec EMR ?

En raison des différences entre les systèmes de fichiers Apache Hadoop S3 et Amazon EMR S3, il n'est pas toujours facile de savoir quel schéma d'URI et quel système de fichiers utiliser avec with Amazon EMR.

Pour Amazon EMR, les URL s3:// et s3n:// sont associées au système de fichiers EMR et sont interchangeables fonctionnellement dans le contexte d'Amazon EMR. Toutefois, par souci de cohérence, il est recommandé d'utiliser l'URI s3:// dans le contexte d'Amazon EMR.

L'URI s3a:// n'est pas compatible avec Amazon EMR. Pour plus d'informations, consultez les sections Systèmes de fichiers compatibles avec Amazon EMR et Prise en charge de S3 dans Hadoop.

S3, S3N, S3A, système de fichiers Hadoop, HDFS, EMRFS


Cette page vous a-t-elle été utile ? Oui | Non

Retour au Centre de connaissances AWS Support

Vous avez besoin d'aide ? Consultez le site du Centre AWS Support

Date de publication : 20/05/2016