Mon application Amazon EMR échoue avec une exception AmazonS3Exception HTTP 404 « Not Found » (Introuvable)

Date de la dernière mise à jour : 21/11/2019

Lorsque j'exécute une application dans Amazon EMR, l'application échoue avec l'exception AmazonS3Exception HTTP 404 « Not Found » (Introuvable) :

java.io.IOException: com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Not Found (Service: Amazon S3; Status Code: 404; Error Code: 404 Not Found; Request ID: 3FEDF6CC9E4A8102; S3 Extended Request ID: 4oznJE5O44ySDrMMQ4g3F0L1+1ETqD0ANPWc0kYw0278zRX+TovNyu1ceLfcw21jasFxkkPfOuM=), S3 Extended Request ID: 4oznJE5O44ySDrMMQ4g3F0L1+1ETqD0ANPWc0kYw0278zRX+TovNyu1ceLfcw21jasFxkkPfOuM=

Solution

Cette erreur indique que votre application a tenté d'accéder à un fichier ou un chemin Amazon Simple Storage Service (Amazon S3) qui n'existe pas. Voici quelques causes et solutions courantes :

  • Le chemin d'accès Amazon S3 a été mal saisi ou supprimé : Avant de lancer votre application, vérifiez que vous avez entré correctement le chemin d'accès Amazon S3 et que le chemin existe.
  • D'autres applications ou comptes accèdent aux mêmes fichiers Amazon S3 : Il est possible que le fichier ou le chemin ait été supprimé par une autre application ou un autre compte. Avant de lancer votre application, vérifiez si d'autres applications ou comptes accèdent activement au même chemin Amazon S3.
  • Activer la vue cohérente : Amazon S3 fournit une cohérence en lecture après écriture pour les opérations PUT de nouveaux objets dans votre compartiment S3. Si vous effectuez une demande HEAD ou GET au nom de clé (par exemple, pour déterminer si l'objet existe) avant de créer l'objet, Amazon S3 fournit une cohérence éventuelle pour la lecture après écriture. Par exemple, si vous effectuez une opération PUT sur un objet dans Amazon S3, puis que vous effectuez immédiatement une demande HEAD ou GET pour cet objet, il se peut que vous obteniez une erreur « Not Found » (Introuvable). Pour résoudre ces erreurs, activez la vue cohérente EMRFS. Pour plus d'informations, consultez Vue cohérente.