Comment résoudre l'erreur « HIVE_CANNOT_OPEN_SPLIT: Error opening Hive split s3://awsdoc-example-bucket/: Slow Down (Service: Amazon S3; Status Code: 503; Error Code: 503 Slow Down; » dans Athena ?

Cette erreur se produit généralement lorsque vous interrogez un préfixe de compartiment Amazon Simple Storage Service (Amazon S3) qui comprend un grand nombre d'objets. Vous pouvez envoyer 3 500 demandes PUT/COPY/POST/DELETE et 5 500 demandes GET/HEAD par seconde et par préfixe partitionné dans un compartiment S3. Il n'y a pas de limite au nombre de préfixes dont vous pouvez disposer dans votre compartiment.

Utilisez l'une des méthodes suivantes pour empêcher la limitation des requêtes :

• Répartissez les objets et les requêtes entre plusieurs préfixes. Pour en savoir plus, consultez Partitionnement des données.
• Pour réduire le nombre de requêtes Amazon S3, réduisez le nombre de fichiers. Par exemple, utilisez l'outil S3DistCp pour fusionner un grand nombre de petits fichiers (moins de 128 Mo) en un plus petit nombre de fichiers volumineux. Pour en savoir plus, consultez Les 10 meilleures techniques pour améliorer les performances d'Amazon Athena et consultez les 4. Section Optimiser les tailles de fichier.
  Remarque : S3DistCp ne prend pas en charge la concaténation pour les fichiers Parquet. Utilisez PySpark à la place. Pour en savoir plus, consultez Comment concaténer des fichiers Parquet dans Amazon EMR ?
• Utilisez la métrique Amazon CloudWatch 5xxErrors et les journaux d'accès au serveur Amazon S3 pour voir si d'autres applications ou services AWS utilisaient le même préfixe lorsque la requête Athena a échoué. Pour éviter les limitations, utilisez différents préfixes Amazon S3 pour la source de données Athena et la source de données d'application.