J'essaie de charger un fichier volumineux via la console Amazon S3. Pourquoi le chargement échoue-t-il ?

Dernière mise à jour : 26/01/2021

J'essaie de charger un fichier volumineux (1 Go ou plus) dans Amazon Simple Storage Service (Amazon S3) à l'aide de la console. Toutefois, le chargement échoue de façon persistante et je reçois des erreurs de dépassement de délai. Comment résoudre ce problème ?

Résolution

Pour des fichiers volumineux, Amazon S3 peut créer plusieurs chargements pour optimiser la vitesse de chargement. La console Amazon S3 peut cesser d'être disponible lors du chargement d'objets volumineux en raison du dépassement du délai de disponibilité de la session. Plutôt que d'utiliser la console Amazon S3, essayez de charger le fichier via l'interface de ligne de commande AWS (AWS CLI) ou un AWS SDK.

Remarque : si vous utilisez la console Amazon S3, la taille maximale du fichier pour les chargements est de 160 Go. Pour charger un fichier d'une taille supérieure à 160 Go, utilisez l'AWS CLI, l'AWS SDK ou l'API REST Amazon S3.

AWS CLI

Tout d'abord, installez et configurez l'AWS CLI. Veillez à configurer l'AWS CLI avec les informations d'identification d'un utilisateur ou d'un rôle AWS Identity and Access Management (IAM). L'utilisateur ou le rôle IAM doit disposer des autorisations appropriées pour accéder à Amazon S3.

Remarque : si vous recevez des erreurs lors de l'exécution de commandes depuis AWS CLI, vérifiez que vous utilisez la toute dernière version d’AWS CLI.

Pour charger un fichier volumineux, exécutez la commande cp :

aws s3 cp cat.png s3://docexamplebucket

Remarque : le fichier doit être dans le répertoire à partir duquel vous exécutez la commande.

Lorsque vous exécutez une commande de haut niveau (aws s3) telle que aws s3 cp, Amazon S3 effectue automatiquement un chargement partitionné pour les objets volumineux. Le chargement partitionné consiste à diviser un fichier volumineux en plusieurs parties à charger séparément dans Amazon S3. Une fois toutes les parties chargées, Amazon S3 les réunit pour reconstituer le fichier de départ. Le chargement partitionné peut accélérer le chargement et éliminer certains risques de défaillance associés aux fichiers volumineux.

Pour plus d'informations sur les chargements partitionnés, consultez Comment utiliser AWS CLI pour effectuer un chargement partitionné d'un fichier sur Amazon S3 ?

AWS SDK

Dans le cadre d'une approche programmable en vue de charger des fichiers volumineux, vous pouvez envisager d'utiliser un AWS SDK tel que l'AWS SDK pour Java. Pour accéder à un exemple, consultez Chargement d'un objet grâce à l'AWS SDK pour Java.

Remarque : pour obtenir la liste complète des kits AWS SDK et des boîtes à outils de programmation pour développer et gérer des applications, consultez Outils pour créer sur AWS.


Cet article vous a-t-il été utile ?


Besoin d'aide pour une question technique ou de facturation ?