大量のデータを Amazon S3 にアップロードする場合に、パフォーマンスを最適化するにはどうすればよいですか?

最終更新日: 2018 年 11 月 16 日

Amazon S3 バケットとの間で大量のデータを転送するには、次の方法を検討してください。

注: AWS CLI コマンドの実行時にエラーが発生した場合は、AWS CLI の最新バージョンを使用していることを確認してください。

転送を相互に排他的な複数のオペレーションに分割することによって、転送を完了するのにかかる全体的な時間を潜在的に短縮することができます。aws s3 cp (コピー)、aws s3 mv (移動)、またはaws s3 sync (同期) の複数のインスタンスを同時に実行できます。

転送を分割する方法の 1 つに、--exclude パラメータと --include パラメータを使用してオペレーションをファイル名で区切るという方法があります。たとえば、あるバケットから別のバケットに大量のデータをコピーする必要があり、すべてのファイル名が数字で始まる場合は、AWS CLI の 2 つのインスタンスで次のコマンドを実行できます。

注: --exclude パラメータと --include パラメータは、クライアント側で処理されます。このため、ローカルマシンのリソースが操作のパフォーマンスに影響を与える可能性があります。

次のコマンドを実行して、0～4 の数字で始まる名前のファイルをコピーします。

aws s3 cp s3://srcbucket/ s3://destbucket/ --recursive --exclude "*" --include "0*" --include "1*" --include "2*" --include "3*" --include "4*"

次のコマンドを実行して、5～9 の数字で始まる名前のファイルをコピーします。

aws s3 cp s3://srcbucket/ s3://destbucket/ --recursive --exclude "*" --include "5*" --include "6*" --include "7*" --include "8*" --include "9*"

重要: 膨大な数のオブジェクト (数億個規模) を転送する必要がある場合は、AWS SDK を使用してコピーを実行するカスタムアプリケーションを構築することを検討してください。AWS CLI ではコピーを実行できますが、その規模ではカスタムアプリケーションの方が効率的になる場合があります。

特にデータが 10 TB を超える場合は、オンプレミスデータセンターと Amazon S3 間の転送に AWS Snowball を使用することを検討してください。

次の制限事項に注意してください。

• AWS Snowball は、バケット間データ転送をサポートしていません。
• AWS Snowball は、AWS Key Management System (AWS KMS) によって管理されるキーによるサーバー側の暗号化をサポートしていません。詳細については、「AWS Snowball でのサーバー側の暗号化」を参照してください。

Amazon EMR で S3DistCp を使用して Amazon S3 バケット間でデータをコピーすることを検討してください。S3DistCp は、大量のオブジェクトの並列コピーを可能にします。

重要: このオプションでは Amazon EMR クラスターを起動する必要があるため、必ず Amazon EMR の料金を確認してください。