投稿日: Feb 7, 2024
AWS DataSync に、DataSync タスクで転送されるソースファイルまたはオブジェクトの明確なリストを提供できる新機能であるマニフェストが導入されました。マニフェストを使用すると、タスクで処理する必要のあるファイルまたはオブジェクトのみを指定することにより、タスクの実行時間を短縮できます。
AWS DataSync はオンラインのデータ移動サービスです。DataSync は、AWS ストレージサービス、オンプレミスストレージ、エッジロケーション、またはその他のクラウド間のデータコピーを自動化および高速化します。DataSync タスクが実行されると、転送元と転送先の場所がスキャンおよび比較され、転送すべきファイルまたはオブジェクトが特定されます。大規模なファイルシステムまたはオブジェクトストアの場合、スキャンおよび比較操作によってタスクの合計実行時間が大幅に増加する可能性があります。自動ワークフローの一部として移行されたデータセットなど、よく知られているデータセットがある場合、マニフェストを使用することで、ファイルまたはオブジェクトストレージシステム全体をスキャンして変更を確認する必要がなくなります。マニフェストファイルを使用すると、転送する数百万のソースファイルまたはオブジェクトを指定できるため、マニフェストにリストされているファイルのみがDataSync でスキャンおよび比較されます。マニフェストを使用して Amazon S3 バケットから特定のバージョンのオブジェクトをコピーすることもできます。
マニフェストは、中国 (北京) と中国 (寧夏) リージョンを除き、AWS DataSync を利用可能なすべての AWS リージョンで使用できます。使用を開始するには、AWS DataSync コンソールにアクセスしてください。詳細については、AWS DataSync のドキュメントをご覧ください。