EFS File Sync、Amazon EFS ファイルシステムへの高速なファイル転送

AWS re:Invent 2017 の数日前に使用可能になった EFS File Sync について、お話できるようになりました。

大量のファイルをオンプレミスまたはクラウドのファイルシステムから Amazon Elastic File System に移動させる必要があるなら、このツールが最適です。たとえば、 cp および rsync などのシンプルで、シングルスレッドのコマンドラインツールは、クラウドに対応しておらず、膨大な量のデータをある場所から別の場所へ移動するために必要なスループットを提供することができません。こうしたツールは、多くの場合、スケジューリング、オーケストレーション、ネットワークセキュリティに関するスクリプトで、ビルディングブロックとして使用されるのが一般的です。

安全および並列
EFS File Sync は、安全で高度な並列データ転送メカニズムを使用しており、前述のツールよりも最大 5 倍高速で動作します。VMware ESXi または EC2 インスタンスで実行され、NFS (v3 および v4) 経由でソースファイルシステムにアクセスし、EFS が利用可能なすべての AWS リージョンで使用できるエージェントとして利用できます。このエージェントが AWS とのすべての通信を開始するので、VPN を設定したり、ファイアウォールを介してインバウンド接続を許可したりする必要はありません。

AWS マネジメントコンソールで、エージェントと同期タスクを起動、制御、監視することができます。ジョブは、ファイルシステム全体または特定のディレクトリツリーの転送を指定することができ、転送先にすでに存在するファイルを検出してスキップすることもできます。ファイルのメタデータ (変更やアクセスの時間、POSIX の所有権とアクセス許可、シンボリックリンク、ハードリンク) もコピーされます。

EFS File Sync の使用
このブログへの投稿を書くために、EC2 インスタンスを起動し、NFS ファイルシステム (/data) をエクスポートし、ファイルシステムに Linux カーネルのソースコードを転送しました。

インスタンスと同じリージョンで EFS コンソールを開き、次のアドレスをクリックしました。File syncs:

[Get started] をクリックし、ホストプラットフォームとして Amazon EC2 を選択し、[Launch instance]、さらに [Connect to agent] とクリックして進めます。

[Launch instance] をクリックすると、別のタブで EC2 コンソールが開きます。メモリ最適化のインスタンスタイプ (xlarge 以上), を選び、パブリック IP アドレスとポート 80 での受信トラフィックを許可するセキュリティグループで設定し、他の EC2 インスタンスと同じように起動します。それから 1 〜 2 分 (植物に水を注ぐか、愛犬の様子をチェックする時間) 待って、ステータスチェックが終わるのを待ちます。

次に、インスタンスのパブリック IP アドレスを取得し、EFS タブに戻り、アドレスを入力して、[Activate agent] をクリックします。

このステップで、sync エージェントからアクティベーションキーを取得します。これが完了したら、その名前を入力して、[Activate agent] をクリックして進めます。

これでエージェントが実行され、有効になるので、[Create sync task] をクリックして EFS へのファイルの移動を開始します。

ソースの場所 (このセクションの最初で説明した EC2 インスタンス) を設定します。

また転送先となる EFS ファイルシステムを選択し、その中でファイルを保存する場所を指定します。

同期に関するオプションを選択し、[Next] をクリックして設定を確認します。

見直しの結果に問題がなければ、[Create sync task] をクリックしてファイルのコピーを開始します。

sync タスクが作成されて、そのステータスが [Available] になったら、それを選択して、[Actions] メニューで [Start] を選んで同期を開始します。

タスクを作成したときの設定を微調整して、[Start] をクリックして進めます。

sync タスクのステータスは、[History] タブで確認することができます。

数分で完了し、EFS ファイルシステムに新しいファイルが追加されます。

今すぐ利用可能
EFS File Sync は、 EFS が利用できるすべての AWS リージョンで利用できます。 EFS および EC2 のリソースに関する支払いは消費した分についてであり、コピーしたデータ 1 GB あたり 0.01 USD です (詳細は、EFS 料金表のページを参照してください)。

— Jeff;