[AWS Black Belt Online Seminar] AWS DataSync 資料及び QA 公開

先日 (2021/03/16) 開催しました AWS Black Belt Online Seminar「AWS DataSync」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。

20210316 AWS Black Belt Online Seminar AWS DataSync

AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます）

Q. DataSync を使って AWS 間でデータ転送する場合、そのデータは AWS の専用ネットワークのみを通るのでしょうか?
A. はい、AWS バックボーンネットワークを使用して転送されます。

Q. クロスアカウントで S3 から S3 には転送できないのでしょうか？(クロスアカウントの表になかったので気になりました)
A. はい、現在 S3 から S3 へのクロスアカウント転送は対応しておりません。

Q. ファイル連携タスクはスケジュールベースのようですが、ファイルが新規に置かれたら、のようなイベントベースの連携設定は可能ですか？
A. 御指摘有難う御座います。有ると便利な機能ですが現在対応しておりません。貴重なフィードバック有難う御座います。

Q. EFS と S3 間での同期を想定していますが、ファイルの整合性チェックに失敗した場合、リトライは可能でしょうか？
A. タスクを再実行する事により、再度整合性を保つ事は可能です。

Q. AWS 同一アカウント内ではエージェント不要とありましたが、同一アカウント内の EFS→S3 や S3→EFS の転送の際もエージェントが不要なのでしょうか？ （以前ですと、EC2 でのエージェント作成が必要だったかと思います）
A. はい、現在は不要となっております。是非お試し下さい。

Q. 3 点質問です。 1) タスク完了（同期完了）の確認方法を教えてください。 2) タスクは開始、終了を指定できますか？ 3) メモリ 32 G B以下でも動作しますでしょうか？
A.

1. マネジメントコンソールの GUI、又は CLI の ”aws datasync describe-task-execution” の出力結果で確認出来ます。
2. タスクを手動で開始及び停止する事が可能です。
3. 正常な動作のために 32 GB 以上のメモリを御使用下さい。

Q. 現在 EFS を使っているサービスがあるのですが、EFS ではイベントドリブンに他のリソースを起動させるのが難しいので、datasync を使ってs3に転送し、S3 で put をトリガーにして処理をさせたいと考えています。こういった用途での使用には DataSync は向いておりますでしょうか？
A. 処理を行いたい EFS 上のフォルダパスを指定、又はフィルタにより対象を絞って実行する事で御要望の内容が実現出来ると思われますが、タスクの実行時間が要件に合うか確認が必要かと思います。是非一度お試し下さい。

Q. Direct Connet が複数回線ある場合で、Datasync トラフィックをその回線のルーティングどおりに分散利用されるような IP アドレスで複数セットし、回線を最大限有効活用するといったようなことは可能でしょうか？（データは人間が分割することなく一式でやりとりし、データの整合は Datasync で行う前提）可能の場合、具体的な方法も併せて紹介いただければと思います
A. VPC エンドポイントを使用したエージェントを作成し、このエージェントを使用した送信元ロケーションの作成、送信先ロケーションの作成、そしてタスクの作成を行うと、自動的に4つのネットワークインターフェースが生成されます。インターフェースの説明（description）の所にタスク番号が表示されるので特定出来ます。これにより送信先の 4 つの IP アドレスがわかりますので、Direct Connect のオンプレミス側のルーターでルーティングを制御すれば、御要望のような動作も可能かと思います。

Q. DataSync とストレージゲートウェイシリーズの使い分けについて検討する際に必要となる視点を確認したいです。
A. DataSync は送信元と送信先のデータを同期するサービスで、ストレージゲートウェイは S3 又は EFS に存在するデータへのオンプレミスからのアクセスを提供するサービスです。ストレージゲートウェイもオンプレミス側にキャッシュを提供しますが、データの置き場はクラウド側にあります。移行やデータの複製には DataSync、クラウド側のデータのオンプレミスでの活用にはストレージゲートウェイと言った使い分けをして頂ければ良いと思います。

Q. オンプレミスからのファイルサーバー移行を検討しています。ファイル移行には robocopy と DataSync を想定しているが、DataSync のほうが適しているのはどのようなパターンでしょうか
A. RoboCopy の場合、スピードを速めるのに並列実行する等の工夫が必要ですが、DataSync では全て自動で行ってくれます。データ転送を早くし、移行期間を短くしたい場合は DataSync をお勧め致します。

Q. タスクの某時間帯ごとに帯域幅を設定することは可能でしょうか。例：日中控えめ、夜間最大
A. タスク実行中に CLI 経由で ”aws datasync update-task” コマンドを使用する事で、実行中のタスクの帯域幅を変更出来ます。時間帯によって帯域を自動変更する機能はございませんので、時間毎に CLI で帯域設定を変更するようなスクリプトを実行する事により実現可能と思われます。

Q. 1000 万ファイル (合計数百 GB) をオンプレから AWS へコピーした場合に、通常のコピーと DataSync でのコピーでのコピーでどれほどの速度の差が出るものでしょうか？環境によって全然違うので、回答しずらいかもしれませんが、参考資料などありましたら教えていただきたいです。
A. こちらは御指摘の通り、ファイルのサイズや送信元と送信先のストレージの性能等により全く異なりますので、もし具体的なお話御座いましたら是非 AWS 担当の方まで御相談下さい。

Q. クロスアカウントで S3 から S3 へ大量のオブジェクトを以降する際はどのような方法が考えられるでしょうか？(企業間でのデータ引き渡しなどを想定しています)
A. S3 の CRR（Cross Region Replication）が使えますが、通常は既存データを同期しません。こちらはサポートに依頼する事で既存データも含めて送る事が可能です。

—–

今後の AWS Webinar | イベントスケジュール

直近で以下を予定しています。各詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております。

——
2021 AWS Summit Online 登録開始しました

AWS Summit Online は 5 月 11 日（火）、12 日（水）に AWS クラウドを活用してイノベーションを目指すエグゼクティブや IT プロフェッショナルの方向けに開催されます。1 日目と 2 日目に配信される基調講演では、AWS のビジョンやサービスの優位性、ビジネスの変化に対するクラウドが果たす役割、人材育成など、幅広いテーマを取り上げます。ブレイクアウトセッションでは AWS サービス最新情報、お客様によるクラウド活用事例、AWS パートナー様の先進的なソリューションなど 150 以上のセッションが自由に視聴できます。

日程： 2021 年 5 月 11 日・12 日｜詳細・ご登録はこちら 2021 AWS Summit Online 公式サイト≫

——

AWSome Day Online Conference

「AWSome Day Online」は、AWSの主要サービスや基礎知識を約 3 時間という短い時間で、ポイントを押さえて紹介いたします。技術的な面だけではなく、AWS クラウドを学ぶために必要となる知識を身に付けたい方、エンジニアのみならず、営業職、プリセールス職、学生まで幅広い方々におすすめします。

※ この回では AWS エキスパートによる技術的な内容についてチャット形式での Q&A を実施します。
※ AWS サービスの導入に関するご相談も同時にチャット形式にて対応します。
※ 2021 年は毎月第一水曜日に開催します。

日時：2021 年 4 月 7 日（水） 15:00 – 18:00 終了予定 | 詳細・お申込みについてはこちら≫

——

AWS Black Belt Online Seminar

＜重要なお知らせ＞
ライブ配信による Black Belt Online Seminar は 3 月一杯で終了し、今後はオンデマンドによる定期配信に変更いたします。今後もコンテンツを拡充して行きますので、楽しみにお待ちください。
オンデマンドでの配信開始時期は、AWS Blog や AWS クラウドサービス活用資料集ページでお知らせいたします。
（ 5 月 中旬を予定しています）