Amazon Web Services ブログ

AWS DataSync Discovery を使用したデータ移行の簡素化と加速

このブログは Jeff Bartley(プリンシパルプロダクトマネージャー)によって執筆された内容を日本語化したものです。原文はこちらを参照してください。

オンプレミスのデータをクラウドに移行することは、特に大規模で複雑なストレージシステムを扱う場合、最初は戸惑うことがあるかもしれません。コストの見積もり、移行を必要とするアプリケーションデータセットの理解、どのクラウドストレージサービスを選択すべきかの判断など、自身で判断するには時間と労力を必要とする場合があります。

2022 年 9 月 21 日に、AWS DataSync は、AWS へのデータ移行の計画および実行を支援する新機能である AWS DataSync Discovery(DataSync Discovery)のパブリックプレビューを発表しました。この新機能は、自動化されたデータ収集と分析により、お客様のオンプレミスストレージのパフォーマンスと容量の使用状況をより深く理解し、移行すべきデータを迅速に特定し、パフォーマンスと予算のニーズに沿った AWS ストレージサービスを選択するための推奨事項を提供します。お客様は、DataSync Discovery によって自動的に生成される推奨事項を、移行計画の検討に役立てることができます。

このブログ記事では、DataSync Discovery を利用する方法を説明し、この新機能によって利用可能になった洞察と推奨事項を使用して、AWS へのデータ移行を加速させる方法について説明します。

仕組み

AWS DataSync Discovery How it Works Diagram

DataSync Discovery は、AWS DataSync エージェントを使用してオンプレミスストレージに接続し、パフォーマンスメトリクスや時系列での容量使用率などの情報を自動的に収集します。DataSync Discovery は、収集した情報を使用して、Amazon FSx for NetApp ONTAPAmazon FSx for Windows File ServerAmazon Elastic File System(EFS)などの AWS ストレージサービスに関する推奨事項と見積もりコストを生成します。AWS への移行を計画する際に、これらの推奨事項を利用することができます。

はじめに

DataSync Discovery を使い始めるには、まずオンプレミス環境に DataSync エージェントをデプロイする必要があります。DataSync エージェントは、VMware ESXi、Microsoft Hyper-V、または Linux KVM 環境で実行される仮想マシンです。また、Amazon VPC とストレージシステムが配置されているオンプレミス環境との間に AWS Direct Connect 接続などの十分なネットワーク接続がある場合は、AWS 内の Amazon EC2 インスタンスとして、エージェントを実行することもできます。エージェントがデプロイされたら、次に DataSync サービスでエージェントをアクティベーションします。プレビュー版では、DataSync Discovery は米国東部(バージニア北部)リージョンの DataSync パブリックエンドポイントを使用したエージェントのアクティベーションをサポートしています。

DataSync Discovery は、ストレージシステムによって提供される管理 API を使用して、オンプレミスストレージから情報を収集します。これには、ボリューム構成、接続されているクライアント数、使用容量、およびパフォーマンスメトリクスが含まれます。DataSync Discovery はファイルシステム上のデータにはアクセスしません。

プレビューでは、DataSync Discovery は ONTAP 9.8 以降を実行している NetApp FAS および AFF ストレージシステムをサポートし、ONTAP REST API を使用して、AWS Secrets Manager を通じて提供される認証情報を使用してストレージシステムに安全にアクセスします。AWS Secrets Manager はデータベース認証情報、API キー、およびその他のシークレットの管理、取得、ローテーションを、ライフサイクルを通じて支援します。DataSync Discovery を使用する前に、まず認証情報を保存するためのシークレットを Secrets Manager で作成し、DataSync サービスに対してアクセスが有効になっていることを確認する必要があります。

DataSync エージェントを実装してアクティブにし、ONTAP REST API を使用するための認証情報を持つシークレットを作成すると、ストレージシステムにアクセスするための DataSync Discovery を構成することができます。DataSync コンソールで「Discovery」をクリックし、ストレージシステムを追加できます。

Add storage system DataSync console screenshot

ここでは、管理 API インターフェースの IP アドレスまたはホスト名、認証情報に使用するシークレット、以前に作成してアクティブ化したエージェントなど、ストレージシステムに関する情報を入力します。また、作成されたストレージシステムリソースに関連付ける Amazon CloudWatch ロググループとタグを指定することもできます。

ストレージシステムを追加した後、エージェントは入力した IP アドレスまたはホスト名と認証情報を使用して接続できることを確認します。この検証ステップは、最大で 5 分程度かかる場合があります。

My Storage system connecting to DataSync - console screenshot

検証が完了した後、次にディスカバリージョブを開始することができます。ディスカバリージョブは最大 31 日間実行され、ボリュームや NFS / CIFS クライアント数などのストレージリソース、パフォーマンスや容量の使用状況のメトリクスなど、ストレージシステムに関する情報が収集されます。この収集した情報は、ジョブの完了時に自動的に推奨事項を生成するために使用されます。正確な推奨を得るために、少なくとも 14 日間ディスカバリージョブを実行し、ストレージの平均的なパフォーマンスベースラインを測定することをお勧めします。なお、DataSync Discovery がご使用の環境で動作していることを確認するために、より短い期間で実行することもできます。

Start discovery job console screen shot

ディスカバリージョブが実行されると、収集された情報は DataSync コンソールで確認できるようになり、また DataSync CLI や SDK を使用しても確認できるようになります。CloudWatch のログは、ディスカバリージョブの詳細を提供し、エラーが発生した場合にエラーを検知して対処することが可能です。

Performance charts showing IOPS peaks and Throughput peaks

ジョブが完了すると、推奨事項が自動的に生成されます。推奨構成には、該当する AWS ストレージサービスの構成と推定月額費用が含まれます。推奨構成は、ストレージリソースに必要なパフォーマンスを最小コストで提供することを目的としています。NetApp ONTAP システムの場合、推奨はボリューム単位で提供されます。

Example recommendation and estimates output from discovery job

提供された推奨事項をよく確認し、お客様固有のストレージのニーズを満たしていることを確認する必要があります。

移行の計画

DataSync Discovery が提供する推奨事項を使用して、オンプレミスのストレージから AWS へのデータの移行を計画することができます。計画プロセスの初期段階では、推奨事項で提供される月間コストの見積もりを使用して、予算計画に反映させることができます。データ移行の時期が近づいたら、ディスカバリージョブを再実行して、初期の見積もりがまだ有効であることを確認したり、実行結果に応じて調整することができます。

移行を開始する準備ができたら、AWS DataSync を使用してデータをオンラインで移行するか、AWS Snow Family デバイスを使用してオフラインでデータを移行することができます。

まとめ

クラウドへのデータの移行を計画して実行することは、ストレージに関する情報を収集し、ストレージを AWS のサービスにマッピングするために時間と労力を要する、重要な作業となります。このブログでは、AWS DataSync Discovery がどのようにデータ移行を加速し、移行計画を簡素化できるかをご紹介しました。DataSync Discovery の仕組みと、データ収集を自動化し、オンプレミスストレージをさらに深く理解するための使用方法について学びました。また、ディスカバリージョブから得られる洞察と推奨事項を移行計画に反映させ、AWS へのデータ移行を開始する方法についても学びました。

AWS DataSync Discovery の詳細については、以下のリンクをご確認ください。

翻訳はネットアップ合同会社の Yanxia He 様ならびにソリューションアーキテクトの宮城が担当しました。

著者紹介

Jeff Bartley

Jeff Bartley

Jeff は AWS DataSync チームのプリンシパルプロダクトマネージャーです。彼は、お客様がクラウドスケールのアーキテクチャを通じてデータに関する最大の課題に取り組むことを支援しています。彼は南カリフォルニアの出身で、できる時はいつでも大好きなアウトドアで過ごしています。