Amazon Web Services ブログ

AWS DataSyncとAmazon FSxを使って1ヵ月でファイルストレージをAWSへマイグレーション

このブログはVaibhav Singh (Cloud Infrastructure Architect with AWS ProServe India)によって執筆された内容を日本語化した物です。原文はこちらを参照して下さい。

 

オンプレミスからクラウドへの移行では、さまざまなお客様がそれぞれに異なった環境を持っていて実現方法も異なります。あるお客様はオンプレミスで稼働しているワークロードの規模が小さかったり、あるお客様は複数のデータセンターに複数のストレージアレイを設置していたり、さらに複雑で膨大なセットアップを行っているお客様もいるかと思います。クラウドに移行する場合、現在のデータストレージ環境を調査することの難しさや、どのように始めればよいか戸惑うのは当然のことでしょう。

AWSプロフェッショナルサービスは、ダウンタイムを最小限に抑えながら、お客様のクラウドへの移行をサポートし、最も効率的で効果のある方法でクラウドソリューションを最大限に活用できるようにします。AWSは、アプリケーションやデータベース、バックアップやディザスタリカバリ（DR）のスタックを再設計することなく、ビジネスに最適な方法でデータをクラウドに移行することを支援します。

この記事では、10,000人以上の従業員を抱えるグローバル金融サービス企業のお客様が、AWSプロフェッショナルサービスによる迅速かつ安全なオンライン移行によって、どのようにしてクラウドへの移行を加速させたかを紹介します。このケースでは、お客様はAWS DataSyncとAmazon FSx for Windows File Server（Amazon FSx）を使用して、100TB以上のファイルストレージを迅速かつシームレスに移行することができました。

お客様のクラウドジャーニー

このお客様は、以前はSAN、NAS、オブジェクトストレージなど複数のストレージアレイでインフラを運用していました。また、2つのデータセンターからグローバルに接続するために、高価なMPLS（Multiprotocol Label Switching）ネットワークを運用しており、複数年の契約を結んでいました。

ビジネスと技術の課題

このお客様は、2つのデータセンターを閉鎖し、コストを削減する必要がありました。複数のベンダーが提供するシステムはそれぞれ独自の技術で構成されており、運用上の負荷が高いため、コストが高くて管理が大変でした。ファイルストレージの移行では、何百万もの小さなファイルが深いサブフォルダ階層に格納されている複雑なディレクトリ構造のため、独自の課題がありました。このお客様のデータのほとんどは非構造化データであり、ファイルストレージは、Microsoft Windowsのネイティブストレージや、NetApp、Dell EMC VNX、Dell EMC VMAXなどのSMB（Server Message Block）プロトコルを使ったストレージに分散していました。

AWS DataSyncを使用したAmazon FSx for Windows File serverへのファイルストレージの移行

お客様のストレージワークロードと将来のニーズを考慮し、AWSプロフェッショナルサービスはお客様と共同で、フルマネージドでコスト効率が良く、高い信頼性と拡張性を備えたストレージソリューションであるAmazon FSxが理想的な選択であると判断しました。Amazon FSxは、業界標準のSMBプロトコルでアクセスでき、Windows、Linux、およびmacOSシステムで使用できます。Amazon FSxは、AWS Microsoft Managed ADに加えて、お客様自身のオンプレミスのMicrosoft Active Directoryと連携できます。SMBプロトコルに対するAmazon FSxのネイティブサポートにより、Windowsベースのアプリケーションは、完全に互換性のある共有ファイルストレージにアクセスできます。複雑なストレージシステムの維持・運用、パッチ適用、ハードウェアの更新、アップグレードなどの運用上の課題を解決するフルマネージドストレージサービスとして、このお客様には最適でした。

この大規模な移行のために、AWSプロフェッショナルサービスは、オンラインデータ転送・移行サービスで、PB単位のファイルストレージの移行を簡素化、自動化、高速化できるAWS DataSyncを活用しました。AWS DataSyncを利用することで、ほとんどのストレージアレイや、WindowsファイルサーバーやLinuxベースのNFSサーバーなどの従来のファイルサーバーを、シームレスにAWSに移行することができます。

このお客様のSMB共有の複雑なフォルダ階層には何百万ものファイルがあるにもかかわらず、AWS DataSyncはファイルを読み込んでターゲットのAmazon FSxにコピーすることができました。

お客様が移行時に使用したセットアップとベストプラクティスについては以下をご覧ください。AWS DataSyncが最適なソリューションとなった理由として、以下のようなメリットが挙げられます。

  • 最大10 Gbpsの高いデータスループット
  • NFSとSMBをフルサポート
  • Direct Connectを使用して暗号化されたプライベートネットワークとの間で安全にデータを転送可能
  • 使いやすいコンソールとAWS CLIによる管理
  • 時間の節約（セットアップには数分しかかかりません）
  • GB単位の転送料に応じた課金
  • Amazon CloudWatchとの統合によるモニタリングとロギング

ソリューション概要

オンプレミスのSMBファイルサーバーを移行するために、お客様はAWSプロフェッショナルサービスの支援によりAWS DataSyncエージェントをオンプレミス環境の仮想マシン（VM）としてデプロイしました。そして、オンプレミスのソースファイルシステムからAmazon FSxにデータをコピーするタスクを定義しました。AWS DataSyncは、Amazon FSxと連携する為に最適化されており、移行ワークロードのパフォーマンス要件を満たすようにスケールアップします。

以下のハイレベルなアーキテクチャ図は、AWS DataSyncを使用したAmazon FSxへのファイルストレージデータ移行時の構成です。

AWS DataSyncによるAmazon FSx for Windows File Serverへのデータ移行の前提条件

AWS DataSyncを使用してファイルストレージをAWS FSxに移行するには、以下の準備が必要です。

  • 適切なパーミッションで作成され、自己管理型のActive Directoryに接続されたAmazon FSxファイルシステム。
  • ターゲットロケーションとしてSMBを作成する場合は、ジョブが正常に実行されるように適切なパーミッションとフォルダ構造が適用されていることを確認してください。
  • DataSyncタスクの設定に使用するMicrosoft Active Directoryのユーザーアカウント。このユーザーは、ファイルとフォルダの「所有権の設定」の権限を持つActive Directoryグループに属している必要があります。
  • ファイアウォール上のDataSyncエージェントとVPCインターフェイスのエンドポイントセキュリティグループのネットワーク要件を満たす必要があります。

 

ハイレベルな手順

以下にお客様がAWS DataSyncとAmazon FSxで使用したセットアップと構成を説明します。

  • ワークロードとアプリケーションの要件に応じて、SSDで構成されたストレージ、シングルアベイラビリティーゾーン、およびAmazon FSxファイルシステムごとのスループット設定でAmazon FSxファイルシステムを構成しました。
  • 64GBのメモリを持つ複数のAWS DataSyncエージェントをデプロイし、タスクごとに5,000万ファイルをサポートしました。
  • AWS DataSyncエージェントを両方のデータセンターにデプロイし、複数のソースからのデータコピーを並行してサポートすることで、データ転送プロセスを高速化し、時間を短縮しました。
  • お客様は、AWS DataSync用のVPCインターフェースエンドポイントを作成し、データセンターからAWS Direct Connectですべてのデータを確実に転送しました。
  • タスクを実行する前に、お客様は平日と週末でタスク用の帯域幅を適切にスロットルし、本番ワークロードに影響を与えずにAWS Direct Connectネットワークを使用しました。
  • NetApp側（vFiler）に複数の論理ネットワークインターフェイス（NIC）を使用することで、より高いスループットを実現し、ソースロケーションとして設定する際にNetApp上での競合を回避しました。
  • このお客様は、SMB共有ごとに300～400GBの追加容量を確保しました。この追加容量は、NetAppからコピーされたデータが元々圧縮・重複排除されたフォーマットであるため、データサイズが増大するために必要なものです。
  • Amazon FSxファイルシステムで重複排除機能を有効にすることを推奨し、これによってファイルタイプに応じて全体の使用容量を30～80%削減可能です。

このソリューションにより、お客様は2つのデータセンターからAWSクラウドへ100TB以上のファイルサーバーデータを1本の1GbpsのAWS Direct Connectで移行することができました。最終的に、このお客様はストレージの移行をすべてオンラインで、わずか4週間で行いました。

まとめ

このブログでは、2つのデータセンターの契約更新を間近に控えたある金融サービスのお客様が、複雑なレガシーアプリケーションとともに複数のストレージを迅速かつシームレスに移行した方法を紹介しました。AWSは、Amazon FSxとAWS DataSyncを組み合わせて使用することで、ストレージ移行の課題を解決しました。これらのサービスにより、お客様はカスタムスクリプトを書くことなく、またCLIコマンドを実行することなく、データ転送を高速化することができました。

ストレージとビジネスアプリケーションのAWSへの移行に成功したことで、このお客様は2つのデータセンターを廃止することができ、毎月数千ドルのコストを削減することができました。また、長年にわたって様々なストレージ、サーバー、ネットワークベンダーを管理してきたことによるコストも削減できました。ファイルストレージをAmazon FSxに移行することで、フルマネージドストレージによる運用負荷の軽減とコスト削減を実現できました。