クラウドへのデータの移行

移行または継続的なワークフロー向けにオンプレミスデータを AWS に移動する

データは、アプリケーションのデプロイ、分析ワークフロー、および機械学習のイノベーションを成功させるための基盤です。データをクラウドに移動するときには、異なるユースケースに合わせたデータの移動先、移動するデータの種類、および使用可能なネットワークリソースやその他のさまざまな考慮事項を理解する必要があります。AWS では、データセットがファイル、データベース、マシンイメージ、ブロックボリューム、さらにテープバックアップであっても、データセットの移行に役立つさまざまなサービスとパートナーツールを提供しています。

Best practices for migrating data to AWS (50:07)

AWS クラウドデータ移行サービス

AWS によって作成された一連のデータ転送サービスには、データをより効果的に移行するのに役立つ多くの方法が含まれています。これについては、オンラインデータ転送とハイブリッドクラウドストレージAmazon S3 へのオフラインデータ移行の 2 つのカテゴリで考えることができます。

オンラインデータ転送とハイブリッドクラウドストレージ

これらのメソッドは、VPC へのネットワークリンクの作成、AWS へのデータ転送、または既存のオンプレミスアプリケーションとのハイブリッドクラウドストレージとしての S3 の使用を簡単にします。これらのサービスは、一度に大きなデータセットのリフトとシフトを行うのに役立ち、さらにバックアップと復旧、または継続的なデータストリームといった既存のプロセスフローとクラウドストレージを統合するのに役立ちます。

AWS Direct Connect

Direct Connect の物理的な専用接続を使用すると、社内データセンターと AWS のデータセンターの間のネットワーク転送の速度を上げることができます。

AWS Direct Connectでは、お客様のネットワークと AWS Direct Connect のいずれかのロケーションとの間に専用のネットワーク接続を確立することができます。業界標準の 802.1q VLAN を使用して、この専用接続を複数の仮想インターフェイスに分割することができます。このようにすると、同じ接続を使用して、パブリックリソース (例えば Amazon S3 に格納されたオブジェクト) にはパブリック IP アドレススペースを使用してアクセスし、プライベートリソース (例えば、Amazon Virtual Private Cloud (VPC) 内で実行されている Amazon EC2 インスタンス) にはプライベート IP スペースを使用してアクセスすることができるので、パブリック環境とプライベート環境の間でネットワークを分離できるのです。仮想インターフェイスは、ニーズの変化に合わせて、いつでも設定変更できます。

オンプレミステクノロジーをクラウドに拡張するのに役立つ AWS Direct Connect パートナーバンドルについてご覧ください。 

AWS DataSync

AWS DataSync は、オンプレミスストレージと Amazon S3 または Amazon Elastic File System (Amazon EFS) との間のデータの移動を自動化するデータ転送サービスです。DataSync は、独自のインスタンスの実行、暗号化の処理、スクリプトの管理、ネットワークの最適化、データ整合性の検証など、移行を遅らせたり、IT 運用に負担をかけたりするデータ転送に関連する多くのタスクを自動的に処理します。DataSync を使用すると、オープンソースツールよりも最大 10 倍高速でデータを転送できます。DataSync を使用して AWS Direct Connect またはインターネットリンク経由で AWS にデータをコピーすると、ワンタイムデータ移行、定期的なデータ処理ワークフロー、およびデータ保護と復旧向けの自動レプリケーションを実行できます。

AWS Storage Gateway

AWS Storage Gateway サービスを使用すると、オンプレミスでの AWS ストレージの導入が簡単にできます。既存のアプリケーションは、業界標準のブロックストレージおよびテープストレージのプロトコルでローカルのゲートウェイに接続して、Amazon S3 および Amazon Glacier にデータを保存します。データは圧縮され、AWS に安全に転送されます。

  • ファイルゲートウェイでは、ファイルを S3 オブジェクトとして格納し、従来のファイルインターフェイスを使用してそれらにアクセスするための、オンプレミスアプリケーション用の SMB または NFS ファイル共有が提供されます。
  • テープゲートウェイ仮想テープライブラリ (VTL) 設定と既存のバックアップソフトウェアがシームレスに統合されることで、コスト効果の高い方法でテープを Amazon S3 で置き換えることができ、S3 Glacier および S3 Glacier Deep Archive で長期的なアーカイブを行うことができます。
  • ボリュームゲートウェイは、EBS スナップショットとしてのポイントインタイムバックアップを使用して、ブロックボリュームをローカルに保存またはキャッシュします。これらのスナップショットはクラウド上で復元できます。

Amazon S3 Transfer Acceleration

Amazon S3 Transfer Acceleration を使用すると、Amazon S3 へのパブリックインターネット経由の転送がより迅速になります。距離やインターネットの状況に関係なく、使用可能な帯域幅を最大化できます。また、特殊なクライアントや独自のネットワークプロトコルはありません。S3 バケットで使用するエンドポイントを変更するのみで、加速が自動的に適用されます。

これは、メディアのアップロード、バックアップ、ローカルデータの処理タスクなど、世界各地から中央の拠点に定期的に転送される定期的なジョブに適しています。

Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose は、ストリーミングデータを AWS にロードする最も簡単な方法です。ストリーミングデータをキャプチャして Amazon S3 および Amazon Redshift に自動的にロードし、現在お使いのビジネスインテリジェンスツールやダッシュボードでほぼリアルタイムに分析することができます。完全マネージド型サービスのため、データスループットに応じて自動的にスケールされ、継続的な管理は不要です。ロード前にデータのバッチ処理、圧縮処理、暗号化が行われるため、送信先でのストレージ量を最小化し、セキュリティを強化できます。AWS マネジメントコンソールから Firehose のデリバリーストリームを簡単に作成し、数回のクリックで設定を行い、継続的に AWS にロードされる数十万のデータソースからデータのストリーミングを開始できます。これらすべての操作にかかる時間はわずか数分です。

APN パートナー製品

AWS では、従来のバックアップとクラウドを橋渡しする物理ゲートウェイアプライアンスに関連して、業界内の多くのベンダーとパートナーシップを組んでいます。既存のオンプレミスデータを Amazon のクラウドに接続し、パフォーマンスに影響を与えずに、また既存のバックアップカタログを維持しながらデータを移行できます。

  • 既存のインフラストラクチャへのシームレスな統合
  • 重複の排除、圧縮、暗号化、または WAN の高速化などを提供
  • 最近のバックアップをローカルでキャッシュし、すべてを AWS クラウドのボールトに保管

Amazon S3 へのオフラインデータ移行

100 ペタバイトのハードドライブ、または 100 TB のスーツケース大のデバイスでいっぱいのセミトラックの帯域幅を過小評価してはいけません。出荷可能で耐久性のあるデバイスを使用するこれらのオフラインデータ移行サービスは、大規模なアーカイブやデータレイクを移動する場合、あるいは帯域幅とデータ量が希望の時間枠内にネットワークを通過できない場合に最適です。

AWS Snowball

AWS Snowball はセキュアなアプライアンスを使用したペタバイト規模のデータ転送ソリューションで、AWS 内外に大容量データを転送できます。Snowball を使用すると、制限されたネットワーク帯域幅、長時間かかる転送、セキュリティ面の懸念といった、大規模なデータ転送に関する一般的な課題を解決できます。Snowball を使ったデータの転送は簡単で、速く、安全です。

AWS Snowball Edge

AWS Snowball Edge は、オンボードストレージとコンピューティング機能を備えたペタバイト規模のデータ転送デバイスです。Snowball Edge は、ローカルにある大規模なデータセット向けの一時的なストレージ層として、AWS 内外に大量のデータを移動するために使用することも、あるいは遠隔地やオフラインのロケーションにあるローカルワークロードを実行するために使用することもできます。

AWS Snowmobile

AWS Snowmobile は、40 フィートのセキュアな輸送コンテナを利用して AWS 内外に大容量データを転送する、エクサバイト規模のデータ転送ソリューションです。Snowmobile を使用すると、ネットワークのコストが高い、転送時間が長い、セキュリティに懸念があるといった場合での、大規模なデータ転送に伴う一般的な課題に対応できます。Snowmobile によるデータの転送はカスタム契約に基づいて実施され、高速で安全であり、コストは高速インターネットの 5 分の 1 ほどで済みます。

アンマネージド型クラウドデータ移行ツール

AWS では、サイトから Amazon のクラウドストレージにデータを移動するための、簡単なスクリプトや CLI ツールも提供しています。

rsync

お客様はこのオープンソースのツールとともにサードパーティ製のファイルシステムツールである rsync を併用して、データを S3 バケットに直接コピーします。

S3 コマンドラインインターフェイス

Amazon S3 CLI を使用すると、S3 バケットにデータを直接移動するためのコマンドを記述できます。

S3 Glacier コマンドラインインターフェイス

Amazon Glacier CLI を使用すると、データを Glacier のボールトに移動できます。

クラウドデータ移行における一般的な課題

ほとんどのプロジェクトのデータ転送は、圧倒されるようなタスクになります。どのようにすれば、最低限の中断、コスト、および時間で、現在の場所から新しいクラウドへ適切に移動できるでしょうか? ペタバイト規模になる場合もある膨大なデータを、実際にスマートに移動するには?

また最も基本的な問題として、どれほどのデータを、どれほど遠くまで、どれほど速く移動できるかも考慮する必要があります。 理想的な環境では、以下の式を使用します。

日数 =(合計バイト数)/(メガビット/秒 x 125 x 1,000 x ネットワーク利用率 x 60 秒 x 60 分 x 24 時間)

例えば、T1 接続 (1.544Mbps) を備えており、1 TB (1024 * 1024 * 1024 * 1024 バイト) を AWS 内外へ移動する場合、80% のネットワーク利用率のネットワーク接続での読み込みにかかる理論的最小時間は 82 日です。

ご安心ください。AWS には経験があります。データの移動にアンマネージド型で非常に基本的な機能しかない移行ツールを使用する場合と、上記にあるような Amazon のサービス一式のうちいずれかのサービスを選択して使用する場合では、結果が大きく異なります。

経験に基づく、私たちのご提案は以下の通りです。

接続 データの大きさ メソッド
10 Mbps 未満 500 GB 未満 アンマネージド型
10 Mbps 以上 500 GB 以上 マネージドサービス