Category: AWS Import/Export


AWS Snowmobile – エクサバイトのデータを数週間でクラウドに移動

移行作業の一環として、オンプレミスにある大量のデータをクラウドに移動することは、本来有るべき姿よりもより困難です。ハイエンドの接続をもってしても、ペタバイトあるいはエクサバイトの映画書庫や、財務記録、衛星画像、インターネット上の科学データを移動するには、何十年もかかることがあります。ビジネス面から見ると、移行後に廃止する予定のデータセンターに新しいネットワークを引いたり、より良い接続を追加したりするには、高額な費用がかかり、正当化することは困難です。

昨年、大規模データ移行対応に向けた1つのステップととしてAWS Import/Export Snowball (AWS Import/Export Snowball – Amazon所有のストレージアプライアンスを利用して1週間あたり1ペタバイトのデータ転送を実現を参照)を発表しました。80TBのストレージを備えたこれらのアプライアンスは、多くのお客様のご要望を満たしてきており、今日広く普及しています。

しかしながら、エクサバイトスケールのオンプレミスストレージを所有するお客様が、80TBを見て数学的な計算をすれば、依然として全面的なデータ移行を行うには、沢山のデバイスと頭を抱えたくなるロジスティクスが必要なことがわかります。

AWS Snowmobileの導入

これらのお客様のニーズを満たすために、本日Snowmobileを発表します。このセキュアなデータトラックは、最大100PBのデータを保管し、エクサバイトのデータを数週間でAWSへ転送するのに役立ちます(必要に複数台利用することが可能です)。金融、メディア&エンターテイメント、科学分野およびその他の産業のお客様のニーズに合うようにデザインされたSnowmobileは、ネットワークにアタッチされ、ローカルのNFSマウントされたボリュームのように見えます。Amazon Simple Storage Service (S3)あるいはAmazon Glacierに保管するデータを書き込むために、現在利用中のバックアップやアーカイブのツールを利用することが可能です。

物理的には、Snowmobileは長さ45フィート、高さ9.6フィート、幅8フィートの耐久性のある耐タンパー性輸送コンテナです。防水性があり、気候調節性があり、既存のデータセンターに隣接するエリアに駐車することができます。それぞれのSnowmobileは350KWの交流電力を消費します。現場に十分な容量がなければ、発電機を手配することも可能です。
セキュリティ面では、Snowmobileは、流通過程の追跡やビデオ監視を含む、複数のレイヤーでの論理的、物理的な保護を組み込んでいます。データは、AWS Key Management Service (KMS)キーによって書き込み前に暗号化されます。各コンテナはセルラーまたは衛星通信を利用したGPSトラッキングが組み込まれており、AWSに戻されます。輸送中に警備車両による護衛を付けることも出来ます。また、オンプレミスにSnowmobileがいる間、専任の警備員を手配することもできます。
各Snowmobileには、複数の40Gbps接続を跨って1Tbpsのデータ転送をサポートする高速スイッチに接続されたネットワークケーブルが含まれています。既存のネットワークがこの転送速度でデータを転送できると仮定すると、約10日間でSnowmobileを満たすことが出来ます。
(more…)

AWS Snowball Edge – より多くのストレージ, ローカルエンドポイント, Lambdaファンクション

このブログポストを書く準備をしている間、昨年AWS Import/Export Snowballをローンチした際の記事(AWS Import/Export Snowball – Amazon所有のストレージアプライアンスを利用して1週間あたり1ペタバイトのデータ転送を実現)を読み直し、発表以降の全てのアップデートをカタログしてみました。おさらいすると、Snowballは物理的なインテグリティとデータセキュリティを念頭に置いた50TBのデータ転送アプライアンスとして始まりました。1年と少しの間に、キャパシティの増加(80TB), ジョブ管理API, HIPAA対応, HDFS対応, S3アダプタ, 追加のAWSリージョン対応を含む、多くの改善を実施してきました。

これらの改善は全て重要でしたが、アプライアンスの基本的な特性は変わりませんでした。1年と少しを通して、多くのAWSのお客様がオリジナルのSnowballを異なるタイプの物理環境で、多様なマイグレーション、ビッグデータ、ゲノミクス、データ収集ワークロードで稼働させるなかで、我々はこのアプライアンスをもっと機能的にする余地があることを学びました。

多くのお客様は、ネットワーク環境が限られているか存在しない、物理環境が極端な状況で大量のデータ(しばしば数百TB)を生成しています。お客様は、農場、工場、病院、航空機、油井で生成されたデータを収集したいと考えています。店舗フロアのメトリクスからビデオ監視までのIoTデバイスによって収集された情報について、ストレートフォワードを超えたストアアンドフォワードなデータコレクションのモデルに興味があり、データが到着次第、何らかのローカル処理を施すことを可能にしたいと考えています。彼らは、データの到着時にフィルタリング、クリーン化、分析、整理、追跡、要約およびモニタリングをしたがっています。

(more…)

Snowball HDFS のインポート

オンプレミスで MapReduce を実行していて、HDFS (Hadoop Distributed File System) にデータを保存している場合、中間のステージングファイルを使用することなく、そのデータを直接 HDFS から AWS Import/Export Snowball にコピーできるようになりました。多くの場合、HDFS はビッグデータワークロードに使用されるため、これにより大量のデータを AWS にインポートしてさらに処理するプロセスが簡略化されます。

この新機能を使用するには、最新バージョンの Snowball クライアントを、目的の HDFS クラスターを実行しているオンプレミスホストにダウンロードして設定します。次に、以下のようなコマンドを使用して、Snowball 経由で HDFS から S3 にファイルをコピーします。

$ snowball cp -n hdfs://HOST:PORT/PATH_TO_FILE_ON_HDFS s3://BUCKET-NAME/DESTINATION-PATH

-r オプションを使用して、フォルダー全体を再帰的にコピーできます。

$ snowball cp -n -r hdfs://HOST:PORT/PATH_TO_FOLDER_ON_HDFS s3://BUCKET_NAME/DESTINATION_PATH

詳細については、「HDFS クライアントの使用」を参照してください。

Jeff;

※AWS Import/Export Snowballは日本で未提供のサービスです。

AWS Snowball アップデート – ジョブ管理API & S3 アダプタ

AWSは昨年秋のre:inventから、AWS Import/Export Snowballを導入しました。
Snowballアプライアンスは1度で、あるいは繰り返し大量のデータをAWSへ持ち込み/持ち出ししたいお客様のためにデザインされています。(詳細はAWS Import/Export Snowball – Amazon所有のストレージアプライアンスを利用して1週間あたり1ペタバイトのデータ転送を実現をご参照下さい。)
本日、Snowballに対する2つの重要な追加機能を発表します。以下がその内容です:

  • Snowball ジョブ管理API – Snowballジョブを作成し、管理するアプリケーション構築が可能な新しいSnowball API
  • S3 アダプタ – SnowballアプライアンスがまるでS3エンドポイントであるかのようにアクセスするための新しいSnowball S3アダプタ

もう少し詳細を見てみましょう。

Snowballジョブ管理API
従来Snowballのモデルは、インタラクティブでコンソールから操作するものでした。(基本的に、”Snowballを私に送ってください”という)ジョブを作成し、その後その進捗をモニタリングし、出荷、配送状況、着荷およびAWSへの返却を視覚的に追跡できました。これは、素晴らしいワンオフジョブでしたが、Snowballを既存のバックアップやデータ転送モデルと統合したいと考えるお客様のニーズに合うものではありませんでした。これらのお客様や ストレージパートナー様から頂いたリクエストに基づいて、本日、Snowballジョブ管理APIを導入しました。

Snowball ジョブ管理 APIによって、お客様とパートナー様は、Snowballを自身のデータ管理ソリューションの一部として統合することが可能になります。以下が主要なファンクションです:

  • CreateJob – インポート/エクスポートのジョブを作成し、アプライアンスの出荷を開始します
  • ListJobs – ジョブのリストとステータスを取得します
  • DescribeJob – 特定のジョブについての情報を取得します

より詳細については API リファレンス を参照してください!

この新しいAPIを利用したクリエイティブでイノベーティブなアプリケーションが出てくるのを楽しみにしています!思いついたことがあれば、コメントに残してください!

 

S3 アダプタ
新しいSnowball S3 アダプタによって、まるでAmazon S3 エンドポイントがオンプレミスで稼働しているかのようにSnowballにアクセスすることが出来ます。これによって、Snowballへのデータの出し入れに今お使いのS3セントリックなツールをご利用いただけます。アダプタは、複数のLinuxディストリビューション及びWindowsリリースで利用可能であり、簡単にインストールできます:

  1. Snowball Toolsページから適切なファイルをダウンロードしてローカルディレクトリに展開する
  2. アダプタの構成が適切かどうかを確認する(アダプタはデフォルトで8080ポートをリッスンします)
  3. Snowballをネットワークに接続しそのIPアドレスをビルトインディスプレイから取得する
  4. コンソールを開いてアンロックコードとジョブマニフェストを取得する
  5. IPアドレス、アンロックコード、マニフェストファイルを指定してアダプタを起動する

アダプタが起動すれば、ローカルエンドポイント(オンプレミスホストのIPアドレスとリスナーポート)を使うよう構成するだけでご自身のS3セントリックツールが利用できます . 例えば、こちらが s3 ls コマンドをオンプレミスホストで実行する方法です:

$ aws s3 ls --endpoint http://localhost:8080

Snowballにファイルをコピーした後に、期待したファイル数がコピーされたかどうかを簡単に検証することが出来ます。:

$ snowball validate

アダプタの最初のリリースは、バケットおよびサービスに対するGET、バケットとオブジェクトに対するHEAD、オブジェクトに対するPUTおよびDELETE、そしてすべてのマルチパートアップロードオペレーションを含む、S3 APIのサブセットをサポートします。ご自身のコードやサードパーティのツールを利用してアダプタにアクセスしようと思われている方は、テストを実施することをお勧め致します。

より詳細については、 Snowball Transfer Adapterを参照ください。

今利用できます!
これらの新しい機能は、今ご利用可能ですので本日から使いはじめることができます!

Jeff;(翻訳はSA布目が担当しました。原文はこちら)

AWSストレージアップデート – Amazon S3 Transfer Accelerationとより大きなSnowballをより多くのリージョンに展開

いくつかのAWSチームは、オンプレミスのデータをクラウドへ移動する処理を簡素化し、高速化することにフォーカスしています。当初はとてもベーシックなPUTのオペレーションとマルチパートアップロード機能のご提供から始めて、ディスクを送付する方法をご提供し、昨年のAWS re:Inventで、AWS Import/Export Snowballをローンチすることでそのプロセスはより簡素化されました。(AWS Import/Export Snowball – Amazon所有のストレージアプライアンスを利用して1週間あたり1ペタバイトのデータ転送を実現を参照下さい。)

本日、S3とSnowballに関する重要な改善についてお伝えします。この改善はどちらもデータ移行プロセスをよりシンプルに、より加速させるようデザインされています。以下が新しい機能になります。:

Amazon S3 Transfer Acceleration – この新機能はAWSのエッジロケーションとネットワークプロトコルの最適化を利用し、S3へのデータ転送を高速化します。大きなオブジェクトを国を跨いで転送する場合、50%から500%の改善、もしくは特定の環境下ではそれ以上の高速化を見込むことができます。

より大きなSnowballをより多くのリージョンで – より大きなキャパシティ(80TB)のSnobwballが利用可能となりました。加えて、新たに2つのUSリージョン、および2つのインターナショナルリージョンでご利用頂くことができるようになりました。

Amazon S3 Transfer Acceleration

現在AWSは50箇所以上ののエッジネットワークを提供しています。今までは、Amazon CloudFrontによるコンテンツの配信やAmzon Route53による高速なDNSクエリの応答に利用されてきました。本日のアナウンスにより、S3へ、もしくはS3からのデータ転送の高速化にエッジネットワークが活用されます。もしあなたが、高速なインターネット回線を持ち、大容量のオブジェクトもしくは、大量のコンテンツを地域間で転送する際に、その恩恵を受けることが可能となります。

エッジネットワークを、あなたのアップロード場所(デスクトップもしくはオンプレミスのデータセンター)とターゲットのS3 Bucket間のブリッジとして利用いただけます。Bucketにてこの機能を有効にする(AWSマネージメントコンソールのチェックボックスをチェックする)ことで、簡単にBucketのエンドポイントをBUCKET_NAME.s3-accelerate.amazonaws.comのように変更することができます。それ以外の設定は不要です。設定後は、TCPのコネクションが自動的に最寄りのAWSのエッジロケーションにルーティングされます。S3 Transfer AccelerationによりAWSが管理するバックボーンネットワークと効率化されたネットワークプロトコル、エッジとオリジン間のパーシステント接続、最大化された転送ウィンドウなどを活用し、S3へのアップロード転送を行います。

下記が、自分のBucketに対してTransfer Accelerationを有効化する方法になります。(jbarr-public):

私のBucketのエンドポイントはhttps://jbarr-public.s3.amazonaws.com/でしたが、ツールやコードのエンドポイントをhttps://jbarr-public.s3-accelerate.amazonaws.com/に変更するだけです。これだけで、アップロードを行うとS3 Transfer Accelerationの恩恵をうけることができます。また同じルールで構成されたURLを利用することで、ダウンロードも高速化することが可能です。

ネットワーク設定や環境は日々もしくは場所により常に変動することから、Transfer Acceleration によりアップロードパフォーマンスが改善する可能性がある転送の場合のみ費用をお支払いいただきます。高速化転送は、GBアップロードあたり$0.04から課金されます。またS3の他の機能同様、初期費用および長期的なコミットメントは不要です。

新たに提供するAmazon S3 Transfer Acceleration Speed Comparisonを利用することで、Transfer Accelerationの効果を確認いただくことができます。私のUS West(Oregon)リージョンにあるAmazon WorkSpacesで実行した結果が下記となります:

距離に応じた、自分のリージョンからターゲットへの高速化の割合が確認いただけるかと思います。

本機能に関してより詳細を確認したい場合は、S3 開発者ガイドGetting Started with Amazon S3 Transfer Accelerationを参照してください。本日より北京(中国)リージョンおよびAWS GovCloud(US)以外の全てのリージョンでご利用いただけます。

より大きなSnowballをより多くのリージョンで
AWS Import/Export SnowballはAWSクラウドへの大量データの持ち込み/搬出用途として、既に多くのAWSのお客様にご利用頂いています。例えば、こちらはGE Oil & Gas様でのオンサイトのSnowballの様子です。
Ben Wilson (CTO of GE Oil & Gas)氏は、この写真を次の注釈付きで LinkedInに投稿されています。:

“ピグとSnowball- 最高のカップル!25TBのパイプラインピグデータはAWS Snowball でAWSへと送られます。こちらは私達がデータを取り出すGEピグです。私たちはAWSの新しい機能を試し、今までのやり方を変えていくことをいつも楽しんでいます。”

本日より、Snowballは4つの新しいリージョン: AWS GovCloud (US), 米国西部(北カリフォルニア), EU(アイルランド),アジアパシフィック(シドニー)でご利用可能となりました。来年には、残りのAWSリージョンでもご利用いただけるようになることを期待しています。

オリジナルのSnowballアプライアンスは50TBの容量でしたが、本日、80TBの容量を持つ新しいアプライアンスを発表します。米国東部 (北バージニア), 米国西部 (オレゴン), 米国西部(北カリフォルニア), AWS GovCloud (US)リージョンにデータを出し入れする場合には、どちらかのキャパシティを選択出来ます。EU(アイルランド),アジアパシフィック(シドニー)リージョンの場合は、80TBのアプライアンスをご利用頂きます。こちらは、インポートジョブを作成するときの容量選択の方法を示しています。

Snowballについてより詳しく知りたい方は、Snowball FAQと、開発者ガイドをご参照下さい。

Jeff;(翻訳はSA北迫、布目が担当しました。原文はこちら)