AWS Snowball Edge – より多くのストレージ, ローカルエンドポイント, Lambdaファンクション

このブログポストを書く準備をしている間、昨年AWS Import/Export Snowballをローンチした際の記事(AWS Import/Export Snowball – Amazon所有のストレージアプライアンスを利用して1週間あたり1ペタバイトのデータ転送を実現)を読み直し、発表以降の全てのアップデートをカタログしてみました。おさらいすると、Snowballは物理的なインテグリティとデータセキュリティを念頭に置いた50TBのデータ転送アプライアンスとして始まりました。1年と少しの間に、キャパシティの増加(80TB), ジョブ管理API, HIPAA対応, HDFS対応, S3アダプタ, 追加のAWSリージョン対応を含む、多くの改善を実施してきました。

これらの改善は全て重要でしたが、アプライアンスの基本的な特性は変わりませんでした。1年と少しを通して、多くのAWSのお客様がオリジナルのSnowballを異なるタイプの物理環境で、多様なマイグレーション、ビッグデータ、ゲノミクス、データ収集ワークロードで稼働させるなかで、我々はこのアプライアンスをもっと機能的にする余地があることを学びました。

多くのお客様は、ネットワーク環境が限られているか存在しない、物理環境が極端な状況で大量のデータ(しばしば数百TB)を生成しています。お客様は、農場、工場、病院、航空機、油井で生成されたデータを収集したいと考えています。店舗フロアのメトリクスからビデオ監視までのIoTデバイスによって収集された情報について、ストレートフォワードを超えたストアアンドフォワードなデータコレクションのモデルに興味があり、データが到着次第、何らかのローカル処理を施すことを可能にしたいと考えています。彼らは、データの到着時にフィルタリング、クリーン化、分析、整理、追跡、要約およびモニタリングをしたがっています。

新しいSnowball Edge

本日、Snowball Edgeをラインナップに追加します。このアプライアンスはSnowballのスコープを拡張し、より多くの接続性、より多くのストレージ、クラスタリングによる水平スケーラビリティ、既存のS3およびNFSクライアントからアクセス可能な新しいストレージエンドポイント、Lambda-poweredローカルプロセッシングを追加します。

物理的には、Snowball Edgeは、しっちゃかめっちゃかな産業環境、航空宇宙環境、農業環境、軍事環境でも利用できるようデザインされています。新しいフォームファクターは、新しいクラスタリング機能のアドバンテージが得られるラックマウント環境にも適しています。

全ての新しい機能をみてみましょう！

より多くの接続性

このアプライアンスは、優れた接続性をもち、多くの高速オプションを提供します。ネットワーク面では、10GBase-T,　10Gbまたは25GbのSFP28あるいは40Gb QSFP+が利用可能です。IoTデバイスは３GセルラーまたはWi-Fiをつかってデータをアップロードすることが出来ます。もしそれが十分でなければ、Zigbee、他のIoTレシーバー、および外部ストレージデバイスをUSB 3.0ポートまたはPCIe拡張ポートに接続することも出来ます。

より多くのストレージ

Snowball Edgeは100TBのストレージを搭載しています。

クラスタリングによる水平スケーリング

2台以上のSnowball Edgeを、容量を追加し、冗長性を高めるため全てのストレージにシングルエンドポイントを通じてアクセス可能なまま簡単にクラスタ化することが出来ます。例えば、6つのアプライアンスをクラスタリングすると、４００TBの容量と99.999%の耐久性をもつ可用性の高いクラスタが作成されます。

クラスタはペタバイトスケールまで拡張することが可能です。単純にアプライアンスを削除し、返却することで縮小させることも可能です。クラスタはセルフマネージングであり、ソフトウェアアップデートやその他の退屈な作業を心配する必要は有りません。

ジョブをセットアップする際、シンプルに Local compute and storage only およびMake this a clusterをチェックしてクラスタをオーダーしてください。

新しいストレージエンドポイント(S3およびNFS)

既存のバックアップ、アーカイブ、データ転送ツールが、S3或いはNFSをサポートしていれば、Snowball Edgeに保管するおよび保管されたデータにアクセスするためにそれらのツールを利用することができます。2台以上のアプライアンスからなるクラスタを構成した場合、全てに同じエンドポイントが適用されます。これにより、クラスタがローカルのネットワーク接続ストレージであるとみなす事が出来ます。

Snowball EdgeはLIST, GET, PUT, DELETE, HEADおよびマルチパートアップロードの強力なS3 APIのサブセットをサポートします。また、NFSv3およびNFS 4.1 をサポートします。

Snowball Edgeをファイルストレージゲートウェイとして利用し、NFS経由でアクセスする場合、ファイルとディレクトリのメタデータ(パーミッション、オーナー情報、タイムスタンプ)はS3のメタデータとマップされ、S3にデータがインジェストされる時に保存されます。この機能をデータ移行、AWS Storage Gatewayを利用する際のブートストラップ、あるいはオンプレミスのアプリケーション間で共有するためのファイルを保管するために利用できます。

Lambda-poweredローカルプロセッシング

AWS LambdaファンクションをPythonで記述することができ、Snowball Edgeに関連付けられたS3バケットにアップロードされたデータに対して処理を行うことができます。

ファンクションによって、(既にヒントをさしあげたように)データ到着時にフィルター、クリーン化、分析、整理、追跡、要約を行うことが出来ます。Snowball Edgeはデータ収集システムとデータ処理システムにインテリジェンスと高度化を加える機能を提供します。

S3PUTオペレーションのサポートを開始しており、バケット毎に1つのファンクションを利用可能です。ファンクションはPythonで記述する必要があり、128MBメモリのLambda環境で実行されます。

ファンクションはSnowball Edgeをオーダーする際に定義することができます:

オーダー確定前に、クラウド環境でテストを実施することを推奨します。

価格とアベイラビリティ

Snowball Edgeはプラグアンドプレイ方式でデプロイされるように設計されています。現場にいるあなたの同僚は、それを設定または管理する必要は有りません。オンボードLCDパネルはステータス情報を表示し、セットアップビデオを再生します。オンボードコードは自己更新型で、日常的なソフトウェアメンテナンスは有りません。AWS Management Consoleを利用して、ステータスを確認し、デプロイ済みのアプライアンスの設定を最新のものに変更することができます(APIおよびCLIも利用可能です)。

各Snowball Edgeジョブの費用は、$300＋送料となっています。各アプライアンスは最大10日間保持可能です。これをすぎると1アプライアンスにつき1日あたり$30が課金されます。Lambdaファンクションのローカル実行には課金は発生しません。

— Jeff;(翻訳はSA布目が担当しました。原文はこちら)