Category: Storage

今や仮想化は、クリエイティブな専門家が在宅勤務で仕事をする上で必要な環境となりました。本ブログでは、AWSクラウド上でポストプロダクションアプリケーションを実行する場合に重要な考慮事項を説明します。

 Deluxe Entertainment Services Inc.(Deluxe) は、メディアとエンターテインメント市場にグローバルなエンドツーエンドのサービスとテクノロジーを提供している、世界を代表する動画作成および配信企業です。世界でも最大級のコンテンツクリエーター、放送局、OTT、ディストリビューターが Deluxe のスケーリング、テクノロジー、機能に依存し、プレミアムコンテンツの世界市場を実現しています。 Deluxe がエッジコンピューティング、データストレージ、転送に AWS Snowcone を活用した新しいクラウドベースの IP コンテンツ配信ソリューションである One VZN を開始したことで、最新の劇場配信を体験できるようになりました。Snowcone はポータブルで高い耐久性を持つセキュアなエッジコンピューティングおよびデータ転送デバイスで、AWS Snow ファミリーの中でも最小です。さらに One VZN は他の AWSのサービスも使って、大手の映画製作スタジオや独立したコンテンツを世界の映画館や興行主に迅速かつ安全に配信しています。One VZN は専用ネットワークを劇場に構築することで、完全に AWS のクラウドベースの管理および配信システムをデジタルシネマパッケージ (DCP) に提供します。このため Deluxe は劇場のエンドポイントで Snowcones に DCP を衛星を介して直接配布するため、ハードドライブを必要としません。 One VZN は、メディアサプライチェーンを統合する同社の主力クラウドベースソリューションである Deluxe One プラットフォームの拡張機能です。One VZN は Deluxe の 100 年を超える経験を活かし、メディアやエンターテイメント業界に高品質で信頼性の高い劇場公開サービスを提供しています。今回更新したプラットフォームは、Deluxe が今後も劇場コンテンツ配信への投資を継続し、消費者を映画館に戻ってきてもらうためのサポートを行うという決断を表しているものと言えるでしょう。 このブログでは、映画業界の技術的変革について、そしてなぜ進化が必要なのかについて解説します。One VZN、AWS Snowcone、AWS DataSync を使ってコンテンツをエッジに効率的に移行し、グローバルな劇場同日配信を可能にする必要性についても説明します。 […]

本投稿は AWS の Chief Evangelist (EMEA)であるDanilo Pocciaによる寄稿です。 AWS Lambda関数がAmazon Elastic File System（EFS）をマウントできるようになったことを非常に嬉しく思います。EFSは、高可用性と耐久性のために複数のアベイラビリティーゾーン（AZ）にまたがってデータを格納するスケーラブルでエラスティックなNFSファイルシステムです。このように、使い慣れたファイルシステムインターフェイスを使用して、関数単体、および複数のLambda関数のすべての同時実行環境にわたってデータを保存および共有できます。 EFSは、強力な整合性やファイルロックなどの完全なファイルシステムアクセスセマンティクスをサポートしています。 Lambda関数を使用してEFSファイルシステムを接続するには、EFSアクセスポイントを使用します。これは、ファイルシステムへのアクセス時に使用するオペレーティングシステムのユーザーとグループを含むEFSファイルシステムへのアプリケーション固有のエントリポイント、ファイルシステムのアクセス許可、およびファイルシステム内の特定のパスへのアクセスを制限できます。これにより、ファイルシステム構成をアプリケーションコードから切り離しておくことができます。 同一のアクセスポイント、または異なるアクセスポイントを使用して、複数の関数から同じEFSファイルシステムにアクセスできます。たとえば、異なるEFSアクセスポイントを使用して、各Lambda関数はファイルシステムの異なるパスにアクセスしたり、異なるファイルシステムのアクセス許可を使用したりできます。 同じEFSをAmazon Elastic Compute Cloud（EC2）インスタンス、Amazon ECSとAWS Fargateを使用するコンテナ化されたアプリケーションや、オンプレミスサーバーと共有できます。このアプローチに従って、異なるコンピューティングアーキテクチャ（関数、コンテナ、仮想サーバー）を使用して同じファイルを処理できます。たとえば、イベントに反応するLambda関数は、コンテナで実行されているアプリケーションによって読み取られる構成ファイルを更新できます。または、Lambda関数を使用して、EC2で実行されているWebアプリケーションによってアップロードされたファイルを処理できます。 このようにすると、いくつかのユースケースではLambda関数によって実装がより容易になります。例えば： /tmpで使用可能な容量（512MB）より大きいデータを処理またはロードする。 頻繁に変更されるファイルの最新バージョンをロードする。 モデルやその他の依存関係をロードするためにストレージ容量を必要とするデータサイエンスパッケージを使用する。 呼び出し間で関数の状態を保存する（一意のファイル名またはファイルシステムロックを使用）。 大量の参照データへのアクセスを必要とするアプリケーションの構築。 レガシーアプリケーションをサーバーレスアーキテクチャに移行する。 ファイルシステムアクセス用に設計されたデータ集約型ワークロードとの相互作用。 ファイルを部分的に更新する（同時アクセス用のファイルシステムロックを使用）。 アトミック操作でファイルシステム内のディレクトリとそのすべてのコンテンツを移動する。 EFSの作成 EFSをマウントするには、Lambda関数がEFSマウントターゲットに到達できるAmazon Virtual Private Cloud（VPC）に接続されている必要があります。ここでは、簡単にするために、各AWSリージョンで自動的に作成されるデフォルトのVPC を使用しています。 Lambda関数をVPCに接続する構成にすると、ネットワーク環境の変化に伴う変更が必要になることがある点に注意してください。 Lambda関数がAmazon Simple Storage Service（S3）またはAmazon DynamoDBを使用している場合は、それらのサービスのゲートウェイVPCエンドポイントを作成する必要があります。 Lambda関数がパブリックインターネットにアクセスする必要がある場合、たとえば外部APIを呼び出す場合は、NATゲートウェイを構成する必要があります。通常、デフォルトVPCの構成は変更しません。特定の要件がある場合は、AWS Cloud Development Kitを使用してプライベートおよびパブリックサブネットで新しいVPCを作成するか、これらのAWS CloudFormationのサンプルテンプレートのいずれかを使用します。このようにすることで、ネットワークをコードとして管理できます。 EFSコンソールで、[Create file system]を選択し、default のVPCとそのサブネットが選択されていることを確認します。すべてのサブネットで、同じセキュリティグループを使用してVPC内の他のリソースへのネットワークアクセスを提供するデフォルトのセキュリティグループを使用します。 次のステップでは、ファイルシステムにNameタグを付け、他のすべてのオプションをデフォルト値のままにします。 次に、[Add access […]

 Amazon Relational Database Service (RDS) は、クラウドでリレーショナルデータベースを簡単に作成、運用、およびスケールするために役立ちます。2020 年 1 月、AWS は Amazon RDS for MySQL、Amazon RDS for PostgreSQL、Amazon RDS for MariaDB、Amazon Aurora PostgreSQL、および Amazon Aurora MySQL からのスナップショットを Apache Parquet 形式で Amazon S3 にエクスポートする機能を発表しました。これで、主要なトランザクションアプリケーションに影響を及ぼすことなく、ダウンストリームのレポート作成および分析アプリケーションが本番データベースからのデータを利用できるようになります。 データベース管理者とデータ所有者は、ビジネスインテリジェンスレポートの作成者、機械学習開発者、またはエンタープライズダッシュボード作成者から、データベーステーブルへのアクセス提供のリクエストを絶えず受け取っています。ここでの課題は、データ上で動作するビジネスクリティカルなアプリケーションに影響を及ぼさない方法でデータにアクセスできるようにすることです。リードレプリカを作成することもソリューションのひとつですが、ダウンストリームアプリケーションリクエストに対応するためにプロビジョニングされたコンピューティング性能を維持しなければなりません。 さらに厄介なことに、レポート作成システムには以前のタイムスタンプ時点でのデータのコピーを必要とするものもあります。これまでは、スナップショットから復元することで新しい RDS インスタンスを作成し、レポート作成システムがこの新しいインスタンスにアクセスできるようにすることが、これを実行する唯一の方法でしたが、 Amazon S3 への Amazon RDS Snapshot Export のローンチにより、リクエストされたテーブルを適切なスナップショットから S3 バケットにエクスポートするプロセスを作成し、ダウンストリームアプリケーションに Parquet ファイルへのアクセスを提供するだけで実行できるようになりました。 この記事では、Amazon RDS のスナップショットから Amazon S3 にエクスポートファイル […]

 Amazon FSx for Windows ファイルサーバーは、サーバーメッセージブロック (SMB、Server Message Block) プロトコル経由でアクセスできる、信頼性の高いフルマネージドファイルストレージを提供しています。Windows Server 上に構築されており、オンプレミスの Microsoft Windows ファイルサーバーの運用と一貫性のある、ユーザークォータ、エンドユーザーファイルの復元、Microsoft Active Directory 統合などの幅広い管理機能を提供します。本日、ストレージキャパシティーのスケーリングとスループットキャパシティーのスケーリングの 2 つの新機能を発表いたします。ストレージキャパシティーのスケーリングにより、データセットの増加に応じてファイルシステムのサイズを増やすことができます。スループットキャパシティーは双方向であり、スループットを動的に調整して、パフォーマンスを微調整し、コストを削減できます。ストレージキャパシティーを拡張する機能を使用すると、データセットの増加に応じてストレージサイズを調整できるため、ファイルシステムの作成時にデータセットの増加を心配する必要がありません。スループットキャパシティーを変更する機能を使用すると、周期的なワークロードまたはワンタイムバーストのスループットキャパシティーを動的に調整して、データ移行などの時間が重要な要素となる目標を達成できます。 ファイルシステムを作成するときに、[ストレージキャパシティー] と [スループットキャパシティー] を指定します。 SSD のストレージキャパシティーは 32 GiB〜65,536 GiB の範囲で指定でき、HDD のキャパシティーは 2,000 GiB〜65,536 GiB の範囲で指定できます。スループットキャパシティーを使用すると、すべての Amazon FSx ファイルシステムに、ファイルシステムの作成時に設定するスループットキャパシティーを有することになります。スループットキャパシティーにより、ファイルシステムをホストするファイルサーバーが、これにアクセスするクライアントにファイルデータを提供できる速度が決まります。より高いレベルのスループットキャパシティーには、ファイルサーバーにデータをキャッシュするためのより多くのメモリが付属し、より高いレベルの IOPS をサポートします。 このリリースでは、AWS マネジメントコンソール内のボタンをクリックするだけで、ストレージキャパシティーを拡大したり、ファイルシステムのスループットキャパシティーを拡大/縮小したりすることができるほか、AWS ソフトウェア開発キット (SDK) またはコマンドラインインターフェイス (CL) ツールを使用したりできます。ファイルシステムは、スケーリングの進行中にオンラインで利用でき、ストレージのスケーリングのためにファイルシステムに完全にアクセスできます。スループットのスケーリング中、Amazon FSx for Windows はファイルシステムのファイルサーバーを切り替えます。そのため、マルチ AZ ファイルシステムで自動フェイルオーバーとフェイルバックが表示されます。 それでは、新機能を概観してみましょう。最初に AWS […]

 SAS® は、エンタープライズや政府系の組織に利用されている、データサイエンスと分析用ソフトウェアのプロバイダーです。SAS Grid は、高い可用性と処理速度を提供する分析プラットフォームであり、集中的な管理機能により、異なるコンピューティングノード間でワークロードをバランスさせます。このアプリケーションスイートには、データ管理、画像分析、ガバナンスとセキュリティ、予測とテキストマイニング、統計的な分析、および環境管理などの機能が備わっています。最近、SAS と AWS では、Amazon FSx for Lustre の共有ファイルシステムにより SAS Grid Manager を AWS 上で使用した場合に、標準的なワークロードがどの程度良好に機能するか確認するためのテストを実施しました。テスト結果の詳細については、ホワイトペーパーの「Accelerating SAS Using High-Performing File Systems on Amazon Web Services (アマゾン ウェブ サービスの高性能ファイルシステムによる SAS の高速化)」をご参照ください。 この記事では、SAS Grid と FSx for Lustre を併用するために AWS の基盤となるインフラストラクチャをデプロイする際のアプローチ手法をご紹介していきます。これは、I/O に対する要求が厳しい他の同様なアプリケーションにも適用が可能です。 システムデザインの概要 高いパフォーマンスのためにスループットへの要求が厳しく、ネットワークのレイテンシーにも敏感なワークロードを実行することは、一般的なアプリケーションでは行わないアプローチを必要とします。通常 AWS では、このようなアプリケーションは複数のアベイラビリティ―ゾーンに展開し、高可用性を達成するように推奨しています。レイテンシーに対する感度を考えたとき、パフォーマンスを最適化するためには、高スループットのアプリケーションのトラフィックはローカルに置く必要があります。スループットの最大化には、次のような手段があります。 Virtual Private Cloud (VPC) 内で実行し、強化されたネットワーキングが利用可能なインスタンスタイプを使用する 各インスタンスは同じアベイラビリティゾーン内で実行する プレースメントグループ内でインスタンスを実行する AWS で […]

最近、Amazon FSx for Windows ファイルサーバーを Amazon Elastic Container Service (ECS) 上の Windows コンテナの永続ストレージとして使用することに関するブログ記事を公開しました。今日は、Amazon Elastic Kubernetes Service (EKS) で同じことを行う方法について、順を追って説明します。AWS System Manager ドキュメントを使用して、Windows インスタンス上のファイル共有マッピングを自動化し、Docker ボリュームをコンテナに提供するための EKS Windows ポッドを設定します。 では、これをどのように実現するかをご説明します。 Windows Server バージョン 1709 (Windows Server 2016「半期チャネル」) で「SMB グローバルマッピング」と呼ばれる SMB プロトコルの既存の機能を活用します。SMB グローバルマッピングを使用すると、SMB 共有をホストにマウントし、その共有上のディレクトリをコンテナに渡すことができます。コンテナを特定のサーバー、共有、ユーザー名、またはパスワードで設定する必要はありません。これらはすべてホストが代わりに処理します。コンテナは、ローカルストレージがある場合と同じように機能します。 前提条件および仮定 コンピュータに AWS CLI と Windows PowerShell 用 AWS Tools を適切にインストールし、設定済みであること。 コンテナインスタンスとして Windows Server 2019 […]

AWS Storage Gateway がオンプレミスにデプロイされる、または Amazon Virtual Private Cloud (Amazon VPC) 内の Amazon EC2 インスタンスとしてデプロイされる場合、Storage Gateway は、管理およびデータ移動の両方について AWS リージョンでホストされる Storage Gateway Managed Service に通信を返す必要があります。ゲートウェイとサービス間におけるこの通信を可能にするために、AWS Storage Gateway Managed Service は「サービスエンドポイント」とよばれるものをホストします。 これまでは、次の 2 つのオプションを利用することができました。 パブリックエンドポイント – Storage Gateway はインターネット経由でパブリックエンドポイントに接続します。 VPC エンドポイント – Storage Gateway は AWS へのプライベート接続 (AWS Direct Connect または VPN) 経由で Storage Gateway VPC エンドポイントに接続します。 いずれの場合も、Storage […]

特別なコンプライアンスまたは障害復旧の要件を満たさなければならないお客様は、Amazon FSx for Windows ファイルサーバー (Amazon FSx) のデータを別の AWS リージョンに複製する機能が必要でした。AWS リージョンと Amazon FSx には複数ティアの復元力が組み込まれていますが、レプリケーションによって、AWS リージョンに壊滅的な損失を及ぼす稀なシナリオでも顧客データを保護できます。たとえば、Amazon FSx インフラストラクチャを米国の東海岸に設置していて、そのデータのコピーを西海岸に配置したい場合を考えてみましょう (図: バージニア北部とオレゴンリージョン)。 背景として、AWS には現在世界中に 24 の AWS リージョンがあります。各 AWS リージョンは、複数のアベイラビリティーゾーン (AZ) で構成されています。各アベイラビリティーゾーンは複数のデータセンターに指定することができ、全面的には数十万のサーバーを指定できます。 このブログでは、AWS DataSync を使用して AWS リージョン間で Amazon FSx for Windows ファイルサーバーデータを複製するためのアーキテクチャを設定する方法について説明します。このプロセスに含まれる手順は、以下のとおりです。 ステップ 1: ソース AWS リージョンで Amazon FSx for Windows ファイルサーバーを設定する ステップ 2: AWS リージョン間の通信を有効にする ステップ 3: […]

データのほとんどは、構造化されていないファイルとして存在しており、アプリケーションでは、かなりの割合がデータストレージを使用するように設計されています。これらアプリケーションの多くに、共有ファイルを使用するための設計要件があります。セルフマネージド型で共有ファイルシステムを実現するには、多くの作業が必要です。取得やプロビジョニングが必要なものとしては、コンピューティングとストレージのリソース、ネットワーキング、ロードバランシング、精密な需要予測、ソフトウェアの管理、そして可用性や信頼性のためのレプリケーション管理、などが挙げられるでしょう。完全マネージド型の共有ファイルシステムなら、セルフマネージド型のシステムが必要とする代わり映えしない重労働から解放されます。組織は、イノベーションやソリューションによる差別化に注力できるのです。Amazon Elastic File System (Amazon EFS) であれば、完全マネージド型かつクラウドネイティブで信頼性も高い NFS ベースの共有ファイルシステムを、月ごとに 0.08 USD/GB という効果的なストレージコストでご利用になれます。 この Amazon EFS は、可用性と信頼性の高いファイルストレージを提供しますが、追加の保護策として、ファイルシステムのバックアップ作成も推奨されるところです。仮に、アプリケーションもしくはヒューマンエラーによりファイルが不注意に削除された場合や、ファイルの旧バージョンが必要になったときには、このバックアップが助けになります。Amazon EFS には、ネイティブに AWS Backup が統合されています。このサービスでは Amazon EFS のファイルシステムのバックアップ作成が行え、ファイスシステム全体を復元したり、ファイルシステム内のファイルやフォルダーを復元することもできます。ファイルやフォルダー単位での復元は、より速く効率的に実施できるので、ファイルシステム全体の復元に対する良い代替策となります。クリティカルなファイルを復元しようとする場合は、短い目標復旧時間 (RTO) が必須です。ファイルシステム全体を復元した後、そこからクリティカルなファイルを抽出するのでは、RTO の厳しい要件を満たすことは困難になります。今回の記事では、AWS Backup により作成された Amazon EFS ファイルシステムのバックアップから、ファイルとフォルダーを復元する手法をご紹介していきます。 AWS Backup for Amazon EFS AWS Backup を使い EFS ファイルシステムのバックアップを行うには、バックアップの頻度、ウィンドウ、保持期間、ライフサイクルポリシーなどを定義する、バックアッププランを設定する必要があります。その後、設定したバックアッププランに、ご自分の EFS ファイルシステムを割り当てます。復元ポイント ID は、正常に終了したバックアップすべてに定義されるもので、EFS のファイルシステムとその中のファイルを、ある時点に復元するために使います。AWS Backup を使った EFS ファイルシステムバックアップの詳細については、こちらのドキュメントをご参照ください。 このシナリオ例では、次に示すスクリーンショットのように、EFS ファイルシステム (fs-7e70f9b5) が […]