Amazon Web Services ブログ

Tag: Amazon Elastic File System

VMware Cloud on AWSにおけるストレージオプションと設計

VMware Cloud on AWSはVMwareのSoftware-Defined Data Center (SDDC)技術をAWSのグローバルインフラストラクチャ上で提供するためVMwareとAWSが共同開発したソリューションです。 様々なストレージ要件のワークロードが存在する場合、利用可能なストレージオプションの種類を把握し、異なる条件下でそれらをどう使っていくことが最適であるかを理解することが重要です。 VMware Cloud on AWSは複数のストレージサービスと統合されており、VMware vSphereワークロードに対して選択肢と柔軟性を提供しています。しかしながら各サービスは特定のシナリオに最適化されており、ワークロード全体に対して最適な単一のアプローチというものはありません。正しいサービスを選択するには、まずVMware vSphereワークロードのストレージ要件やパフォーマンスの統計データを理解しなければいけません。それを踏まえた上で、お客様のワークロードに適したコスト、可用性、パフォーマンス要件を満たすストレージを計画、実装することができます。

Read More

Amazon EFS を利用して AWS Fargate 上の Amazon EKS でステートフルなワークロードを実行する

この記事は、Running stateful workloads with Amazon EKS on AWS Fargate using Amazon EFS を翻訳したものです。 本投稿は、Container Specialist Solutions Architect の Re Alvarez-Parmar と Sr Technical Account Manager の Vikram Venkataraman により寄稿されました。 Amazon Elastic Kubernetes Service (EKS) では、EC2インスタンスまたは AWS Fargate で Kubernetes ポッドを実行することができます。コンテナ用のサーバーレスコンピューティングエンジンである AWS Fargate を使用すると、サーバーの作成と管理、データプレーンのスケーリング、EC2 インスタンスの適切なサイズ設定、ワーカーノードのアップグレードの処理を行うことなく、Kubernetes ワークロードを実行できます。今のところ Fargate は、ステートレスなコンテナ化されたワークロードを安全で費用対効果の高い方法で実行するのに理想的です。Fargate は VM で分離された環境で各ポッドを実行し、ノードに自動的にパッチを適用するため安全です。Fargate では、ポッド用に構成したコンピューティングリソースに対してのみ課金されるため、費用対効果が高まります。最近リリースされた Amazon Elastic File System […]

Read More
Lambda Thumb

新機能 – Lambda関数の共有ファイルシステム – Amazon Elastic File System for AWS Lambda

本投稿は AWS の Chief Evangelist (EMEA)であるDanilo Pocciaによる寄稿です。 AWS Lambda関数がAmazon Elastic File System(EFS)をマウントできるようになったことを非常に嬉しく思います。EFSは、高可用性と耐久性のために複数のアベイラビリティーゾーン(AZ)にまたがってデータを格納するスケーラブルでエラスティックなNFSファイルシステムです。このように、使い慣れたファイルシステムインターフェイスを使用して、関数単体、および複数のLambda関数のすべての同時実行環境にわたってデータを保存および共有できます。 EFSは、強力な整合性やファイルロックなどの完全なファイルシステムアクセスセマンティクスをサポートしています。 Lambda関数を使用してEFSファイルシステムを接続するには、EFSアクセスポイントを使用します。これは、ファイルシステムへのアクセス時に使用するオペレーティングシステムのユーザーとグループを含むEFSファイルシステムへのアプリケーション固有のエントリポイント、ファイルシステムのアクセス許可、およびファイルシステム内の特定のパスへのアクセスを制限できます。これにより、ファイルシステム構成をアプリケーションコードから切り離しておくことができます。 同一のアクセスポイント、または異なるアクセスポイントを使用して、複数の関数から同じEFSファイルシステムにアクセスできます。たとえば、異なるEFSアクセスポイントを使用して、各Lambda関数はファイルシステムの異なるパスにアクセスしたり、異なるファイルシステムのアクセス許可を使用したりできます。 同じEFSをAmazon Elastic Compute Cloud(EC2)インスタンス、Amazon ECSとAWS Fargateを使用するコンテナ化されたアプリケーションや、オンプレミスサーバーと共有できます。このアプローチに従って、異なるコンピューティングアーキテクチャ(関数、コンテナ、仮想サーバー)を使用して同じファイルを処理できます。たとえば、イベントに反応するLambda関数は、コンテナで実行されているアプリケーションによって読み取られる構成ファイルを更新できます。または、Lambda関数を使用して、EC2で実行されているWebアプリケーションによってアップロードされたファイルを処理できます。 このようにすると、いくつかのユースケースではLambda関数によって実装がより容易になります。例えば: /tmpで使用可能な容量(512MB)より大きいデータを処理またはロードする。 頻繁に変更されるファイルの最新バージョンをロードする。 モデルやその他の依存関係をロードするためにストレージ容量を必要とするデータサイエンスパッケージを使用する。 呼び出し間で関数の状態を保存する(一意のファイル名またはファイルシステムロックを使用)。 大量の参照データへのアクセスを必要とするアプリケーションの構築。 レガシーアプリケーションをサーバーレスアーキテクチャに移行する。 ファイルシステムアクセス用に設計されたデータ集約型ワークロードとの相互作用。 ファイルを部分的に更新する(同時アクセス用のファイルシステムロックを使用)。 アトミック操作でファイルシステム内のディレクトリとそのすべてのコンテンツを移動する。 EFSの作成 EFSをマウントするには、Lambda関数がEFSマウントターゲットに到達できるAmazon Virtual Private Cloud(VPC)に接続されている必要があります。ここでは、簡単にするために、各AWSリージョンで自動的に作成されるデフォルトのVPC を使用しています。 Lambda関数をVPCに接続する構成にすると、ネットワーク環境の変化に伴う変更が必要になることがある点に注意してください。 Lambda関数がAmazon Simple Storage Service(S3)またはAmazon DynamoDBを使用している場合は、それらのサービスのゲートウェイVPCエンドポイントを作成する必要があります。 Lambda関数がパブリックインターネットにアクセスする必要がある場合、たとえば外部APIを呼び出す場合は、NATゲートウェイを構成する必要があります。通常、デフォルトVPCの構成は変更しません。特定の要件がある場合は、AWS Cloud Development Kitを使用してプライベートおよびパブリックサブネットで新しいVPCを作成するか、これらのAWS CloudFormationのサンプルテンプレートのいずれかを使用します。このようにすることで、ネットワークをコードとして管理できます。 EFSコンソールで、[Create file system]を選択し、default のVPCとそのサブネットが選択されていることを確認します。すべてのサブネットで、同じセキュリティグループを使用してVPC内の他のリソースへのネットワークアクセスを提供するデフォルトのセキュリティグループを使用します。 次のステップでは、ファイルシステムにNameタグを付け、他のすべてのオプションをデフォルト値のままにします。 次に、[Add access […]

Read More

新機能 ー Amazon EFS における伝送データの暗号化

Amazon Elastic File System はファイルベースのストレージへの共有アクセスが必要なクラウドネイティブなアプリケーション向けにファイルシステム選択肢の一つとなるよう設計されました。私たちは2016年中頃に EFS の提供を始めて、以降、”Direct Connect 経由のオンプレミス環境からのアクセス”や”保管データの暗号化”など重要な機能をいくつも追加してきました。また、EFS を提供する AWS リージョンの追加も行ってきており、直近では US West (北カリフォルニア) が追加されました。EFS 自体がそうであったように、これらの機能追加はお客様からのフィードバックにより為されたもので、益々拡大するお客様の声に応えたいという私たちの願望を反映しています。 伝送データの暗号化 今日、EFS をより便利なものにするために伝送データの暗号化サポートを追加しました。既にサポートしている保管データの暗号化と共に使用する場合、多層防御セキュリティ ストラテジーによる格納ファイルの保護が実現されます。 伝送データの暗号化の実装をより簡単にするために、EFS マウント ヘルパーもリリースします。このヘルパー(ソースコードと RPM 形式で提供)は、EFS への TLS トンネルの確立を助けてくれるもので、また ID によるファイルシステムのマウントもできるようにするものです。この 2 つの機能はそれぞれ独立しています。ヘルパーを使用して、伝送データの暗号化をしていなくても ID でファイルシステムをマウントできます。ヘルパーは実際の mount コマンドのデフォルトオプションの推奨セットも提供してくれます。 暗号化のセットアップ Amazon Linux インスタンスに EFS マウントヘルパーをインストールするところから始めます。 $ sudo yum install -y amazon-efs-utils 次に、EFS コンソールを開き、ファイルシステム ID を取得します。 そして、その ID […]

Read More

新機能 − Amazon Elastic Filesystem(EFS)で保管データの暗号化をサポート

我々は、1年と少し前にAmazon Elastic File Systemを本番ローンチしました。(詳細は Amazon Elastic File System – Production Ready in Three Regionsを確認ください)。そしてその年の後半には、Direct Connec経由でのオンプレミスアクセスを追加し、今年になって米国東部(オハイオ)、欧州(フランクフルト)、アジア・パシフィック(シドニー)リージョンでも利用可能となりました。 保管データの暗号化 本日、保管データの暗号化サポートを加えることにより、EFSがより利用しやすくなりました。ファイルシステムの作成時に、ファイルシステム上に保管するコンテンツを暗号化するための鍵を選択することが可能です。AWSが管理するビルトインの鍵、あるいは、AWS Key Management Service(KMS)を利用して自身で作成した鍵がご利用可能です。ファイルのメタデータ(ファイル名、ディレクトリ名、ディレクトリの内容)はAWSが管理する鍵で暗号化されます。どちらの暗号化の形式も、業界標準のAES−256アルゴリズムを利用して実装されています。 新しいファイルシステムを作成するときにすぐにセットアップ可能です。シンプルにビルトイン鍵(aws/elasticfilesystem)、あるいは自分の鍵を選択するだけです: EFSが残りをすべて行います! コンソールでファイルシステムを選択することで、望みどおり暗号化されているかどうかを確認できます: データをメタデータの暗号化には、FIPS 140-2の承認に適合した暗号化アルゴリズムが利用されます。暗号化は透過的に行われ、全体のパフォーマンスへの影響は最小限です。 AWS Identitiy and Access Management(IAM)を利用して、Customer Master Key(CMK)へのアクセスを制御することができます。CMKは、ファイルシステムへアクセスするために有効化されていなければいけません。鍵を無効化すると、新しいファイルシステムの作成に使用できなくなり、保護対象の既存のファイルシステムへのアクセスが(一定期間後)ブロックされます。詳細については、Managing Access to Encrypted File Systemsをご参照ください。 すぐにご利用可能 保管データの暗号化はEFSがサポートされている全てのリージョンでご利用可能です。追加料金は発生しません。 — Jeff; (翻訳はSA布目が担当しました。原文はこちら)

Read More

NICE EnginFrame – AWS のユーザーフレンドリーな HPC

去年、AWS が NICE 買収の契約に署名したこと、そして両社が協力し合い高パフォーマンスと科学計算において今まで以上に優れたツールとサービスを開発していく予定であることをブログでお知らせしました。そして本日、NICE EnginFrame 2017 をリリースするに至りました。この製品は AWS Cloud のパワー、スケール、柔軟性を活用する技術的および科学的なアプリケーションのセットアップと実行のプロセスをシンプルにするように設計されています。1 時間以内に、完全に機能する HPC クラスターをセットアップし、シンプルなウェブベースのユーザーインターフェイスを介してアクセスすることができます。すでに EnginFrame を使用している場合は、引き続きオンプレミスで実行したりクラウドに移動することができます。 AWS Inside クラスター (1 つ以上のクラスターを起動することも可能) は Virtual Private Cloud (VPC) 内にあり、複数の AWS サービスや機能を使用して構築されています。そうした機能とは Amazon Linux AMI、共有 Amazon Elastic File System、NFS スタイルのファイルストレージ、ユーザー認証の AWS Directory Service、トラフィック管理の Application Load Balancers などを実行している Amazon Elastic Compute Cloud (EC2) インスタンスなどです。このようなマネージド型サービスはワークロードや作業に集中しやすくすることができます。システムソフトウェアのアップグレード、パッチ、処理やストレージのスケーリング、そして自分でクラスターを構築した場合に伴うその他の責任などを心配する必要がありません。EnginFrame は AWS CloudFormation テンプレートから起動します。パラメーター化し自己完結型のテンプレートは、起動する各クラスターが同じ様に設定されることを確実にします。テンプレートを実行すると 2 つの異なる […]

Read More

Amazon EFS の更新 – Direct Connect を介したオンプレミスアクセス

昨年、Amazon Elastic File System をご紹介 (Amazon Elastic File System – Amazon EC2 の共有ファイルストレージ) し、本年初頭には本番環境での利用可能を発表 (Amazon Elastic File System – 3 つのリージョンで本番環境での利用が可能) しました。本年初頭の始動後、何千人もの AWS のお客様が、クラウド上の共有ファイルストレージを設定、スケーリング、および運用するためにこれを利用してきました。 そしてこの度、シンプルかつ信頼性が高い AWS Direct Connect を介したオンプレミスアクセスの紹介により、EFS はより便利なものとなります。これは、強く求められていた機能で、移行、クラウドバースト、バックアップにおいて有用です。 この機能を移行に使用するには、オンプレミスサーバーに EFS ファイルシステムをアタッチし、データをそこにコピーしてからクラウドで必要に応じて処理するだけです。データはそのまま AWS に長期間保存しておくことができます。クラウドバーストでは、オンプレミスデータを EFS ファイルシステムにコピーし、Amazon Elastic Compute Cloud (EC2) インスタンスを使用して高速で分析して、結果をオンプレミスにコピーしたり Amazon QuickSight で視覚化したりできます。オンプレミスサーバーから EFS ファイルシステムにアクセスした場合でも、または EC2 インスタンスからアクセスした場合でも、強力な一貫性とファイルロックを含む同様のファイルシステムのアクセスセマンティックスが得られます (もちろん、両方を同時にもできます)。また、EFS の一部であるマルチ AZ の可用性と耐久性を利用できます。 この新機能を利用するためには、オンプレミスのデータセンターと Amazon […]

Read More

Amazon Elastic File System が 3 つのリージョンで利用可能に

AWS のストレージ製品ラインは時間とともに豊かに多様な成長を遂げてきました。単一のストレージクラスで開始した Amazon S3 は現在、定期的かつ低頻度にアクセスされる、アーカイブ済みのオブジェクト向けの複数のストレージクラスを提供しています。同様に、単一のボリュームタイプで始まった Amazon Elastic Block Store (EBS) も、現在は 4 種類の SAN スタイルブロックストレージを提供しており、各ストレージが特定のアクセスパターンやデータタイプ向けに設計されています。オブジェクトストレージおよびブロックストレージへの対応は S3 および EBS によってカバーされていることから、AWS は次にファイルシステムに注目を向けました。AWS は、複数の EC2 インスタンス向けに、完全マネージド型ファイルシステムへの低レイテンシーの共有アクセスを提供するため、昨年 Amazon Elastic File System (EFS) を発表しました。そしてこのたび、EFS が US East (Northern Virginia)、US West (Oregon)、Europe (Ireland) の各リージョンでも本稼動使用できるようになりました。本日の発表に至るまで、AWS は長期のプレビュー期間にわたり、実に幅広いお客様のユースケースを検討してきました。EFS プレビューは、大規模かつ高スループット処理ワークロード、および多様なコンテンツとウェブ配信に最適でした。プレビュー期間、こうしたワークロードに対する EFS パフォーマンスについてポジティブなフィードバックが多数寄せられました。一方、レイテンシーの変化に影響を受け、ファイルシステムメタデータを多用するワークロードについても同様に優れたサポートを提供してほしいというご要望もいただきました。こうしたフィードバックへの取り組みの結果、本日のラウンチは非常に幅広いユースケースに対応できる設計となっています。これまで、お客様には EFS に大変ご満足いただき、すぐにでも使用を開始したいというご意見をいただいております。 EFS を構築した理由 AWS をご利用の多くのお客様から、拡張可能なファイルストレージをより簡単に管理する方法を提供してほしいというご要望をいただいてきました。こうしたお客様には、共通の名前空間と、企業または部署別のファイル階層への簡単なアクセスによってメリットを受ける、ウェブサーバ群やコンテンツ管理システムを稼動している方もいらっしゃいます。一方、多数の大規模ファイルを作成、処理、削除する HPC およびビッグデータアプリケーションを運用して、著しく変化するストレージ利用とスループットの需要に対応しているお客様もいらっしゃいます。また、AWS のお客様は、高可用性、高耐久性とともに、アクセスと変更に対しても強力な整合性を提供するモデルを求めてきました。 Amazon Elastic File System […]

Read More