Amazon Web Services ブログ

Category: Amazon Elastic File System (EFS)

Amazon EFS CSI dynamic provisioningの御紹介

このブログはMike Stefaniak (Sr. Product Manager for Amazon EKS)、Marco Ballerini (DevOps Architect)によって執筆された内容を日本語化した物です。原文はこちらを参照して下さい。 企業がワークロードの多くをKubernetesに移行するにつれ、データをコンテナの外で共有したり持続させたりする方法を必要とするアプリケーションを導入するケースが増えています。Kubernetesは、Container Storage Interface(CSI)を介してブロックおよびファイルストレージシステムをコンテナ化されたワークロードに提供することで、このニーズに対応しています。Amazon Elastic Kubernetes Service (Amazon EKS) は現在、CSIを介して、Amazon Elastic File System (Amazon EFS)、Amazon Elastic Block Store (Amazon EBS)、およびAmazon FSx for Lustreの3つのストレージオプションをサポートしています。この記事では、お客様に人気のストレージオプションであるAmazon EFSに焦点を当てます。Amazon EFSは、同じAWSリージョン内の異なるアベイラビリティーゾーンからアクセス可能な共有ファイルシステムを提供し、高い耐久性を持つように設計されています。これは、Amazon EKSクラスタが複数のアベイラビリティーゾーンにまたがっている場合、またはコンテナ化されたアプリケーションが設定ファイル、静的資産、または複数のポッドで共有される何かを保持するために永続的なストレージを必要とする場合に特に役立ちます。 Kubernetesは、同じクラスタ内のストレージ関連の業務を論理的に分離します。PersistentVolumes (PV)は、管理者によってプロビジョニングされた、又はCSIドライバを使って動的にプロビジョニングされた、クラスタ内のストレージの単位です。PersistentVolumeClaim (PVC)は、通常、ユーザーまたはアプリケーションによって作成され、ストレージ領域を必要とする時にPVを要求します。これはポッドと似ており、一般的にはアプリケーションのライフサイクルに沿って行われます。 これまで、Amazon EFS CSIドライバを使用するKubernetes管理者は、ユーザーがPVCを作成する前に、PV(および必要なAmazon EFSリソース)を静的にプロビジョニングする必要がありました。今回、Amazon EFS CSIドライバーの最新バージョンにダイナミックプロビジョニングが搭載されたことをお知らせします。ダイナミック・プロビジョニングは、EFSアクセスポイント(EFSファイルシステムへのアプリケーション固有のエントリーポイント)を使用して、単一のファイルシステムで最大120のPVを自動的にプロビジョニングすることができます。 このブログの残りの部分では、新しくリリースされたAmazon EFS CSIドライバーのバージョン1.2を使用して、ダイナミック・プロビジョニングを開始する方法を紹介します。 セットアップ ドライバは、EFS アクセスポイントを作成および管理するために IAM 権限を必要とします。IAM roles for […]

Read More

VMware Cloud on AWSにおけるストレージオプションと設計

VMware Cloud on AWSはVMwareのSoftware-Defined Data Center (SDDC)技術をAWSのグローバルインフラストラクチャ上で提供するためVMwareとAWSが共同開発したソリューションです。 様々なストレージ要件のワークロードが存在する場合、利用可能なストレージオプションの種類を把握し、異なる条件下でそれらをどう使っていくことが最適であるかを理解することが重要です。 VMware Cloud on AWSは複数のストレージサービスと統合されており、VMware vSphereワークロードに対して選択肢と柔軟性を提供しています。しかしながら各サービスは特定のシナリオに最適化されており、ワークロード全体に対して最適な単一のアプローチというものはありません。正しいサービスを選択するには、まずVMware vSphereワークロードのストレージ要件やパフォーマンスの統計データを理解しなければいけません。それを踏まえた上で、お客様のワークロードに適したコスト、可用性、パフォーマンス要件を満たすストレージを計画、実装することができます。

Read More

新機能 – Amazon Elastic File System 用の低コストのストレージクラス

Amazon Elastic File System (Amazon EFS)では、シンプルかつサーバーレスで設定後の管理も不要の、伸縮自在なファイルシステムが利用できます。このファイルシステムは、Amazon Elastic Compute Cloud (EC2) インスタンス間で共有されるデータの他にも、各種のコンテナやサーバーレスサービス (Amazon Elastic Container Service (ECS)、Amazon Elastic Kubernetes Service (EKS)、AWS Fargate、およびAWS Lambda など) での使用が可能です。これまでお客様には、地理的に分離された複数のアベイラビリティーゾーン (AZ) にまたがりデータを冗長的に格納する、Amazon EFS 標準ストレージクラスにより、最高レベルの可用性と耐久性をご提供してまいりました。 今後は、Amazon EFS の 1 ゾーンストレージクラスにより、Amazon EFS標準ストレージクラスと比較して、ストレージコストを 47% まで削減することが可能になります。例えば、米国東部 (バージニア北部) リージョンにおいて、ライフサイクル管理を使用されておりデータの 80% へのアクセスが低頻度であるお客様の場合には、0.043 USD/GB (月間) というコスト効率の高いストレージをご利用いただけます。Amazon EFS は、非常に高い耐久性 (99.999999999%) を実現するために設計されています。EFS 1 ゾーンストレージクラスでは、可用性の SLA において 99.9 % が提示されていると同時に、伸縮性、シンプルさ、スケーラビリティ、ライフサイクル管理の使用など、標準ストレージクラスと同じ機能も維持されています。 当社では今回、新たに […]

Read More

Amazon EFS を利用して AWS Fargate 上の Amazon EKS でステートフルなワークロードを実行する

この記事は、Running stateful workloads with Amazon EKS on AWS Fargate using Amazon EFS を翻訳したものです。 本投稿は、Container Specialist Solutions Architect の Re Alvarez-Parmar と Sr Technical Account Manager の Vikram Venkataraman により寄稿されました。 Amazon Elastic Kubernetes Service (EKS) では、EC2インスタンスまたは AWS Fargate で Kubernetes ポッドを実行することができます。コンテナ用のサーバーレスコンピューティングエンジンである AWS Fargate を使用すると、サーバーの作成と管理、データプレーンのスケーリング、EC2 インスタンスの適切なサイズ設定、ワーカーノードのアップグレードの処理を行うことなく、Kubernetes ワークロードを実行できます。今のところ Fargate は、ステートレスなコンテナ化されたワークロードを安全で費用対効果の高い方法で実行するのに理想的です。Fargate は VM で分離された環境で各ポッドを実行し、ノードに自動的にパッチを適用するため安全です。Fargate では、ポッド用に構成したコンピューティングリソースに対してのみ課金されるため、費用対効果が高まります。最近リリースされた Amazon Elastic File System […]

Read More

Amazon EFSとSUSEで実現、SAP Content Serverの高可用性構成

はじめに 2020年初め、SAPはSAP Business Suite 7コアアプリケーションのメインストリーム保守を2027年末まで延長し、その後2030年末までオプションで延長保守を行うことを発表しました。詳細はこちらをご確認下さい。今回の発表により、保守期限を迎える従来のデータセンターからAWSへのSAPシステムをの移行を検討しているお客様は、多くの選択肢ができました。SAP S/4HANAへのマイグレーション/アップグレードの代わりに、既存のSAP Business Suite 7システムをそのままAWS上で利用することができます。このオプションでは、お客様はコアとなるSAPアプリケーションや関連システムに、AWSインフラストラクチャが提供する高い冗長性と可用性を確保したいと考えています。

Read More
Lambda Thumb

新機能 – Lambda関数の共有ファイルシステム – Amazon Elastic File System for AWS Lambda

本投稿は AWS の Chief Evangelist (EMEA)であるDanilo Pocciaによる寄稿です。 AWS Lambda関数がAmazon Elastic File System(EFS)をマウントできるようになったことを非常に嬉しく思います。EFSは、高可用性と耐久性のために複数のアベイラビリティーゾーン(AZ)にまたがってデータを格納するスケーラブルでエラスティックなNFSファイルシステムです。このように、使い慣れたファイルシステムインターフェイスを使用して、関数単体、および複数のLambda関数のすべての同時実行環境にわたってデータを保存および共有できます。 EFSは、強力な整合性やファイルロックなどの完全なファイルシステムアクセスセマンティクスをサポートしています。 Lambda関数を使用してEFSファイルシステムを接続するには、EFSアクセスポイントを使用します。これは、ファイルシステムへのアクセス時に使用するオペレーティングシステムのユーザーとグループを含むEFSファイルシステムへのアプリケーション固有のエントリポイント、ファイルシステムのアクセス許可、およびファイルシステム内の特定のパスへのアクセスを制限できます。これにより、ファイルシステム構成をアプリケーションコードから切り離しておくことができます。 同一のアクセスポイント、または異なるアクセスポイントを使用して、複数の関数から同じEFSファイルシステムにアクセスできます。たとえば、異なるEFSアクセスポイントを使用して、各Lambda関数はファイルシステムの異なるパスにアクセスしたり、異なるファイルシステムのアクセス許可を使用したりできます。 同じEFSをAmazon Elastic Compute Cloud(EC2)インスタンス、Amazon ECSとAWS Fargateを使用するコンテナ化されたアプリケーションや、オンプレミスサーバーと共有できます。このアプローチに従って、異なるコンピューティングアーキテクチャ(関数、コンテナ、仮想サーバー)を使用して同じファイルを処理できます。たとえば、イベントに反応するLambda関数は、コンテナで実行されているアプリケーションによって読み取られる構成ファイルを更新できます。または、Lambda関数を使用して、EC2で実行されているWebアプリケーションによってアップロードされたファイルを処理できます。 このようにすると、いくつかのユースケースではLambda関数によって実装がより容易になります。例えば: /tmpで使用可能な容量(512MB)より大きいデータを処理またはロードする。 頻繁に変更されるファイルの最新バージョンをロードする。 モデルやその他の依存関係をロードするためにストレージ容量を必要とするデータサイエンスパッケージを使用する。 呼び出し間で関数の状態を保存する(一意のファイル名またはファイルシステムロックを使用)。 大量の参照データへのアクセスを必要とするアプリケーションの構築。 レガシーアプリケーションをサーバーレスアーキテクチャに移行する。 ファイルシステムアクセス用に設計されたデータ集約型ワークロードとの相互作用。 ファイルを部分的に更新する(同時アクセス用のファイルシステムロックを使用)。 アトミック操作でファイルシステム内のディレクトリとそのすべてのコンテンツを移動する。 EFSの作成 EFSをマウントするには、Lambda関数がEFSマウントターゲットに到達できるAmazon Virtual Private Cloud(VPC)に接続されている必要があります。ここでは、簡単にするために、各AWSリージョンで自動的に作成されるデフォルトのVPC を使用しています。 Lambda関数をVPCに接続する構成にすると、ネットワーク環境の変化に伴う変更が必要になることがある点に注意してください。 Lambda関数がAmazon Simple Storage Service(S3)またはAmazon DynamoDBを使用している場合は、それらのサービスのゲートウェイVPCエンドポイントを作成する必要があります。 Lambda関数がパブリックインターネットにアクセスする必要がある場合、たとえば外部APIを呼び出す場合は、NATゲートウェイを構成する必要があります。通常、デフォルトVPCの構成は変更しません。特定の要件がある場合は、AWS Cloud Development Kitを使用してプライベートおよびパブリックサブネットで新しいVPCを作成するか、これらのAWS CloudFormationのサンプルテンプレートのいずれかを使用します。このようにすることで、ネットワークをコードとして管理できます。 EFSコンソールで、[Create file system]を選択し、default のVPCとそのサブネットが選択されていることを確認します。すべてのサブネットで、同じセキュリティグループを使用してVPC内の他のリソースへのネットワークアクセスを提供するデフォルトのセキュリティグループを使用します。 次のステップでは、ファイルシステムにNameタグを付け、他のすべてのオプションをデフォルト値のままにします。 次に、[Add access […]

Read More

[AWS Black Belt Online Seminar] Amazon Elastic File System (Amazon EFS) 資料及び QA 公開

先日 (2018/7/4) 開催しました AWS Black Belt Online Seminar 「Amazon Elastic File System (Amazon EFS)」 の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 PDF Q. EFSを複数のLambda間でのデータ共有に使ってみたいのですが、可能ですか ? A. Lambda 関数から EFS にアクセスすることはできません。Lambda 関数の間で情報共有を行う場合は DynamoDB を利用するか S3 を介したファイル渡しなどで実装してください。 Q. 最大どれくらいのスループットがでますでしょうか。 A. デフォルトの最大スループットは 1GB/s または 3GB/s が設定されており(リージョンによって異なります)、上限緩和申請を行うことができます。 Q. S3へのバックアップオプションなどはありますか? A. 現時点で EFS の機能として EFS から S3 へのバックアップ機能は提供されておりません。バックアップソフトウエアを利用して(EC2など)、S3に格納することなどをご検討ください。 Q. 拡張するサイズに制限をかけることはできますか? A. ファイルシステムが拡張する際の上限を設ける機能は現時点では提供されていません。 Q. オンプレからはDirect Connect経由でアクセス可能とのことですが、その場合も通信料金(下り課金)は発生しないのでしょうか。 A. AWS Direct Connect のデータ送信の料金が発生します。 Q. AWS Storage Gateway との使い分けはどのように考えるべきですか。 A. File Gateway はその名の通り、S3 へのアクセスに対応していない既存のアプリケーションを容易に S3 を利用できるようにするためのゲートウェイとして稼働するアプライアンスとして開発されているため、バックアップイメージや分析対象データをS3 にアップロードする、といった使い方には向いています。 一方で高い可用性やスループット性能が求められ、頻繁にファイルへの読み書きが発生するようなワークロードを処理するファイルサーバには EFS が向いています。 Q. EFS File Sync Agent というものが何なのか、いまいちよくわからなかったのですが、これは Storage Gateway のような VMなのでしょうか? A. EC2 または VMware ESXi のインスタンス上で動作し、データ同期処理を行うアプライアンスとお考えください。 Q. 例えば、EC2にて起動時にマウントするようにしたイメージを作成すれば、そのイメージからインスタンスを作った場合に起動時からEFSを参照できるようになる、ということであっていますでしょうか。 A. はい。/etc/fstab に EFS のファイルシステムをマウントするよう記述して AMI を作成すれば、そのイメージから起動されたインスタンスは指定したファイルシステムをマウントします。ユーザーデータに記述することでも対応できますので要件に応じて選択してください。 Q. 書き込み途中のファイルを他のマウント元から参照させたくないのですが、そのような制限は可能でしょうか? A. EFS には強力な書き込み後の読み取り整合性がありますので、書き込み途中のファイルが他の NFS クライアントから参照されることはありません。 Q. NFSのsoft […]

Read More

Amazon Elastic File System 東京リージョン 一般提供開始のお知らせと利用上の留意点のまとめ

みなさん、こんにちは。 アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 AWS Summit Tokyo 2018 の基調講演にてアナウンスいたしました、Amazon Elastic File System (EFS)が東京リージョンで今日一般提供が開始されました。 Amazon EFSは複数のEC2からマウント可能なファイルストレージサービスです。従来ご利用いただいていたブロックストレージであるAmazon Elastic Block Store (EBS)との使い分けの考慮が大事なサービスとなりますので、その特徴とご利用における検討事項を纏めます。 Amazon EFS の特徴 Amazon EFSはシンプルで、スケーラブル、伸縮自在なファイルストレージを、AWS クラウドサービスとオンプレミスの両方でご利用いただくことが可能です。 シンプル – ファイルシステムを迅速かつ容易に作成および構成できるシンプルなウェブサービスインターフェイスを備え、ファイルストレージインフラストラクチャを管理するため、複雑なデプロイ、パッチ適用、複雑なファイルシステムデプロイメントを維持する必要はありません。また課金体系もシンプルであり、保存されているデータ容量にたいしてのみ課金されます。東京リージョンでの価格は0.36USD / GBとなります。 スケーラブル – ファイルシステムの拡大に合わせて、スループットおよび IOPS が自動でスケールされます。こちらにパフォーマンスについてはまとまっています。 伸縮自在 – ファイルの追加や削除に合わせてファイルシステムのストレージ容量を直ちに自動で拡張または縮小でき、これによりスループット及びIOPSが変動します。 高可用性および高耐久性 – ファイルシステムの各オブジェクト (ディレクトリ、ファイル、リンクなど) は、複数のアベイラビリティーゾーンに冗長的に保存されるため、高いレベルの可用性と耐久性を確保できます。 オンプレミス環境からの利用 – AWS Direct Connect で Amazon VPC に接続し、オンプレミスのデータセンターサーバーにファイルシステムをマウントすることが可能です ご利用上の留意点 EFS はNFS v4 プロトコルをサポートしています。NFS […]

Read More