Amazon Web Services ブログ

Category: Storage

2 月 26 日のオンラインテックトーク: AWS ファイルストレージでデータ分析を加速化

2 月 26 日の AWS オンラインストレージテックトークでは、AWS ファイルストレージを使用したデータ分析の加速化についてご紹介します。どうぞお見逃しなく。 このテックトークは、午前 11:00~午後 12:00 太平洋時間 (午後 2:00~午後 3:00 東部時間) に開催されます。 多くのお客様が共有ファイルストレージを使用して、ビジネスに不可欠なデータサイエンスワークフローを加速しています。Python、MXNet、TensorFlow などの一般的なツール、Jupyter などの共有ノートブックシステムを使用する場合があります。 Amazon Elastic File System (Amazon EFS) は、AWS クラウドサービスおよびオンプレミスリソースで使用するための、シンプルでスケーラブルで弾力性のある完全マネージド型の NFS ファイルシステムを提供します。これにより、データサイエンスチームはデータを簡単に共有し、分析と洞察にかかる時間を短縮できます。このテックトークでは、EFS Infrequent Access ストレージクラスを活用してコストを最適化する方法など、データサイエンスホームディレクトリを Amazon EFS に移行するための一般的な課題とベストプラクティスについて説明します。開始方法を説明し、将来の考慮事項を検討します。 この 200 レベルのオンラインセミナーでは、以下のことを学びます。 当社のお客様がデータサイエンスファイルストレージソリューションに Amazon EFS を選択している理由をご覧ください。 最新の Amazon EFS 機能を利用して、トレーニングデータとモデルファイルを保護してバックアップします。 Amazon SageMaker など、サービスとの統合による洞察の加速化をご覧ください。 参加対象者 データサイエンティスト 開発者 クラウドアーキテクト IT ディレクター IT マネージャー […]

Read More

2 月 21 日開催のオンラインテックトーク: Amazon S3 の使用開始

 2 月 21 日に開催される AWS オンラインストレージテックトークをお見逃しなく。Amazon Simple Storage Service (Amazon S3) の開始方法と、Amazon S3 がビジネスの規模を拡大するための基盤を構築する方法について説明します。 このテックトークは、午前 9:00~午後 10:00 太平洋時間 (正午~午後 1:00 東部時間) に開催されます。 Amazon S3 Glacier を含む Amazon S3 は、開発者と IT チームに、業界をリードするスケーラビリティ、データ可用性、セキュリティ、パフォーマンスを提供するオブジェクトストレージサービスを提供します。この基礎的なテックトークでは、Amazon S3 の概要を説明し、主要な機能と利点を確認し、データレイク、静的ウェブサイト、バックアップと復元などのさまざまな S3 ユースケースを見ていきます。また、AWS アカウントの設定、S3 バケットの作成、セキュリティとアクセス制御の設定、オブジェクトまたはバケットのアップロードまたは削除についても説明します。 この 200 レベルのオンラインセミナーでは、以下のことを学びます。 Amazon S3 の利点の理解 Amazon S3 を活用するためのユースケースの把握 Amazon S3 の開始方法 参加対象者 システム管理者 ストレージ管理者 開発者 Devops エンジニア […]

Read More

SFTP サーバーから AWS への移行をリフトアンドシフトする

 さまざまな業界および地理的な場所にまたがる組織は、重要なビジネスワークフローの一部としてデータを交換しています。多くの場合、ファイル転送インフラストラクチャと高い資本支出を管理する運用上の負担により、IT 予算が浪費されます。さらに重要なことは、この負担により予算を付加価値のあるプロジェクトに振り分けてビジネスを差別化するのが難しくなってしまいます。 これらの課題に対処し、データをロック解除して重要な洞察を引き出すために、AWS Transfer for SFTP (AWS SFTP) がローンチされました。AWS SFTP では、お客様は既存のファイル転送インフラストラクチャを、クラウドストレージを基盤とする完全マネージド型のサービスに移行することができます。このサービスの主な目的の 1 つは、このワークフローの移行によってエンドユーザー (SFTP クライアントユーザー) に混乱が生じないようにすることです。そのため、AWS は「リフトアンドシフト」に役立つ機能を設計しました。これにより、お客様はアプリケーションやアカウント設定を変更せずに同サービスに移行できます。 SFTP クライアントの観点から見ると、サーバーの「アイデンティティ」は、DNS 名、IP アドレス、SSH ホストキーの 3 つの要素で構成されています。この記事では、この移行中に必要なだけ既存のサーバーの ID を持ち込む方法について説明します。 DNS の移植性 最も単純なリフトアンドシフトのシナリオは、単に AWS SFTP サーバーと、新しいサーバーのエンドポイントを指す DNS CNAME エイリアスを作成することです。現在の ISP で、または AWS SFTP コンソールから Amazon Route 53 経由で、CNAME レコードを作成できます。 新しい DNS レコードを公開する前に、新しいサーバーで各ユーザーのアカウントを作成してください。これを実現する方法は、エンドユーザー ID を管理するサービスを利用するか、認証およびアクセス用の独自 (カスタム) の ID プロバイダーを使用するかによって異なります。 資格情報をオンプレミスサーバーからインポートした後、フォルダをセットアップして、既存のホームディレクトリをミラーリングできます。Amazon […]

Read More

CloudEndure Disaster Recovery を使ったアプリケーションの復旧力強化

 IT 災害の発生時には、ビジネスの継続性を確保するために、ワークロードのバックアップを行った上で、それを素早く再実行させる必要があります。ビジネスクリティカルなアプリケーションでは、復旧時間とデータ損失を最小限に留めることが最優先ですが、全体的な予算を抑える必要もあります。 CloudEndure Disaster Recovery は、いかなるソースインフラストラクチャからでも、AWS への迅速なフェイルオーバーを実現するので、災害時にも通常通りのビジネスを維持するのに役立ちます。CloudEndure Disaster Recovery では、AWS の低コストなステージング領域にワークロードをレプリケーションすることで、コンピューティングコストを 95% カットでき、OS やサードパーティーのアプリケーションライセンスを重複配備することもなくなります。今回の記事では、CloudEndure Disaster Recovery をオンプレミスマシン用にセットアップするための、一連の基本的な手順をご紹介します。 CloudEndure Disaster Recovery の動作 CloudEndure Disaster Recovery はエージェントベースのソリューションで、 AWS アカウントにあるステージング領域へのソースマシンの継続的なレプリケーションを、パフォーマンスに影響を与えることなく実行します。この機能には、継続的データ複製技術を使用しています。これにより、サポートされたオペレーティングシステムで実行しているすべてのワークロードの、継続的で同期した、ブロックレベルでのレプリケーションが提供されます。この技術により、1 秒以内の復旧ポイント目標 (RPO) を達成しています。レプリケーションは (ハイパーバイザーや SAN レベルではなく) OS レベルで実行されるので、物理マシン、仮想マシン、そしてクラウドベースのマシンをサポートすることが可能です。災害発生時には、CloudEndure Disaster Recovery に命令を伝えるだけでフェイルオーバーが起動し、自動的なマシンの切り替えとオーケストレーションが実行されます。お使いの各マシンは、数分の内に AWS 上で再起動されるので、積極的な復旧時間目標 (RTO) に対応します。 レプリケーションには、次のように 2 段階の主要なステップがあります。 初期同期: インストールされた後の CloudEndure エージェントは、最初のブロックレベルレプリケーションを開始します。ここでは、お客様のマシンにあるすべてのデータを、ターゲットの AWS リージョンにあるステージング領域に複製します。この処理にかかる時間は、レプリケーションが行われるデータの量、および、お使いのソースインフラストラクチャとターゲット AWS リージョン間で使用できる通信の帯域幅によって変わります。 継続的データ保護: […]

Read More

Linux KVM ハイパーバイザーに AWS Storage Gateway をデプロイする

 AWS のお客様は、さまざまなオンプレミス環境をサポートしており、さまざまなデプロイのニーズを抱えています。これまで、Linux カーネルベースの仮想マシン (KVM) ハイパーバイザーをご使用のお客様は、AWS Storage Gateway を使用してハイブリッドクラウドのストレージソリューションを便利に実装する方法がありませんでした。AWS Storage Gateway は、NFS、SMB、iSCSI、および iSCSI-VTL インターフェイスを使用して、実質的に無制限のクラウドストレージへのオンプレミスアプリケーションアクセスを提供します。お客様はこのサービスを使用してデータを AWS にバックアップおよびアーカイブし、オンプレミスストレージをクラウドバックアップファイル共有にシフトし、AWS のデータへのオンプレミスアプリケーションの低レイテンシーアクセスを提供します。 本日、私たちは Storage Gateway を Linux カーネルベースの仮想マシン (KVM) ハイパーバイザーで利用できるようにし、この費用対効果の高いハイパーバイザーを使用するお客様のニーズを満たすように支援しています。KVM は、顧客が Linux ベースのホストマシンを 1 つ以上の仮想マシンに変換できる、オープンソースの仮想化技術です。KVM は Linux 2.6.20 以降のすべてのバージョンに含まれています。 Storage Gateway は、仮想化拡張機能を備えた Intel x86 CPU を使用するホストマシン上で、Red Hat Enterprise Linux 7.7、CentOS 7.7、Ubuntu 18.04 LTS および 16.04 LTS で QEMU-KVM をサポートするようになりました。 Storage Gateway […]

Read More

Amazon EFS の新機能 – IAM 認証とアクセスポイント

アプリケーションを構築または移行する際に、多くの場合、複数の計算ノード間でデータを共有する必要があります。 多くのアプリケーションはファイル API を使用し、Amazon Elastic File System (EFS) では AWS でそれらのアプリケーションを簡単に使用できます。他の AWS サービスおよびオンプレミスリソースからアクセスできる、スケーラブルでフルマネージド型の Network File System (NFS) を提供します。 EFS は、中断することなく、オンデマンドでゼロからペタバイトまで拡張します。また、ファイルを追加および削除すると自動的に拡大および縮小を行い、容量をプロビジョニングして管理する必要性を取り除きます。これを使用することにより、3 つのアベイラビリティーゾーン間で強力なファイルシステムの一貫性が得られます。EFS パフォーマンスは、必要なスループットをプロビジョニングするオプションを使用して、保存されているデータの量に応じて拡大します。 昨年、EFS チームは、EFS Infrequent Access (IA) ストレージクラスを導入することでコストの最適化に注力し、ストレージ料金が EFS 標準と比較して最大 92% 低くなりました。一定期間アクセスされていないファイルを EFS IA に移動するようにライフサイクル管理ポリシーを設定することにより、コストをすぐに削減できます。 現在、アクセスの管理、データセットの共有、EFS ファイルシステムの保護を簡素化する 2 つの新機能を導入しています。 NFS クライアントの IAM 認証と承認により、クライアントを識別し、IAM ポリシーを使用してクライアント固有の権限を管理します。 EFS アクセスポイントは、オペレーティングシステムのユーザーとグループの使用を強制し、オプションでファイルシステム内のディレクトリへのアクセスを制限します。 IAM 認証および承認の使用 EFS コンソールで、EFS ファイルシステムを作成または更新するときに、ファイルシステムポリシーを設定できるようになりました。これは、Amazon Simple Storage Service (S3) のバケットポリシーに類似した […]

Read More

新年の抱負: AWS ストレージブログで AWS ストレージについて説明する

新年を迎えて、AWS ストレージチームは、AWS ストレージブログで 2019 年の最も人気のある投稿をいくつかお見せしたいと考えました。最初の投稿が 2019 年 3 月 25 日にブログに公開されて以来、AWS のクラウドストレージについて、AWS コミュニティおよびクラウドコミュニティ全体の教育のために、私たちはあらゆる努力をしてきました。そうすることで、75 件以上の投稿とカウントを公開し、優れた顧客導入事例、告知、ベストプラクティスなどを含むコンテンツを提供しています。 この投稿では、AWS ストレージブログで 2019 年の最も人気のある投稿をお見せします。AWS ストレージコミュニティの残りメンバーが貴重だと判断した投稿をいくつかご覧いただけます。 2019 年の最も人気のある投稿 私たちは、有用で顧客重視のコンテンツを公開するよう努めており、読者からのご意見やコメントを常にお待ちしています。さて、2019 年の最も人気のある投稿は次のとおりです。 1. AWS Secrets Manager を使用して AWS Transfer for SFTP のパスワード認証を有効にする カスタム ID データプロバイダー (IdP) – AWS Secrets Managerと統合することにより、AWS Transfer for SFTP でパスワード認証を使用し、Amazon S3 にアクセスするための動的ロール割り当てを使用する方法について学びます。 2. AWS Storage Day 2019 2019 年 11 月 20 […]

Read More

Amazon FSx for Lustre と Amazon S3 の間でデータを移動するための新しい機能強化

 Amazon FSx for Lustre のご紹介 Amazon FSx for Lustre は、機械学習、高性能コンピューティング、ビデオ処理、財務モデリング、電子設計自動化、分析などのワークロード向けに最適化された高性能ファイルシステムです。Amazon FSx は Amazon S3 とネイティブに連携し、パフォーマンスの高いファイルシステムでクラウドデータセットを簡単に処理することができます。S3 バケットにリンクされると、FSx for Lustre ファイルシステムは透過的に S3 オブジェクトをファイルとして提示し、結果を S3 に書き戻すことができます。 多くの場合、顧客は、ファイルシステム上の機密データへのアクセスを制御し、シンボリックリンクなどの特殊ファイルを処理し、Amazon S3 などの長期リポジトリにデータをバックアップおよび復元する際にこれらの制御と特殊ファイルを維持する機能を必要とします。Amazon FSx は、新規または変更されたファイルを Amazon FSx から S3 にエクスポートする hsm_archive などのファイルシステムコマンドを提供します。ただし、これらのコマンドはファイル権限をコピーせず、転送を監視またはキャンセルする機能は提供しません。 このブログでは、データリポジトリタスクのアプリケーションプログラミングインターフェイス (API) をご紹介します。これは、Amazon FSx から S3 にファイルを簡単にエクスポートできる新しい AWS API です。新しい API を使用して、新規または変更されたファイルの S3 への書き込みを開始、監視、およびキャンセルできます。AWS ネイティブ API であるため、Lambda ベースのサーバーレスアプリケーションなどのクラウドネイティブワークフローからのデータエクスポートタスクを簡単に調整するために使用できます。 この […]

Read More

クラウドにおける安全なデータの廃棄

クラウドにおける統制をお客様が考慮する場合、基本的な考え方は大きく異なるものではありません。ただし、クラウドならではの統制を考慮すべきケースがあることも事実です。その際には、従来のオンプレミスのやり方を無理にクラウドに当てはめようとしてもうまくは行きません。大事なことはその統制が何を目的としていたのかに立ち返り、その上で、New normal(新しい常識)にあった考え方や実装をすすめる必要性を理解し、実践することです。この投稿では、メディアやデータの廃棄を例として、セキュリティのNew normalを考えていきます。 メディア廃棄における環境の変化 データのライフサイクルに応じた情報資産の管理は多くのお客様の関心事項です。 オンプレミスの統制との変更という観点では、メディア廃棄時の統制は従来のオンプレミス環境とクラウド環境では異なります。オンプレミス環境の利用者はハードウェアの消磁や破砕などを実行することでデータの保全を実行してきました。また、メディア廃棄をサードーパーティに委託し、その廃棄証明の提出をもって“確実な廃棄の証跡”として管理しているケースもありました。 AWSの環境ではセキュリティ責任共有モデルに基づき、クラウドのインフラストラクチャの管理はAWSの統制となるため、お客様はその統制が実施されるていることを評価していく必要があります。お客様はAWSが管理するハードウェアデバイスに物理的にアクセスすることはできないため、従来であれば自組織、場合によってはサードパーティに委託していたメディアの廃棄を自組織の統制範囲として行うことはありません。また、仮想環境のストレージは物理的なハードウェアと異なり、特定の利用者が占有しているとは限らないため、廃棄時に利用者に紐付けた管理や通知を行うことは現実的ではありません。 AWSにおけるメディアの廃棄 AWS データセンターは、セキュリティを念頭に置いて設計されており、統制により具体的なセキュリティが実現されています。ユーザーデータの保存に使用されるメディアストレージデバイスは AWS によって「クリティカル」と分類され、そのライフサイクルを通じて非常に重要な要素として適切に取り扱われます。AWS では、デバイスの設置、修理、および破棄 (最終的に不要になった場合) の方法について厳格な基準が設けられています。ストレージデバイスが製品寿命に達した場合、NIST 800-88 に詳細が説明されている方法を使用してメディアを廃棄します。ユーザーデータを保存したメディアは、安全に停止するまで AWS の統制から除外されることはありません。AWSで扱われるメディアはワイプ処理もしくは消磁処理され、AWSのセキュアゾーンを離れる前に物理的に破壊されます。AWS の第三者レポートに文書化されているように、AWS データセンターに対する第三者の検証によって、AWS がセキュリティ認証取得に必要となるルールを確立するためのセキュリティ対策を適切に実装していることが保証されます。お客様はこうした第三者のレポートをAWS Artifactから入手することが可能です。 AWSにおけるサードパーティの管理 AWSにおいては、本投稿執筆時点(2019年12月19日)においてお客様のコンテンツにアクセス可能なサードパーティーのプロバイダはありません。こうした事実は第三者の検証において評価を得るとともに、AWSのサードパーティアクセスページにおいて公表しており、また、変更がある場合にお客様は通知を受けることも可能です。 目的に立ち返る:なんのために”メディア廃棄”を行うか そもそもメディア廃棄の統制を行う目的は何でしょうか。脅威を踏まえて考えれば、組織の所有する(およびしていた)データが許可なく第三者に漏洩することを防ぐことにあります。メディア廃棄の証明をとることは、メディアの廃棄後も、データが第三者により許可なくアクセスされないことを評価するための手段にほかなりません。お客様にとって重要なことはデータがライフサイクルを通じて確実に保護されることです。メディアの廃棄の証明はその手段のうちの一つ(適切に処理されたことの保証手段)にすぎません。お客様の統制を離れたデータが保護されることを確実にすることに焦点をあてることで、環境がクラウドに変わったとしてもお客様の求める管理目的を達成することが出来るのです。 暗号化を活用したデータの保護と廃棄記録 AWSはお客様に重要なデータやトラフィックの暗号化による保護を推奨しており、そのための機能を提供しています。利用終了後もデータを保護する有効な手段として、暗号化による予防的な統制、そして処理の実行を確実に記録することは強く推奨されます。 暗号化がなぜ有効なのでしょうか。暗号化されたデータはそれを復号するための鍵がなければデータとして復元することが出来ません。暗号化に利用する鍵と暗号化されたデータへのアクセスを分離することで権限のない第三者によるデータへのアクセスを予防することが出来ます。このように暗号化を行い、その鍵を消去することはCryptographic Erase(CE:暗号化消去)としてNIST SP800-88においても紹介されています。 AWSのストレージサービスでは利用開始時にデフォルトで暗号化を行う機能を提供(Amazon EBS, Amazon S3)しています。また、Amazon Key Management Services (KMS)によりお客様の鍵によりデータを暗号化することが可能です。これによりお客様が定義したポリシーで鍵へのアクセスを統制しながら利用状況の証跡を取得することが可能となります。また、AWS Configにより意図しない設定の変更や設定ミスの検知および修正を自動化するといった発見的および是正的な統制を組み込むことも容易です。こうした統制を実施することでAWS上のお客様のデータに対して、ライフサイクルに応じた保護を行うことがより容易になりました。 お客様によるデータ廃棄の統制例 統制の一例として、ストレージ領域をデフォルトで暗号化を行う設定とすることで第三者によるアクセスへの保護を実現します。そしてEBSやS3 Bucketを削除する際には、あわせて当該領域の暗号化に用いた鍵をAWS Lambdaを使用してKMSより削除します。これにより従来行っていた当該データの復号が困難になるとともに廃棄証明の代わりとして、暗号化による保護を実施した記録をお客様自身で自動的に取得、管理することができるようになります。鍵へのアクセスが無くなることで、当然AWSによっても、またお客様も廃棄されたデータへのアクセスはできなくなります。   情報セキュリティを管理するためには目的にあわせた管理策を実施する必要があります。しかし一方で、手段自体が目的化してしまい、それを無理に新しい環境であるクラウドにあてはめてしまうアンチパータンが発生することがあります。本投稿ではメディアの廃棄を一つの例示としてとりあげましたが、セキュリティの管理策を実施するうえでの目的に立ち返り、クラウド上で行う上での妥当性、効果や効率性、そして何よりもクラウドの特性を生かしたさらなるセキュリティの向上を実現することでNew Normalに前向きに取り組むことができます。   このブログの著者 松本 照吾(Matsumoto, Shogo) セキュリティ アシュアランス本部 本部長 […]

Read More

S3 の Access Analyzer を使用して、Amazon S3 バケットを監視、確認、保護する

AWS のセキュリティは単なる機能ではありません。考え方です。本日、私たちは S3 の Access Analyzer を発表しました。これは、ユーザーの代わりにリソースポリシーを監視する新機能です。デフォルトでは、S3 で作成されたすべてのバケットとオブジェクトはプライベートに設定されています。AWS では、アクセスコントロールリスト (ACL) やバケットポリシーなどのメカニズムを使用して、詳細なアクセスレベルを設定できます。S3 の Access Analyzer はアクセスポリシーを監視する新しい機能です。これにより、ポリシーは S3 リソースへの意図したアクセスのみを提供するようになります。S3 の Access Analyzer がバケットアクセスポリシーを評価することで、ユーザーは不正アクセスの可能性があるバケットを見つけ、迅速に修正できるようになります。 組織やワークロードが大きくなると、S3 の Access Analyzer はすべてのポリシーを評価し、AWS アカウントの外部で共有され、不正アクセスの危険にさらされているパケットについて警告します。この投稿では、Amazon S3 の Access Analyzer を有効にする方法を順を追って説明します。また、この新機能を使用することによって、S3 バケットへのアクセスが意図したものであり、それだけに過ぎないことを確認できるユースケースについて考察します。 バケットへのアクセスが共有アクセスである可能性を示す結果が確認された場合、S3 マネジメントコンソールでワンクリックするだけでバケットへのすべてのパブリックアクセスをブロックでき、必要に応じてより詳細なアクセス許可を設定することもできます。静的なウェブサイトホスティングなど、パブリックアクセスを必要とする特定の検証済みのユースケースについては、バケットの解析結果を承認およびアーカイブして、バケットをパブリックまたは共有のままにするつもりであることを記録できます。これらのバケット設定は、いつでも確認および変更できます。監査の目的で、S3 の Access Analyzer の解析結果を CSV レポートとしてダウンロードできます。 S3 マネジメントコンソールを開始する前に、IAM コンソールにアクセスして、AWS Identity and Access Management (IAM) Access Analyzer を有効にします。こうすることで自動的に、S3 の Access Analyzer が S3 マネジメントコンソールの中に表示されるようになります。S3 の Access Analyzer は、re:Invent 2019 にて本日リリースされた IAM Access Analyzer に基づいています。 S3 […]

Read More