Amazon Web Services ブログ

Category: Storage

Mistplay: Amazon S3 と Amazon Athena を使ったビジネス分析の改善

本記事は Mistplay のAI エンジニアであるSteven Wang氏によるゲスト投稿です。 Mistplay はモバイルゲーマー向けの世界トップクラスのロイヤルティプログラムです。数百万人のプレイヤーが Mistplay を使用して新しいゲームを発見し、ロイヤルティ報酬を獲得し、他のプレイヤーとつながっています。このプラットフォームにより、Playtika、Scopely、Peak などのモバイルゲームスタジオは、世界中のユーザーを獲得し、それらのユーザーと深く関わることができています。   Mistplay が AWS に移行した理由 Mistplay では十分な情報に基づいた意思決定を行い、計算されたリスクを取るにあたり、データに大きく依存しています。  Mistplay の Android アプリケーションは、ユーザーのインタラクションをキャプチャする大量のイベント情報を生成するため、チームにとって不可欠なデータソースとなっています。このデータは不可欠であり、ビジネス上の主要な疑問に答え、当社が可能な限り最高のユーザーエクスペリエンスを作る上で重要な役割を果たしています。 従来、Android アプリケーションは Firebase にイベントデータを送信するように設計されていました。そこから、デフォルトで利用可能な統合機能を使ってFirebase と BigQuery を統合し、 BigQuery でイベントデータを公開し、詳細に分析していました。 しかし当社のビジネスが成長するにつれ、既存のソリューションでは対処できないいくつかの課題に直面しました。たとえば、品質上・精度上の問題が増加し、処理データに影響を与えていることに気付きました。さらに、インフラストラクチャに対するコストが当社のビジネスと同じくらい急速に増加していました。料金モデルは理解しにくく、当社の使用パターンだと予想外に高額な請求が発生することがよくありました。 当社のデータが新しいホームを必要としていることは明らかでした。当社のイベント分析を AWS に移行することは自然な選択でした。当社では既に Amazon S3 と Amazon Athena を主要なデータレイクとして使用していたためです。  さらに、ツール類を1つのサービスセットで統合し、分析タスクを合理化し、AWS の下で既に実施されている既存のセキュリティ対策を活用したいと考えていました。最後に、AWS の明瞭な料金モデルのおかげで、予算作成が簡単に行えました。 本投稿では、Firebase と BigQuery から Amazon S3 および Amazon Athena に移行した方法と、分析機能、コスト構造、およびオペレーションがどのように改善されたかを説明します。   移行戦略 […]

Read More

Amazon S3 Storage Lens の紹介 — オブジェクトストレージに組織全体にわたる可視性を

クラウドで開始する場合、お客様のストレージ要件は少数の S3 バケットで構成されますが、バケットが拡大し、アプリケーションの移行が増えて、クラウドのパワーを実現されるようになると、複雑性が上がることがあります。お客様が 1 社で数十、数百のアカウントを持ち、多数の AWS リージョンにまたがって複数の S3 バケットを持っていることがあります。このような環境を管理しているお客様からは、組織全体でストレージがどのように使用されているかを把握し、コストを最適化し、セキュリティ体制を向上させることが難しいとの声が寄せられています。 S3 チームは 14 年以上にわたりお客様のストレージの最適化を支援してきた経験を活用して、Amazon S3 Storage Lens という新機能を構築しました。これは、ポイントインタイムメトリクス、トレンドライン、アクショナブルなレコメンデーションによって、組織全体でオブジェクトストレージを可視化できる初のクラウドストレージ分析ソリューションです。これらすべてを組み合わせると、異常の検出、コスト効率の特定、データ保護のベストプラクティスを適用できます。 S3 Storage Lens では、29 以上にのぼる使用状況、アクティビティメトリクス、インタラクティブ型ダッシュボードを使用して、組織全体、特定のアカウント、特定のリージョン、特定のバケット、特定のプレフィックス用のデータを集約することで、ストレージを把握、分析して最適化できます。このデータはすべて、S3 マネジメントコンソールからアクセスするか、または S3 バケットの raw データとしてアクセスが可能です。 すべてのお客様にデフォルトのダッシュボードを S3 Storage Lens には、S3 コンソールにインタラクティブ型ダッシュボードが含まれています。ダッシュボードでは、メトリクスのフィルタリングとドリルダウンを実行して、ストレージの使用状況を十分に把握できます。メトリクスはデータ保護やコスト効率などのカテゴリ別に整理されているため、関連するメトリクスを簡単に見つけられます。 使いやすくするために、すべてのお客様がデフォルトのダッシュボードを受け取ります。このダッシュボードで多くのお客様も十分かもしれませんが、変更したいのであれば、変更もできます。たとえば、別のツール (Amazon QuickSight、Amazon Athena、Amazon Redshift など) を使用して分析するために、S3 バケットにデータを毎日エクスポートするようにダッシュボードを設定したり、アップグレードしてアドバンストメトリクスとレコメンデーションを受け取ったりできます。 ダッシュボードの作成 独自のダッシュボードをゼロから作成もできます。これには、S3 コンソールに移動し、[Storage Lens] セクションの [ダッシュボード] のメニュー項目をクリックします。次に、[ダッシュボードの作成] ボタンをクリックします。 ダッシュボードに s3-lens-demo という名前をつけ、ホームリージョンを選択します。ホームリージョンとは、ダッシュボードのメトリクスデータが格納される場所です。ダッシュボードを有効にしました。つまり新しいメトリクスで毎日更新されることになります。 ダッシュボードでは、アカウント、リージョン、バケット、プレフィックスの全体にわたるストレージを分析できます。[ダッシュボードスコープ] セクションに組織内のすべてのアカウントおよびすべてのリージョンのバケットが含まれるようにしました。 S3 […]

Read More

AWS Storage Day 2020 にようこそ

2019 年 11 月の最初の Storage Day (AWS Storage Day にようこそ) は大成功を収めました。AWS Storage サービスに関する重要なお知らせを多数取り上げて、それらを 1 つの記事にまとめることができました。そして必要に応じて、より長く、詳細な記事を掲載しました。 今日、それを再び行います。AWS Storage Day 2020 にようこそ! お客様が Amazon Simple Storage Service (S3)、Amazon FSx for Lustre、Amazon FSx for Windows ファイルサーバー、Amazon Elastic Block Store (EBS)、Amazon Elastic File System (EFS)、AWS Transfer Family (AWS Transfer for SFTP、FTPS、または FTP)、AWS DataSync、AWS Storage Gateway、AWS Backup や AWS Snow […]

Read More

S3 Intelligent-Tiering にアーカイブアクセス階層を追加

2 年前に S3 Intelligent-Tiering をリリースしました。これにより、データアクセスパターンを深く理解することなく S3 を活用できる機能が追加されました。このたび、S3 Intelligent-Tiering の新しい最適化を 2 つリリースしました。これらの最適化により、ほとんどアクセスされないオブジェクトを自動的にアーカイブできるようになります。これらの新しい最適化を利用すると、予測不能なアクセスパターンのオブジェクトや何か月もアクセスされていないオブジェクトを一度にアーカイブするために必要な手作業の量を削減できます。 S3 Intelligent-Tiering とは S3 Intelligent-Tiering は、パフォーマンスへの影響や運用上のオーバーヘッドなしに、最も費用対効果の高いアクセス階層にデータを自動的に移動することで、ストレージコストを最適化するように設計されたストレージクラスです。S3 Intelligent-Tiering を Amazon S3 に追加することで、アクセスパターンが不規則な場合に適切なストレージクラスを使用し、かつコストを最適化できるのかという問題を解決しました。 S3 Intelligent-Tiering は、アクセスパターンが変わったときにアクセス階層間でデータをきめ細かなオブジェクトレベルで移動することで、自動的なコスト削減を実現します。これは、不明なアクセスパターンまたは予測不能なアクセスパターンを持つデータのストレージコストを最適化する場合に理想的なストレージクラスです。少ない月額料金でのオブジェクトモニタリングとオートメーションにより、S3 Intelligent-Tiering がアクセスパターンをモニタリングし、自動的に階層間でオブジェクトを移動します。 今回の発表内容 ストレージコストをさらに削減するために、多くのお客様はほとんどアクセスされていないオブジェクトを S3 Glacier または S3 Glacier Deep Archive に直接アーカイブすることを選んでいます。しかし、そのためには長期間にわたりオブジェクトのアクセスパターンを理解すると同時に、何か月もアクセスされていないオブジェクトをアーカイブする、複雑なシステムを構築することが求められます。 このたび、低頻度アクセス向けに最適化済みできわめてコストの低い、新しい非同期アクセス用のアーカイブアクセス階層を 2 つ発表します。アーカイブアクセス階層とディープアーカイブアクセス階層です。 これらのアーカイブアクセス階層の一方または両方にオプトインすることができます。また、バケットレベル、プレフィックスレベル、オブジェクトタグレベルで設定可能です。 S3 Intelligent-Tiering では、必要なときすぐに高スループットかつ低レイテンシーでデータにアクセスできるようになったほか、オブジェクトが 180 日以上アクセスされていない場合に、月に 1 TB あたり 1 USD 足らずの料金を、自動的に支払うこともできるようになりました。S3 Intelligent-Tiering を既にご利用中のお客様は最大 40% のコスト削減を実現していますが、今回の新しいアーカイブアクセス階層を使用することで、アクセス頻度の低いオブジェクトのストレージコストを最大 […]

Read More

サーバーレス LAMP スタック – Part 4: サーバーレス Laravel アプリの構築

本投稿は AWS サーバーレス アプリケーションのシニアデベロッパーアドボケートである Benjamin Smith による寄稿です。 本シリーズの他のパートは以下のリンクからアクセスできます。また、関連するサンプルコードはこちらの GitHub リポジトリにあります。 パート1:サーバーレス LAMP スタックの紹介 パート2:リレーショナルデータベース パート3:Webサーバーの置き換え パート5:CDK コンストラクトライブラリ パート6:MVC からサーバーレスマイクロサービスへ この投稿では、サーバーレスアプローチで Laravel アプリケーションをデプロイする方法を学びます。 これは「サーバーレス LAMP スタック」シリーズの4番目の投稿になります。過去の投稿はこちらです。 パート1:サーバーレス LAMP スタックの紹介 パート2:リレーショナルデータベース パート3:Webサーバーの置き換え Laravel は PHP 用のオープンソースの Web アプリケーションフレームワークです。フレームワークを使用すると、開発者は一般的なコンポーネントとモジュールを再利用することで、より速く構築できます。また、開発標準に準拠することにより、長期的なメンテナンスにも役立ちます。ただし、従来の LAMP スタックを使用して PHP フレームワークをスケーリングする場合は、まだ課題があります。サーバーレスアプローチを使用してフレームワークをデプロイすると、これらの課題の解決に役立ちます。 Laravel アプリケーションのサーバーレスインフラストラクチャへの展開を簡素化する方法は数多くあります。ここで紹介する方法では、AWSサーバーレスアプリケーションモデル(AWS SAM)テンプレートを使用しています。これによって、Laravel アプリケーションが単一の Lambda 関数にデプロイされます。この関数は、Bref FPM カスタムランタイムレイヤーを使用して PHP を実行します。AWS SAMテンプレートは、「サーバーレス LAMP スタック – パート3: […]

Read More

新機能 – Amazon FSx for Lustre ファイルシステム向け高パフォーマンス HDD ストレージ

ゲノム解析、機械学習モデルのトレーニング、ハイパフォーマンスコンピューティング (HPC)、分析アプリケーションなど、多くのワークロードは、同じデータセットにアクセスする複数のコンピューティングインスタンスに依存しています。これらのワークロードでは、コンピューティングインスタンスのクラスターは、通常、高パフォーマンス共有ファイルシステムに接続されます。Amazon FSx for Lustre を使用することで、世界でも最も人気のある高パフォーマンス共有ファイルシステムを簡単かつコスト効率よく起動および実行できます。そして本日、FSx for Lustre 向けの新しいHDDストレージオプションを発表します。これにより、SSDストレージのミリ秒未満のレイテンシーを必要としないスループット集約型のワークロードにおいて、ストレージコストを最大 80% 削減します。 お客様は、スループットが主要なパフォーマンス属性である場合にワークロードのストレージコストを削減しながら、1 秒あたり最大 10 GB のスループットを達成できます。このようなスループット集約型ワークロードの 2 つの例として、ビデオレンダリングと財務シミュレーションがあります。 この発表には、シーケンシャルファイルデータの読み取りと書き込みに最適化された 2 つの新しい HDD ベースのストレージオプションが含まれています。1 つはストレージの TiB あたり 12 MB/秒のベースラインスループットを提供し、もう 1 つはストレージの TiB あたり 40 MB/秒のベースラインスループットを提供し、どちらもそのスループットレベルの 6 倍までバーストできます。頻繁にアクセスされるファイルのパフォーマンスを向上させるために、SSD キャッシュをプロビジョニングすることもできます。これにより、HDD ファイルシステムのストレージ容量の 20% に自動的にサイズ設定できます。SSD キャッシュでプロビジョニングされたファイルシステムでは、キャッシュから読み取られたファイルは、ミリ秒未満のレイテンシーで提供されます。 新しい FSx ファイルシステムは、複数の HDD ベースのストレージサーバーと 1 つの SSD ベースのメタデータサーバーで構成されています。メタデータサーバー上の SSD ストレージにより、ファイルシステム操作の大部分を占めるすべてのメタデータ操作が、ミリ秒未満のレイテンシーで行われます。 ストレージ容量により HDD のパフォーマンスが向上するため、ファイルシステムのボトルネックに遭遇することなく、ストレージソリューションを簡単にスケールアウトできます。以下、新しい […]

Read More

新機能 – Amazon GuardDuty を使った S3 バケットの保護

この記事でお知らせしたとおり、Amazon Macie で以前からご利用いただいていた Amazon Simple Storage Service (S3) アクティビティのための異常および脅威検知が Amazon GuardDuty の一部として強化され、コストも 80% 以上削減されました。これにより、GuardDuty の脅威検出の範囲がワークロードと AWS アカウントの枠を越えて拡大され、S3 に保存されるデータの保護にも役立つようになります。 この新しい機能は、通常とは異なる地理的場所から来るリクエスト、S3 ブロックパブリックアクセスなどの予防的な制御の無効化、または誤設定されたバケットアクセス許可を発見する試みと一致する API コールパターンなどの疑わしいアクティビティを検知するために、GuardDuty が S3 のデータアクセスイベント (通常データプレーンオペレーションと呼ばれます) と S3 設定 (コントロールプレーン API) のモニタリングとプロファイリングを継続的に行うことを可能にします。悪意があると思われる動作を検知するため、GuardDuty は異常検知、機械学習、および絶えず更新される脅威インテリジェンスの組み合わせを使用します。ご参考までに、GuardDuty S3 脅威検知の完全なリストをご覧ください。 脅威が検知されると、GuardDuty がコンソールと Amazon EventBridge に詳細なセキュリティ結果を生成します。これは、アラートをすぐに利用できるようにするとともに、アラートの既存イベント管理およびワークフローシステムへの統合、またはアラートによる AWS Lambda を使用した自動化された是正アクションのトリガーを容易にします。オプションとして、複数のリージョンからの結果を集約する、およびサードパーティーのセキュリティ分析ツールと統合するために、結果を S3 バケットに送信することもできます。 まだ GuardDuty をお使いではない場合は、サービスを有効にするときに S3 保護がデフォルトでオンになります。GuardDuty をお使いの場合は、GuardDuty コンソールで 1 回クリックする、または API […]

Read More

共有 EBS スナップショット用の Amazon EBS 高速スナップショット復元

スナップショットは Amazon Elastic Block Store (EBS) で必要不可欠なものです。スナップショットでは、バックアップまたは災害対策用に、ボリュームのブロックレベルのポイントインタイムコピーを作成できます。スナップショットは、最後のスナップショットが再度コピーされてから変更された増分のデータのみが含まれます。AWS リージョンまたは AWS アカウント間で、スナップショットを共有できます。スナップショットを取得したら、スナップショットに基づいて新しい Amazon Elastic Block Store (EBS) ボリュームを作成できます。スナップショットの作成に使用した元のボリュームの正確なレプリカとして、新しいボリュームを開始します。 スナップショットからボリュームを復元するとすぐに使用できます。オペレーティングシステムがブロックにアクセスすると、バックグラウンドで EBS がスナップショットからデータの遅延読み込みを行います。このため、ボリュームが完全に初期化されるまで、ボリュームの I/O パフォーマンスが低下します。しかし、I/O 要求の多い一部のワークロードでは、ボリュームが利用可能になり次第、フルボリュームで処理する必要があります。これが、高速スナップショット復元 (FSR) を導入した理由です。FSR を有効にすることで最大のパフォーマンスを発揮でき、初期化する必要のないボリュームを作成できます。 AWS のお客様の多くが他の AWS アカウントとスナップショットを共有していますが、これにはたくさんの理由があるからです。アプリケーション、モニタリング、または管理ツールを事前にバックアップすることで、ゴールデン AMI を一元的に準備および管理したいと考えるかもしれません。災害対策 (DR) 用の場合、会社のポリシーによっては、すべてのバックアップを 1 つの専用アカウントに保存することが必要になる場合があります。これまで、スナップショットを所有する AWS アカウントしか FSR を有効にできませんでした。 本日より、共有しているスナップショットで高速スナップショット復元 (FSR) を有効にできるようになりました。 共有スナップショットで FSR を有効にするには、まず、ソース AWS アカウントでスナップショットを作成します。スナップショットを作成したら、別のアカウントと共有します。これを行うには、[アクション] 、[アクセス許可を変更] の順にクリックします。送信先の AWS アカウント番号を入力し、[アクセス許可を追加]、[保存] の順にクリックします。 送信先のアカウントを接続し、EC2 コンソールに移動します。スナップショットが表示されない場合は、[プライベートスナップショット] オプションが選択されているかどうかを確認します。 […]

Read More

Amazon AppStream 2.0 でアプリケーション設定の永続性を最適化

デスクトップとアプリケーションのブログチームは最近、Amazon FSx for Windows ファイルサーバーと FSLogix を使用して Amazon AppStream 2.0 でアプリケーション設定の永続性を最適化する方法を公開しました。AWS におけるフルマネージドのアプリケーションストリーミングおよびファイルストレージソリューションは、既存のアプリケーションやワークフローを変更することなく、インフラストラクチャを簡素化し、市場投入までの時間を短縮するのに役立ちます。 Amazon AppStream 2.0 は、ユーザーがどこからでもデスクトップアプリケーションにすぐにアクセスできるようにするフルマネージドのアプリケーションストリーミングサービスです。お客様が、個人のアプリケーション設定をセッション間で保持することが必要な場合が多くあります。 このブログ投稿では、Amazon FSx for Windows ファイルサーバーを AppStream 2.0 ユーザー向けの高性能ファイルストレージソリューションとして設定する方法について説明します。このストレージソリューションを使用すると、ユーザーはアプリケーション設定とカスタマイズをセッション間で保持できます。このブログ投稿では、次の手順について説明します。 このユースケースに適したデプロイオプションを使用して、Amazon FSx for Windows ファイルサーバーのファイルシステムを作成します。 FSLogix を AppStream イメージにインストールします。 FSLogix の動作を一元的に設定できる GPO を作成します。 AppStream 2.0 フリートにログインし、FSLogix が適切に設定されていることを確認します。 詳細については、ブログをお読みください。

Read More

未来を見据えたテレビ歴史の保存とアーカイブ

Team Coco が AWS と Iron Mountain を使用して、Conan O’Brien の 2725 件のエピソードライブラリを備えたレイトナイトからハイライトを永続的に保存、トランスコード、表示、クリップ、および公開して、何百万人もの Conan ファンに公開した方法。 古い英詩があります。古いもの、新しいもの、人から借りたもの、青いものなど、花嫁が身に付けると幸せになるといわれるものを持参する限り、新たなことに取り組むときに幸運を掴めるというものです。 ほとんどの人は、結婚を申し込むほどの重要な日に古くからの知恵を使うようにしています。しかし、Team Coco では、これをまったく別の種類の提案に使用することにしました。私たちの上司は、伝説的な深夜テレビの司会者である Conan O’Brien が率いるチームから来ました。そして、彼は私たちが大胆な計画に乗り出すことを要求しました。 彼が担当した NBC ショーの 2725 件のエピソードをデジタル化する エピソードを将来性のあるデジタル形式で永続的に保存する すべてのエピソードを表示およびカタログ化するシステムを実装する ロックされて何年も保管庫の劣化テープに保管されていたお気に入りの瞬間にファンがアクセスできる画期的なサービスを提供する そして、1993 年 9 月の最初のショーから 25 周年目までに出版を始めることを目標としていたので、すぐに作業を始める必要があります。上司を落胆させたくはありません。 Team Coco では、新しい挑戦に対して肯定的に反応したいのは山々ですが、このような一生に一度の機会に直面することはありませんでした。この種のタスクを処理するための最良の方法に関するロードマップを提供する類似プロジェクトから単純な類似点を見つけることは困難でした。Team Coco の小規模チームが従来のオンプレミス手段を使用して、デジタル化、保存、トランスコーディング、およびカタログ化の範囲と規模を処理することは不可能でした。しかし、私たちの厳しい生産スケジュールによって悪化しました。これにより、AWS クラウドという、目標を達成するためのワークフローを構築する唯一の実行可能な方法が残りました。このブログ記事では、Team Coco が AWS を使用して、Conan O’Brien の 2725 件のエピソードライブラリを備えたレイトナイトのハイライトを永続的に保存、トランスコード、表示、クリップして、何百万人もの Conan ファンに公開した方法について説明します。 古いものと借りたもの: テープ保管庫、ビデオテープマスター、輸送、デジタル化 プロジェクトの前は、利用可能な最高品質のクリップはファンのアップロードによるものでした。 テープをデジタル化するプロセスの簡単な概要は次のとおりです。 […]

Read More