Amazon Web Services ブログ

新規 – AWS Outposts で Amazon RDS DB インスタンスを作成する

  昨年の終わり頃、私は AWS Outposts についてお話しし、すぐに注文することをお勧めしました。当時お伝えしたように、これは包括的な単一ベンダーのコンピューティングおよびストレージ製品であり、ローカルでの処理とデータセンターおよび工場の現場での非常に低いレイテンシーを必要とするお客様のニーズを満たすように設計されています。Outposts は AWS パブリックリージョンで使用するハードウェアを使用 2009 年に初めて Amazon RDS についてお話しました。このフルマネージドのサービスにより、リレーショナルデータベースの起動、操作、スケーリングが簡単になります。何年にもわたって、当社では、お客様の要求に応じて、複数のオープンソースデータベースと商用データベースのサポートに加えて、多数の機能を追加してきました。 AWS Outposts の DB インスタンス 本日より、AWS Outposts で RDS DB インスタンスを作成できるようになりました。MySQL と PostgreSQL のサポートを開始し、将来的に他のデータベースエンジンを追加する予定です (いつものように、当社が優先順位を付けて取り組めるように、お客様のニーズをお知らせください)。 Amazon Simple Storage Service (S3) へのスケジュールされたバックアップ、保存時および転送時の組み込みの暗号化など、重要な RDS 機能を利用できます。 DB インスタンスの作成 RDS コンソール、API (CreateDBInstance)、CLI (create-db-instance)、または CloudFormation (AWS::RDS::DBInstance) を使用して DB インスタンスを作成できます。 コンソールを使用して、Outpost の「ホームベース」として機能する AWS リージョンを慎重に選択します。コンソールを開き [データベースの作成] をクリックし、開始します。 [データベースのロケーション] で […]

Read More

EBS ダイレクト API を使用して任意のブロックストレージからスナップショットを作成する

オンプレミスボリューム、別のクラウドプロバイダーのボリューム、Amazon Simple Storage Service (S3) に保存されている既存のブロックデータなどのブロックストレージデータ、またはご自身のラップトップパソコンからも、Amazon Elastic Block Store (EBS) スナップショットを作成できるようになりました。 オンプレミスインフラストラクチャの災害対策にクラウドを使用している AWS のお客様はみんな、同じことを考えているのではないでしょうか。オンプレミスのボリュームデータをクラウドに効率的かつ低コストで転送するにはどうすればよいのだろう、と。 通常の場合、一時的な Amazon Elastic Compute Cloud (EC2) )インスタンスを作成し、Amazon Elastic Block Store (EBS) ボリュームを添付して、オンプレミスからこれらの新しい Amazon Elastic Block Store (EBS) ボリュームにブロックレベルでデータを転送します。そして、作成されたすべての EBS ボリュームのスナップショットを取り、一時的なインフラストラクチャを破棄します。CloudEndure を使ってこの作業を簡略化する人もいます。あるいは、複雑な作業のために、単にあきらめて、オンプレミスのボリュームをクラウドにコピーしなかった人もいるかもしれません。 この作業を簡略化するため、本日、re:Invent 2019 で発表した新しい API セットの、EBS ダイレクト API の一部である 3 つの新しい API を発表しました。AWS ではまず最初に、読み込み API と差分 API をリリースしました。本日のリリースでは、書き込み機能を拡張しています。これらの 3 つの新しい API […]

Read More

イノベーションの加速: AWS のサーバーレス機械学習は F1 で洞察を得るのにどのように役立つか

 FORMULA 1 (F1) は 2020 年に 70 周年を迎えます。これはリアルタイムのスキルとエンジニアリングおよび技術力を組み合わせた数少ないスポーツの 1 つです。F1 では常にテクノロジーが中心的な役割を果たしてきました。ルールとツールの進化が F1 の DNA に組み込まれています。レースは 10 分の 1 秒で雌雄を決するので、ファンは引き込まれ、ドライバーとチームは常に限界にチャレンジし続けています。 ピットストップは 2 秒未満~ 1 分超まで、5G がかかるコーナリングとブレーキング、最高速度は時速 375 km に達し、22 か国でレースが開催されています。その進化と新技術の採用においてこれほどダイナミックなスポーツはありません。FORMULA 1 は継続的にイノベーションを追求しており、最新のイノベーションは、ドライバーとチームが一瞬で決定したことを視聴者に伝えることによって、5 億を超えるファンの成長基盤のエクスペリエンスを強化し、データと分析の力によってトラック上とトラック外で何が起こるかについての理解を向上させています。 各レースカーに 300 のセンサーが装着され、1 秒あたり 1.1M のデータポイントを生成してレースカーからピットに送信されるため、ファンのエクスペリエンスは反応型からリアルタイムにシフトしています。これにより、トラック上でのアクションが加速しています。F1 は、Amazon SageMaker で作成され、AWS Lambda でホストされている機械学習 (ML) モデルなどのクラウドネイティブテクノロジーを活用することで、ドライバーのパフォーマンス、そして限界にチャレンジしているかどうかをピンポイントで調べることができます。その結果、オーバーテイクやピットストップの戦いの結果を予測できます。放送パートナーやデジタルプラットフォームを通じて、世界中のファンとこのような洞察を瞬時に共有できます。 この記事では、Amazon ML Solutions Lab とプロフェッショナルサービスチームが F1 と協力して、AWS テクノロジーを駆使したリアルタイムのレース戦略予測アプリケーションをどう構築して、「ピットウォール」(チームの司令基地) の決定を視聴者に伝えているか、そしてそれがどう […]

Read More

Amazon ES を使った Compass での住宅検索のシンプル化と最新化

 Amazon Elasticsearch Service (Amazon ES) は、AWS での Elasticsearch の大規模なデプロイメント、セキュア化、および運用を容易にする完全マネージド型サービスです。幅広い人気があるこのサービスは、さまざまなお客様が異なる検索ユースケースのためにアプリケーションに統合しておられます。 Compass は、その顧客に質の高い不動産物件検索と保存済み検索機能を提供するために、Amazon ES を含めた AWS のサービスを使ってその検索ソリューションを再設計しました。 この記事では、Compass の検索ソリューションがどのように進化したか、異なるアーキテクチャでどのような課題とメリットを見出したか、そして Amazon ES がどのように長期的かつスケーラブルなソリューションを提供しているかを見て行きます。また、Amazon Managed Streaming for Apache Kafka (Amazon MSK) が物件リスティングデータのイベント駆動型リアルタイムストリーミング機能の作成にどのように役立ったかについても説明します。このソリューションは、同様のユースケースに適用できます。 Amazon ES の概要 ログ分析、アプリケーションモニタリング、インタラクティブな検索、およびその他多くの機能のデプロイメント、運用、およびスケーリングを容易にする Amazon ES は、Elasticsearch の使い勝手のよい API とリアルタイム機能と共に、現実世界のアプリケーションが必要とする可用性、スケーラビリティ、およびセキュリティを提供する完全マネージド型サービスです。Amazon Kinesis、AWS Lambda、Amazon CloudWatch などの AWS のその他サービス、および Logstash や Kibana といったサードパーティーツールとのビルトイン統合も提供しているので、raw データを実用的なインサイトに素早く変化させることができます。 Amazon ES には以下のメリットもあります。 完全マネージド型 – […]

Read More

AWS Fargate で Amazon EKS を使用するときにアプリケーションログをキャプチャする方法

 Amazon Elastic Kubernetes Service (Amazon EKS) が、AWS Fargate でアプリケーションを実行可能にKubernetes ポッドは EC2 インスタンスをプロビジョニングして管理することなく、実行できます。Fargate は すべてのポッドを VM 分離環境で実行するため、daemonsets の概念は現在 Fargate には存在しません。したがって、Fargate を使用しているときにアプリケーションログをキャプチャするには、アプリケーションがログを出力する方法と場所を再検討する必要があります。このチュートリアルでは、Fargate で実行されているポッドのアプリケーションログをキャプチャして出荷する方法を示します。 Kubernetes ログ記録アーキテクチャ 最新のアプリケーションを構築するためのゴールドスタンダードを示す Twelve-Factor App マニフェストによると、コンテナ化されたアプリケーションは、ログを stdout および stderr に出力する必要があります。これはまた、Kubernetes のベストプラクティスと見なされ、クラスターレベルのログ収集システムはこの前提で構築されています。 Kubernetes ログ記録アーキテクチャは、次の 3 つの異なるレベルを定義します。 基本レベルのログ記録: kubectl を使用してポッドログを取得する機能 (例:kubectl logs myapp – myapp はこのクラスターで実行されているポッドです) ノードレベルのログ記録: コンテナエンジンは、アプリケーションの stdout と stderr からログをキャプチャし、ログファイルに書き込みます。 クラスターレベルのログ記録: ノードレベルのログ記録に基づく。ログキャプチャエージェントは各ノードで実行されます。エージェントはローカルファイルシステムのログを収集し、Elasticsearch や […]

Read More

Amazon EMR Managed Scaling のご紹介 – クラスターを自動的にサイズ変更してコストを削減する

AWS は、Amazon EMR マネージドスケーリングをリリースすることを発表します。これは、可能な限り低いコストで最高のパフォーマンスを得るためにクラスターのサイズを自動的に変更する新機能です。EMR マネージドスケーリングにより、クラスターの最小および最大のコンピューティング制限を指定し、Amazon EMR はそれらを自動的にサイズ変更して、最高のパフォーマンスとリソース使用率を実現します。EMR マネージドスケーリングは、クラスターで実行されているワークロードに関連する主要なメトリクスを継続的にサンプリングしています。EMR マネージドスケーリングは、Amazon EMR バージョン 5.30.1 以降の Apache Spark、Apache Hive、YARN ベースのワークロードでサポートされています。* ユースケースとメリット EMR マネージドスケーリングがリリースされる前は、ワークロードパターンを事前に予測するか、アプリケーションフレームワーク (Apache Spark や Apache Hive など) の深い理解に依存するカスタム Auto Scaling ルールを作成する必要がありました。ワークロードを予測したり、カスタムルールを作成したりするのは難しく、エラーが発生しやすくなります。クラスターリソースの不適切なサイジングは、多くの場合、SLA の未達成または予測できないパフォーマンス、またはリソースの不十分な活用とコスト超過の原因となる可能性があります。 EMR マネージドスケーリングは、ワークロードに基づいてクラスターリソースのサイズを自動的に決定することでこの問題を解決し、最高のパフォーマンスと最小のコストを実現します。クラスターをスケーリングするために、ワークロードパターンを予測したり、カスタムロジックを記述したりする必要はありません。EMR マネージドスケーリングは、ワークロードに基づいて主要なメトリクスを常にモニタリングし、クラスターのサイズを最適化して、リソースの使用率を最適化します。Amazon EMR は、ピーク時にクラスターをスケールアップし、アイドル期間中に適切にクラスターをスケールダウンして、コストを削減し、クラスターの容量を最適化して最高のパフォーマンスを実現できます。数回クリックするだけで、クラスターのコンピューティング制限を設定でき、残りは Amazon EMR が管理します。EMR マネージドスケーリングを使用すると、Amazon EMR は 1 分の粒度で高解像度のメトリクスも生成します。これにより、Amazon EMR マネージドスケーリングが受信ワークロードにどのように反応するかを視覚化できます。詳細については、「マネージドスケーリングのメトリクスを理解する」を参照してください。 例を挙げて説明するため、EMR マネージドスケーリングを使用して EMR クラスターを設定し、1 ~ 20 の間のノードにスケーリングしました (ノードあたり 16 […]

Read More

Amazon Elastic Kubernetes Service で Kiosk にソフトマルチテナンシーをセットアップする

 はじめに 現在、同じ Kubernetes クラスターで実行されている複数のテナント間を完全に分離することは不可能です。その理由は、Kubernetes がクラスターごとに 1 つのコントロールプレーンを持ち、クラスターで実行されているすべてのテナントが同じコントロールプレーンを共有するように設計されているためです。1 つのクラスターで複数のテナントをホストすると、いくつかの利点がもたらされます。主な利点には、効率的なリソースの利用と共有、コストの削減、設定のオーバーヘッドの削減があります。 ただし、マルチテナントの Kubernetes セットアップでは、リソースの共有とセキュリティに関して特殊な課題が生じます。これについての理解を深めましょう。共有クラスターの目標の 1 つは、各テナントが利用可能なリソースを公平に共有し、その要件を満たすことです。この場合に緩和する必要があると考えられる副作用に、ノイズの多い隣接効果があります。これは、テナント間で適切なレベルのリソース分離を保証することにより対処します。2 番目の課題にして主な課題は、セキュリティです。悪意のあるテナントが他のテナントを危険にさらすことを避けるには、テナント間の分離が必須です。分離メカニズムによって実装されるセキュリティレベルに応じて、業界では共有テナンシーモデルをハードとソフトのマルチテナンシーに分割しています。 マルチテナンシー ハードマルチテナンシーは、テナント間の信頼がないことを意味し、1 つのテナントは他のテナントの何にもアクセスできません。このアプローチは、たとえば、互いに知られていない複数のテナントをホストするサービスプロバイダーに適しています。このセットアップの主な焦点は、テナント間でビジネスを完全に分離することです。オープンソースコミュニティでは、この課題を解決するための作業が進行中ですが、このアプローチはまだ本番ワークロード全体では広く使用されていません。 ハードマルチテナンシーの対極にあるのが、ソフトマルチテナンシーです。これは、同じ組織またはチームの一部である可能性のあるテナント間に信頼関係があることを表します。このアプローチの主な焦点は、セキュリティの分離ではなく、テナント間のリソースの公平な利用です。 オープンソースコミュニティには、ソフトマルチテナンシーを実装するための取り組みがいくつかあり、その 1 つが Kiosk です。Kiosk は、Kubernetes クラスターにソフトマルチテナンシーを実装するためのオープンソースフレームワークです。この記事では、Amazon Elastic Kubernetes Service (Amazon EKS) クラスターに実装するためのステップバイステップガイドを示します。 初期設定 セットアップを続行する前に、次の前提条件を満たしていることを確認してください。 AWS アカウントにログインします。 AWS マネジメントコンソールで Amazon EKS クラスターを作成します。 ローカルマシンから Amazon EKS クラスターに接続します。 ローカルマシンに kubectl をインストールします。これは、Kubernetes クラスターを制御するためのコマンドラインツールです。 ローカルマシンに helm バージョン 3 をインストールします。これは Kubernetes […]

Read More

Amazon SageMaker Ground Truth を使用してジョブにラベルを付けるためのカスタム Angular アプリケーション構築

 データサイエンティストが教師あり学習で問題を解決しようとする場合、通常、モデル構築の開始前に高い品質のラベル付きデータセットを準備する必要があります。Amazon SageMaker Ground Truth を使用することで、デキストの分類やオブ​​ジェクトの検出などさまざまなタスクのデータセットを簡単に作成し、誰でもアクセスできるようになります。 Ground Truth はカスタムのユーザー定義タスクのデータセットを構築し、どんなものにも注釈を付ける際にも役立ちます。この機能により、以下のことを実現できます。 ラベル付けの手順の間にトリガーできるカスタム AWS Lambda 関数。これにより、フィルタリングの例または Amazon Translate や Amazon Rekognition などの他のサービスを使用してメタデータを追加するなどの事前ラベル付けのカスタムロジック、さらにラベルの統合または品質管理のためのラベル付け後のロジックを使用できるようになります。 Ground Truth ワークフローと完全統合する HTML および JavaScript を使用した独自のユーザーインターフェイスを構築できるカスタムウェブテンプレート。これらのテンプレートは Crowd HTML 要素で簡単に構築できます。Crowd HTML 要素とは、カスタムテンプレートのブロックのように配置できるテキスト、動画、音声のラベル付けジョブに使用される一般的な UI 要素のセットです。 対象分野のエキスパートがそろうプライベートチームを増強する必要がある場合は、AWS Marketplace および Amazon Mechanical Turk のスキルと専門知識を持つ人材の大規模なセット。厳しい審査を通過した AWS Marketplace のパートナーは、さまざまな業界のニーズ(医療向けのラベル付けなど)に適合する動画や画像注釈の特定のスキルだけでなく、多数の言語にも対応しています。 分類学に従った複雑な分類、非常に大きなマルチクラス分類、自動運転でのラベル付けタスクのような込み入ったラベル付けタスクの場合、ラベル付けを行う担当者のためにより複雑なフロントエンドアプリケーションを構築する必要がある場合があります。Angular のようなフロントエンドフレームワークはモデルビューコントローラ (MVC) といった有用な設計パターンを作成するので、こうした場合に役立ちます。このため、コードベースがより堅牢となり、UX/UI デザイナーやソフトウェアデベロッパーからなる大規模なチームによるメンテナンスが容易になります。 この投稿では、Angular と Angular 要素を使用して、Ground Truth にうまく連携する完全にカスタマイズ可能なソリューションを作成する方法について解説します。このチュートリアルでは、Ground Truth […]

Read More

ロールの連鎖を使用して、Amazon Redshift Spectrum 外部テーブルへのアクセスを Amazon Redshift IAM ユーザーとグループに制限する

 Amazon Redshift Spectrum では、Amazon Redshift クラスターから中央 AWS Glue メタストアを使用して、Amazon Simple Storage Service (Amazon S3) データレイクのデータをクエリすることができます。この機能により、ご使用中の Amazon Redshift データウェアハウスにおけるペタバイト規模のデータ保存制限がなくなり、エクサバイトのデータへの拡張を低予算でできるようになります。Amazon EMR と同様に、オープンデータ形式と低料金のストレージによるメリットを享受しながら、Redshift Spectrum ノードを数千に拡張し、データのプル、フィルタリング、投影、集約、グループ化、ソートなどが行えます。Redshift Spectrum はサーバーレスであり、プロビジョニングや管理が不要な点で、Amazon Athena と同じです。お支払いは、1 TB のデータスキャンごとに 5 USD のみです。今回の記事では、ロールの連鎖を使用したきめの細いアクセス制御を有効化し、ユーザーの要求に忠実なアクセス管理を実現するための、Amazon Redshift でのセキュリティ設定方法をご説明していきます。 RedShift Spectrum を使用して Amazon Redshift と Amazon S3 のデータレイクを統合する、レイクハウスアプローチの使用を開始する際、クラスターにある異なる外部スキーマにアクセス権を付与するためには一定以上の柔軟性が必要です。たとえば、ここでは次のようなユースケースを考えます。2 つの Redshift Spectrum スキーマ(SA および SB)が、(それぞれに、A と B という)2 つのデータベースに対し AWS Glue […]

Read More

Woot がお買い得品を拡大するために Amazon DocumentDB (MongoDB 互換) を使用する方法

 Woot! は 2004 年に設立され、2010 年にアマゾンが買収した元祖デイリーディールサイトです。Woot は当初、毎日 1 つの製品を売り切れるまで販売していましたが、現在は 7 つのカテゴリーでその日のお買い得品とその他期間限定オファーを提供しています。私のチームは Woot でリテールカタログサービスを担当しており、これは Woot のさまざまなフロントエンドサービスとユーザーインターフェイスにお買い得品を提供します。Woot が年々成長する中で私たちが直面した問題の多くは、スケーリング限界に達した古いレガシーシステムに起因するものでした。 この記事では、Woot でご覧いただける製品カタログとお買い得品の原動力となるセルフホスト型の MongoDB データベースを Amazon DocumentDB (MongoDB 互換) にどのように移行したかについて説明していきます。また、コストを削減しながらパフォーマンス、スケーリング、および俊敏性を向上させる上で Amazon DocumentDB がどのように役立ったかについても説明します。 アプリケーションアーキテクチャ Woot のリテールカタログサービスは Amazon DocumentDB をそのプライマリデータベースとして使用しています。Amazon DocumentDB 内では、データがアイテム (Woot が販売する製品)、オファー (時間と数量によって制限される販売対象アイテム)、およびイベント (お客様に売り出されるオファーのグループ) のコレクションに分類されます。私たちのバックエンドシステムは、主に C#/.Net (レガシー .Net Framework Windows サービスとサーバーレス .Net Core マイクロサービススタックの組み合わせ) を使用します。現在、Windows IIS API が Amazon […]

Read More