Amazon Web Services ブログ

Category: Open Source

Amazon Managed Service for Grafana (プレビュー) のご紹介

今日は、Grafana Labs とのパートナーシップにより、複数ソースからのデータを視覚化して分析するためのスケーラブルでセキュアなオンデマンド Grafana ワークスペースを簡単に作成できる完全マネージド型サービス、Amazon Managed Service for Grafana (AMG) のプレビューが開始されたことをお知らせします。 Grafana は、アプリケーションのためのオブザーバビリティダッシュボードの作成に使用される、最も人気のあるオープンソーステクノロジーの 1 つです。プラグイン可能なデータソースモデルを備えており、さまざまな種類の時系列データベースとクラウドモニタリングベンダーをサポートしています。Grafana は、複数のオープンソース、クラウド、およびサードパーティーデータソースからのアプリケーションデータを一元化します。 多くのお客様が Grafana を愛用しておられますが、それを独自にホストして管理する負担は抱えたくありません。AMG は Grafana のプロビジョニング、セットアップ、スケーリング、バージョンアップグレード、およびセキュリティパッチの適用を管理するので、お客様がそれらを自分で行う必要がなくなります。AMG は、優れた可用性で何千人ものユーザーをサポートするように自動的にスケールします。 AMG では、AWS、Google、および Microsoft などのクラウドサービスを含めた複数のデータソース全体で運用メトリクス、ログ、およびトレースをクエリ、関連付け、および視覚化できる、完全に管理されたセキュアなデータ可視化サービスを利用できます。AMG は、Amazon CloudWatch、Amazon Elasticsearch Service、AWS X-Ray、AWS IoT SiteWise、Amazon Timestream、およびその他の AWS データソースと統合し、シンプルな方法で運用データを収集します。これに加えて、AMG は、AWS コンソールから直接 Grafana Enterprise にアップグレードすることによって、Datadog、Splunk、ServiceNow、および New Relic などの一般的なサードパーティーデータソースに接続するプラグインも提供します。 AMG は AWS Organizations と直接統合されます。AMG ワークスペースは、AWS 組織のすべてのアカウントとリージョンにあるデータソースを検出し、アクセスすることを可能にする 1 つの AWS […]

Read More

新機能 – Amazon SageMaker の管理されたデータ並列化による大規模なデータセットを使用したトレーニングのシンプル化

今日は、数百から数千ギガバイトにおよぶデータセットでのモデルのトレーニングを容易にする、新しいデータ並列化ライブラリの Amazon SageMaker によるサポートが開始されたことをお知らせしたいと思います。 データセットとモデルがますます大きくなり、高度化するにつれて、大規模な分散型トレーニングジョブを扱う機械学習 (ML) プラクティショナーは、Amazon Elastic Compute Cloud (EC2) p3 および p4 インスタンスなどの強力なインスタンスを使用している場合でさえも、長くなる一方のトレーニング時間に対応しなければなりません。たとえば、8 個の NVIDIA V100 GPU を搭載した ml.p3dn.24xlarge インスタンスを使用しても、一般公開されている COCO データセットでの Mask RCNN および Faster RCNN などの高度なオブジェクト検出モデルのトレーニングには 6 時間以上かかります。これと同じく、最先端の自然言語処理モデルである BERT のトレーニングにも、同一のインスタンスで 100 時間以上かかります。自律走行車企業などのお客様には、大規模な GPU クラスターで何日もかけて実行される、さらに大きなトレーニングジョブを定期的に処理するお客様もおられます。 ご想像どおり、これらの長いトレーニング時間は ML プロジェクトの深刻なボトルネックであり、生産性を損なうと共に、イノベーションを遅らせています。お客様から助けを求められた AWS は、この問題の解決に乗り出しました。 Amazon SageMaker のデータ並列化のご紹介 SageMaker Data Parallelism (SDP) ライブラリのおかげで、Amazon SageMaker を使って ML チームによる分散型トレーニングの時間とコストの削減を実現することが可能になりました。TensorFlow […]

Read More

Amazon EKS Distro: Amazon EKS で使用される Kubernetes ディストリビューション

顧客向けの革新的なソリューションの構築に集中したいので、Kubernetes インフラストラクチャを管理する面倒な作業に手間をかけたくないという声がお客様から寄せられています。そのため、Amazon Elastic Kubernetes Service (EKS) の人気が高まっています。このサービスをご利用いただくことで、Kubernetes の管理にかかる負担は解消され、お客様はメリットを享受できます。 ただし、すべてのカスタマーが Amazon EKS を使用するわけではありません。たとえば、既存のインフラストラクチャ投資、データの所在地要件、またはコンプライアンス義務があり、Kubernetes をオンプレミスで運用しなければならない場合があります。このような状況にあるお客様からは、アップデートの追跡、Kubernetes の互換性のあるバージョンと基盤となるコンポーネントの複雑なマトリックスの把握、互換性を確認するためのテスト、および Kubernetes リリース頻度 (3 ~ 4 か月の頻度である場合があります) の維持に多くの労力を費やしていることを伺っています。お客様が新しいバージョンのテストと見極めを適時に実行できない場合、破壊的変更、バージョンの互換性の問題、および重要なセキュリティパッチが不足している、サポートされていないバージョンの Kubernetes を実行する危険性があります。 当社は、AWS で Amazon EKS を提供しながら多くのことを学び、運用のセキュリティ、安定性、および信頼性を備えた Kubernetes を提供する方法を深く理解しています。本日、当社は、その知識を用いて構築した Amazon EKS Distro を皆さんと共有することを発表します。 EKS Distro は、Amazon EKS によってデプロイされたのと同じバージョンの Kubernetes のディストリビューションです。このディストリビューションを使用して、任意の場所に独自の Kubernetes クラスターを手動で作成できます。EKS Distro は、Amazon EKS によって使用されるオープンソース Kubernetes のインストール可能なビルドとコードを提供します。これには、依存関係や AWS が保守するパッチも含まれます。クラスターの作成と管理ツールを選択することで、Amazon Elastic Compute Cloud (EC2) […]

Read More

Amazon MQ アップデート — 新しい RabbitMQ メッセージブローカーサービス

2017 年には、 Apache Active MQ 用のマネージドメッセージブローカーサービス Amazon MQ を 開始 しました。これは、高速で機能豊富な人気のオープンソースのメッセージブローカーです。キューとトピック、耐久性と非耐久性のサブスクリプション、プッシュベースとポーリングベースのメッセージング、フィルタリングを提供します。Amazon MQ では、お客様からのフィードバックを基に多くの新機能を強化し、高いスケーラビリティと可用性が向上しました。たとえば、垂直スケーリング や 99.9% のサービスレベルアグリーメント (SLA)が適用された、スループットを改善したメッセージブローカー、 LDAP 認証と承認をサポートし、米国の商用リージョンで HIPAA、ISO/PCI DSS、SOC、FIPS 140-2 検証済みエンドポイントなどの準拠アプリケーションを構築します。 ActiveMQ だけでなく、RabbitMQ も、最も人気のあるオープンソースのメッセージブローカーの 1 つであり、コモディティ取引や注文処理ソフトウェアのような分散アプリケーションが重要なコンポーネントです。機能の豊富さ、活発なコミュニティサポート、幅広いサポートされているクライアントとフレームワークのために RabbitMQ を選択しているお客様もいます。しかし、RabbitMQ メッセージブローカーでは、複雑なクラスター構成のデプロイの作成やパッチ適用に必要な専門知識に多大な投資が必要です。別のブローカーに変更し、マネージドサービスに移行する企業は、アプリケーションの変更に何週間も投資する必要がありました。 本日、Amazon MQ for RabbitMQ を公開しました。これは、RabbitMQ メッセージブローカーを管理する企業の運用オーバーヘッドを軽減するマネージドメッセージングサービスです。何千社ものお客様がすでに Amazon MQ を使用して、メッセージングインフラストラクチャの運用オーバーヘッドを軽減しています。RabbitMQ の追加により Amazon MQ アプリケーションの互換性が拡張したことで、より多くの企業がメッセージブローカーのデプロイ、スケーリング、操作の複雑さから解放されます。 優先するブローカーを引き続き使用し、運用オーバーヘッドを軽減しながら、コスト効率に優れたスケーラブルなメッセージング性能を確保できます。Amazon MQ は、インフラストラクチャキャパシティのプロビジョニングからメッセージングソフトウェアのインストールまで、個々のメッセージブローカーとクラスタ化されたメッセージブローカーのセットアップに関わる作業を管理します。Amazon MQ が起動されると、オペレーティングシステムやメッセージングソフトウェアのパッチ適用などの管理タスクを処理します。 Amazon MQ の RabbitMQ の開始方法 新しい […]

Read More
siem-sample-dashboard

AWS サービスのログの可視化やセキュリティ分析を実現する SIEM on Amazon Elasticsearch Service 公開のお知らせ

みなさん、こんにちは。セキュリティ ソリューション アーキテクトの中島です。先日(2020年10月23日)にオープンソースで公開した SIEM on Amazon Elasticsearch Service (Amazon ES) をご紹介します。SIEM on Amazon ES は、セキュリティインシデントを調査するためのソリューションです。AWS のマルチアカウント環境下で、複数種類のログを収集し、ログの相関分析や可視化をすることができます。 SIEM on Amazon ES とは SIEM は Security Information and Event Management の略で、セキュリティ機器、ネットワーク機器、その他のあらゆる機器のデータを収集及び一元管理をして、相関分析によって脅威検出とインシデントレスポンスをサポートするためのソリューションです。Amazon ES は、オープンソースの Elasticsearch と Kibana を大規模かつ簡単でコスト効率の良い方法を使用してデプロイ、保護、実行する完全マネージド型サービスです。Amazon ES の環境に SIEM として必要な機能を実装したのが SIEM on Amazon ES です。

Read More

パブリックプレビュー – AWS Distro for OpenTelemetry

 可観測性とは何かを理解するには、しばらく時間がかかりました。1、2 年ほどの間、周りに質問していたところ、Charity Majors の Twitter をフォローして、彼女のブログを読んだらいいと同僚が教えてくれました(そして、このアドバイスに従いました)。ちょうど今週、Charity は次のようにツイートしました。 Kislay のツイートを見て、彼のブログ Observing is not Debugging に行き着きましたが、とても参考になりました。Charity が指摘したように、Kislay は「可観測性とは、動くシステムについての研究である」と言っています。 現代の大規模な分散アプリケーションとシステムは、事実上常に動作しています。ウェブリクエストの提供、データストリームやイベントの処理など、常に何かが起こっています。世界規模では、個々のリクエストやイベントをいつでも見ることができるとは限りません。エラーが起こるのをただ待つのではなく、統計的なアプローチを取って、システムがどれだけ順調に機能しているかを監視する必要があるのです。 新サービス AWS Distro for OpenTelemetry 本日より、AWS Distro for OpenTelemetry のプレビューが開始しました。AWS は Cloud Native Computing Foundation (CNCF) の OpenTelemetry コミュニティの仲間として、分散トレースとメトリクスの収集のためのオープンスタンダードを定義することに取り組んでいます。AWS Distro for OpenTelemetry は、OpenTelemetry 仕様で定義された API、ライブラリ、エージェント、コレクターのセキュアで、サポートされたディストリビューションです。 ツールキットの最も優れた機能の 1 つに、自動インストルメンテーションがあります。Java をはじめとして、他の言語や環境(NET と JavaScript など)での作業で、自動インストルメンテーションエージェントは、アプリケーションが使用するフレームワークと言語を識別し、自動でインストルメント化してメトリクスやトレースを収集および転送します。 これらすべてを実行する方法は、次のようになります。 AWS の可観測性コレクターは、お客様の環境内で実行します。EKS の場合はサイドカーもしくはデーモンセットとして、ECS の場合はサイドカーとして、または […]

Read More

新機能 – Redis 6 互換の Amazon ElastiCache

最新の Redis 5.0 互換の Amazon ElastiCache 以降、 5.0.6 でのアップストリームサポートを含め、Amazon ElastiCache for Redis では多くの改善が行われました。 今年の初め、1 つのリージョンのクラスターを最大 2 つの他のリージョンのクラスターにレプリケートできる Global Datastore for Redis 機能を発表しました。最近では、18 個のエンジンおよびノードレベルの CloudWatch メトリクスを追加することで、Redis フリートをモニタリングする機能が向上しました。リソースレベルのアクセス許可ポリシーのためのサポートも追加され、特定の ElastiCache リソースに AWS Identity and Access Management (IAM) プリンシパルアクセス許可を割り当てることができるようになりました。 そして本日、Redis 6 互換の Amazon ElastiCache for Redis を発表することになりました。今回のリリースでは、Amazon ElastiCache for Redis にいくつかの新機能や重要な機能が追加されています。 マネージドロールベースのアクセス制御 – Amazon ElastiCache for Redis 6 では、Redis […]

Read More
CDK

CloudFormation テンプレートから AWS Cloud Development Kit への移行

AWS CloudFormation を使用すると、開発者やシステム管理者は、関連する AWS リソースのコレクションを簡単に作成および管理し、それらを整然かつ予測可能な方法でプロビジョニングおよび更新できます。AWS CloudFormation のサンプルテンプレートの使用、または独自のテンプレートの作成によって、アプリケーションの実行に必要な AWS リソース、相互の依存関係、および実行時パラメーターを定義できます。AWS サービスのプロビジョニングの順序や、それらの依存関係を解決するための詳細を把握する必要はありません。CloudFormation はあなたに代わってこれを処理します。AWS リソースをデプロイしたら、制御され予測可能な方法で変更し更新できます。これにより、ソフトウェアと同じ方法で AWS インフラストラクチャにバージョン管理を適用できます。 2019 年 7 月、AWS Cloud Development Kit(CDK)がリリースされました。開発者が AWS インフラストラクチャを TypeScript、JavaScript、Python、C#、Java などの使い慣れたプログラミング言語のコードで定義できるようになったことで、お客様の選択肢が増えました。CDK では、より高いレベルの抽象化を使用してインフラストラクチャを定義できますが、その背後では CloudFormation が使われています。つまり、自動ロールバックやドリフト検出など、CloudFormation のすべてのメリットを享受できます。 多くの開発者は、アプリケーションコードに使用するのと同じ使い慣れたプログラミング言語でインフラストラクチャを定義することを好むため、CDKを使用したいと考えています。しかし一方で、実証済みのインフラストラクチャパターンと重要な構成設定をエンコードした CloudFormation テンプレートの広範なライブラリをすでにお持ちです。これらのテンプレートは、構築と維持に時間と労力を要します。一方で既存のスタックを再現する CDK コードを手動で記述することは、面倒でエラーが発生しやすくなります。 今日まで、既存のテンプレートで定義されたインフラストラクチャを活用する唯一の方法は、コアモジュールの CFnInclude クラスでした。これにより、CDK アプリケーションに CloudFormation テンプレートを組み込み、変更せずに出力することができました。ただし、このソリューションにはいくつかの制限があります。 テンプレートに含まれるリソースは、インクルードした後で変更することはできません。 テンプレートから取り込んだリソースは、その論理 ID を使用して手動で参照します。これはエラーが発生しやすく、この方法で作成された参照は、CDKが提供する強力な機能である CDK の自動クロススタックリファレンス生成機能を利用できません。 CloudFormation-Include CDK モジュールの発表 既存の CloudFormation スタックを CDK コードに移行するために特別に開発された CloudFormation-include […]

Read More

AWS Copilot によるコンテナアプリケーションの自動デプロイ

本投稿は Nathan Peck による記事を翻訳したものです アプリケーションをアイデアから人々に触ってもらえる実装に落とし込むのは複数のステップを含むプロセスです。設計が固まりコードが書かれると、どうやってそのアプリケーションをデプロイし、ユーザーのもとに届けるかというのが次のチャレンジとなります。その実現方法の1つが Docker コンテナを利用することであり、AWS Copilot のようなコンテナを実行するためのインフラストラクチャを自動的に構築してくれるようなツールです。もしあなたがまだ AWS Copilot のことをよく知らない場合は、以前のブログ記事「AWS Copilot のご紹介」をお読みいただくとその全体概要を掴んでいただけるかもしれません。 Copilot を利用すると copilot svc deploy のような CLI コマンドを実行することでアプリケーションのビルドやデプロイを実行することができますが、例えば複数の開発者が複数のサービスからなる規模のアプリケーションについて長期的な視点で考えた時には理想的な使い方とは言えません。この記事では、Copilot の基礎的な使い方に基づいてアプリケーションリリースの自動化を進める方法を紹介していきます。そこで、まずはコード変更をリポジトリにプッシュする度にコンテナアプリケーションをビルド、プッシュ、デプロイするという基本的なリリースパイプラインを動かすところから始めます。その後、複数のステージやテストを備え、プロダクションへのリリース前にそのアプリケーションが動作することを確認できるようなベストプラクティスをパイプラインを実装していきます。『本番環境で発見されたバグを修正し、それをユーザーに向けてリリースする』という現実世界のシナリオのウォークスルーが本記事のフィナーレです。 本日のアプリケーション あなたは “String Services” というオンライン文字列操作 API 界のトッププロバイダになることを狙っているスタートアップで働いているとしましょう。ある日、あなたの会社は “reverse.” と呼ばれる文字列操作のサービスを提供していくことを決めます。このサービスはどんな文字列もそのインプットとして受け入れ、逆向きの(reversed)文字列をその結果として返します。あなたの仕事はこの新しいサービスをデプロイし、この API を熱望するお客さまに届けることです。まずは Node.js で書かれたコードを見ていきましょう。 var getRawBody = require(“raw-body”); var http = require(“http”); var server = http.createServer(function (req, res) { getRawBody(req) .then(function (buf) { […]

Read More

AWS Solutions Constructs – AWS CDK のアーキテクチャパターンのライブラリ

クラウドアプリケーションは、仮想サーバー、コンテナ、サーバーレス機能、ストレージバケット、データベースなどの複数のコンポーネントを使用して構築されます。これらのリソースを安全かつ反復可能な方法でプロビジョニングおよび設定できることは、プロセスを自動化し、実装の固有の部分に集中できるようにするために非常に重要です。 AWS Cloud Development Kit を使用すると、お気に入りのプログラミング言語の表現力を活用してアプリケーションをモデル化できます。コンストラクトと呼ばれる高レベルのコンポーネントを使用して、カスタマイズ可能な「実用的なデフォルト」で事前設定し、新しいアプリケーションをすばやく構築できます。CDKは、Infrastructure as Code を管理することにおけるあらゆるメリットを得るために、AWS CloudFormation を使用してリソースをプロビジョニングします。私が CDK を気に入っている理由の 1 つは、独自のカスタムコンポーネントを上位レベルのコンストラクトとして作成および共有できることです。 複数のお客様にとって役立ち得るパターンが繰り返し発生することは想像に難くありません。そこで、本日、AWS Solutions Constructs をリリースします。これは、独自のソリューションの構築に役立つ Well-Architected なパターンを提供する CDK のオープンソース拡張ライブラリです。CDK コンストラクトは主に単一のサービスをカバーしています。 AWS Solutions Constructs は、2 つ以上の CDK のリソースを組み合わせ、ロギングや暗号化などのベストプラクティスを実装する複数サービスのパターンを提供します。 AWS Solutions Constructs を使用する パターンベースのアプローチの威力を確認するために、新しいアプリケーションを構築する際にどのように役立つかを見てみましょう。例として、Amazon DynamoDB テーブルにデータを格納する HTTP API を構築します。テーブルのコンテンツを小さく保つために、DynamoDB Time to Live (TTL) を使用して、数日後にアイテムを期限切れにすることができます。TTL の期限が切れると、テーブルからデータが削除され、DynamoDB Streams を介して AWS Lambda 関数に送信され、期限切れのデータを Amazon Simple Storage Service […]

Read More