Amazon Web Services ブログ

Category: Amazon Elasticsearch Service

【開催報告】AWS re:Invent Recap Analytics 〜新サービスアップデート&クイックデモ〜

こんにちは。アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクトの平間です。 2021年1月29日に、2020年 AWS re:Invent Recapシリーズのひとつとして、分析サービスのRecapセミナーを開催いたしました。2020年 AWS re:Invent では、AWSの分析サービスに関して、新しいサービスおよび多くのアップデートが発表されました。本セッションでは、新しく発表されたサービスやアップデートを中心に共有させていただくとともに、お客さまの課題や問題をどのように解決できるのか、クイックデモを交えてご紹介させていただきました。

Read More

Fluent Bit for Amazon EKS on AWS Fargate をリリース

本投稿は、Akshay Ram, Prithvi Ramesh, Michael Hausenblas による寄稿を翻訳したものです。   Container roadmap 上の issue 701 では、 EKS on Fargate 利用時の CNCF Fluent Bit を利用したログルーターのサポートについて議論していました。このブログ記事では、EKS on Fargete利用時におけるいくつかの設定ステップによってCloudWatch へ直接ログを送信する事が出来る新しい機能とそれを利用する流れをみていきましょう。 以前は、AWS Fargate 上で動くAmazon EKS の Pod から コンテナログを送信するためには サイドカーコンテナを動かす必要がありましたが、組み込みのログルーターを利用出来るようになりました。これはサイドカーをインストールしたり維持する必要が無いという事を意味しています。ユーザーはデータの送信先を選択するだけで、ログは選択した送信先にルーティングされます。 私たちは、2つの設計原則を維持しながらこの機能を構成しました。 一貫性:必要に応じて、ネイティブの Kubernetes オブジェクトを利用して、コンピューティングタイプ(EC2、マネージドノードグループ、Fargate)に渡った一貫したインターフェイスをお客様に提供する シンプル:お客様のインフラストラクチャーや add-ons をさらに管理する この設計原則に従う事で、Fluent Bit 設定言語と Kubernetes Config Map を、プライマリインターフェイスとして選択し、 Kubernetes クラスターにおける標準的な方法としてロギングを設定する様にしました。Fluent Bit をプラットフォームの中に含める事で、Fluent Bit のライフサイクル管理をシンプルにしました。ログを何処に送るかを指定するだけで、後はAWSによって管理されます。   […]

Read More
siem-sample-dashboard

AWS サービスのログの可視化やセキュリティ分析を実現する SIEM on Amazon Elasticsearch Service 公開のお知らせ

みなさん、こんにちは。セキュリティ ソリューション アーキテクトの中島です。先日(2020年10月23日)にオープンソースで公開した SIEM on Amazon Elasticsearch Service (Amazon ES) をご紹介します。SIEM on Amazon ES は、セキュリティインシデントを調査するためのソリューションです。AWS のマルチアカウント環境下で、複数種類のログを収集し、ログの相関分析や可視化をすることができます。 SIEM on Amazon ES とは SIEM は Security Information and Event Management の略で、セキュリティ機器、ネットワーク機器、その他のあらゆる機器のデータを収集及び一元管理をして、相関分析によって脅威検出とインシデントレスポンスをサポートするためのソリューションです。Amazon ES は、オープンソースの Elasticsearch と Kibana を大規模かつ簡単でコスト効率の良い方法を使用してデプロイ、保護、実行する完全マネージド型サービスです。Amazon ES の環境に SIEM として必要な機能を実装したのが SIEM on Amazon ES です。

Read More

Amazon CloudFront ログを使用したリアルタイムダッシュボードの作成

Amazon CloudFront は AWS グローバルネットワークを使用して、静的および動的なウェブコンテンツを低レイテンシかつ高速で安全に配信するコンテンツ配信ネットワーク (CDN) です。 この度 CloudFront でリアルタイムに利用可能な、デリバリーログを配信する機能が発表されました。このリアルタイムログには、CloudFront が受け取った全てのリクエストに関する詳細情報が含まれます。詳細な情報をリアルタイムで確認することで、運用イベントに迅速に対応できるようになります。 リアルタイムログでは、収集する情報とその配信先をカスタマイズできます。リアルタイムログは Amazon Kinesis Data Streams と統合されており、Amazon Kinesis Data Firehose を使用して一般的な HTTP エンドポイントにログを配信できます。 Amazon Kinesis Data Firehose では Amazon S3、Amazon Redshift、Amazon Elasticsearch Service (Amazon ES)、および Datadog、New Relic、Splunk などのサービスプロバイダにログを配信できます。このログを使用して、リアルタイムダッシュボードの作成、アラートの設定、異常の調査や運用イベントへの迅速な対応を行うことができます。追跡できる一般的なデータポイントとしては、異なる地理的リージョンからのビューアーリクエスト数や、レイテンシが高いユニークビューアー数などがあります。

Read More

[AWS Black Belt Online Seminar] Amazon Elasticsearch Service 資料及び QA 公開

先日 (2020/06/23) 開催しました AWS Black Belt Online Seminar「Amazon Elasticsearch Service」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。   20200623 AWS Black Belt Online Seminar Amazon Elasticsearch Service AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. OpenDistro で追加された SQL Query と Lucene Query でパフォーマンスは影響はあるのでしょうか?(変換との説明があったので、どれぐらいの影響があるのかが分かればと思います) A. こちらについては,特に公開されているパフォーマンスに関するデータはございません.もし気になる場合には,是非実際にご自身のワークロードでご確認いただければと思います. Q. ログ分析のユースケースにおいて、Athena と ES の使い分けはどういった観点にしたらよろしいでしょうか。(大規模の場合はESとかでしょうか。) A. 規模よりは,ユースケースで使い分けいただけると良いかと思います. Athena は小規模データから大規模データまで,S3 上のデータに対して SQL を用いたアドホック分析を行う場合にご利用ください.Amazon ES は SQL もサポートしておりますが,こちらにもありますように,サポートされている SQL の範囲は限定的です.その一方で Amazon ES […]

Read More

Amazon Elasticsearch Service ドメインを設定するベストプラクティス

 Amazon Elasticsearch Service (Amazon ES) は、AWS クラウドで Elasticsearch クラスターのデプロイ、保護、スケール、監視を簡単に行うことができる完全マネージド型サービスです。Elasticsearch は分散型データベースソリューションであり、計画や実行が困難な場合があります。この記事では、Amazon ES ドメインをデプロイするためのベストプラクティスについていくつか説明します。 最も重要なプラクティスは、繰り返し調整を行うことです。これらのベストプラクティスに従えば、基本レベルの Amazon ES のデプロイを計画できます。Elasticsearch はワークロードごとに異なる動作をします。レイテンシーとスループットは、主にリクエストの組み合わせ、リクエスト自体、実行するデータまたはクエリによって大部分が決定されます。ワークロードがどのように動作するかを 100% 予測できる確定的なルールはありません。デプロイの調整と改善、ドメインの動作の監視を行い、状況に応じて調整するための時間を計画に入れてください。

Read More

小規模な Amazon Elasticsearch Service ドメインのコストを削減する

 Amazon Elasticsearch Service (Amazon ES) ドメインをデプロイして本番環境のワークロードをサポートする場合、使用するデータインスタンスのタイプと数、アベイラビリティーゾーンの数、専用マスターインスタンスを使用するかどうかを選択する必要があります。ベストプラクティスのための推奨事項をすべて実行するには、次のように設定する必要があります。 3 つの専用マスターインスタンス M5.large 3 つの M5.large データノードを備えた 3 ゾーンレプリケーション プライマリに 2 つのレプリカの使用 必要に応じたストレージ、最大 512 GB、データノード用の GP2 Amazon Elastic Block Store (EBS) ボリューム この設定の場合、最大 400 GB のソースデータと 1 秒あたり数十万のリクエストを、1 か月あたり最大 800 USD (米国東部、バージニア北部の料金) のオンデマンドコストでサポートします。実行可能なデプロイを最小限に抑えることで、このコストを削減できます。本番ワークロードで実行可能な最小のデプロイは、次のとおりです。 専用マスターインスタンスなし M5.large ノードを備えた 2 ゾーンレプリケーション プイマリに 1 つのレプリカの使用 必要に応じたストレージ、最大 512 GB、データノード用の GP2 EBS ボリューム このデプロイでは、同じ […]

Read More

Kibana ダッシュボードの設定と作成

Kibana は、オープンソースのデータ視覚化および探索ツールです。ログと時系列分析、アプリケーションモニタリング、運用インテリジェンスのユースケースに使用できます。Kibana は、ヒストグラム、折れ線グラフ、円グラフ、ヒートマップ、組み込みの地理空間サポートなど、強力で使いやすい機能も提供します。 Kibana は、検索および分析エンジンである Amazon Elasticsearch Service (Amazon ES) と緊密に統合されており、大量のデータの分析を簡素化します。Amazon ES のシンプルなブラウザベースのインターフェイスにより、動的なダッシュボードをすばやく作成して共有できます。 この記事では、視覚化データとダッシュボードを作成する方法を示します。Kibana を使用して Amazon ES に保存された Amazon Relational Database Service (RDS) と Amazon Aurora PostgreSQL ログを使用します。この記事は、2 部構成シリーズの第 2 部です。パート 1 については、「Amazon Elasticsearch Service で PostgreSQL ログを分析する」を参照してください。 大まかな手順は次のとおりです。 インデックスパターンを作成する テキストフィールドを集計する 検出機能を探索する 視覚化機能を探索する 視覚化データを作成する ダッシュボードを作成する 前提条件 適切な AWS のサービスにアクセスできる有効な AWS アカウント。 Aurora/RDS PostgreSQL データベース。 詳細については、「Amazon RDS」を参照してください。 […]

Read More

Amazon Elasticsearch Service で PostgreSQL ログを分析する

バージョン 9.6.6 以降の Amazon RDS は、Amazon CloudWatch への PostgreSQL ログの発行をサポートしています。 Aurora PostgreSQL は、バージョン 9.6.12 以降、およびバージョン 10.7 以降の CloudWatch Logs へのログの発行をサポートしています。このデータを CloudWatch から Amazon Elasticsearch Service (Amazon ES) にライブストリーミングすることにより、RDS PostgreSQL DB ログの継続的な可視性を維持します。Kibana と簡単な検索構文を使用して、データをリアルタイムで視覚化、分析、検出できます。また、PostgreSQL ログのモニタリングを設定し、Kibana でアラームを設定して、ログに記録されたエラーまたは長時間実行されているクエリをタイムリーに検出できるようにすることもできます。 CloudWatch を使用すると、ログをクエリして視覚化を実行できますが、複数の AWS アカウントに複数のデータベースがある場合、これは困難な場合があります。この記事で使用するソリューションは理想的です。それはログを一元的にストリーミングし、各アカウントの複数のコンソールにログインせずに複数のデータベースのダッシュボードを視覚化するためです。 Amazon ES は完全マネージド型のサービスで、容易に、ダウンタイムなしで Elasticsearch を大規模にデプロイ、セキュリティ保護、運用することができます。ウェブサイト、モバイルデバイス、サーバー、センサーが生成した非構造化ログおよび半構造化ログを分析できます。これにより、運用インテリジェンス、アプリケーションモニタリング、根本原因の分析などが保証されます。このサービスは、オープンソース API、マネージド型のKibana を提供し、Logstash や他の AWS のサービスと統合して、任意のソースからデータを安全に取り込みます。Amazon ES を使用すると、リアルタイムで検索、分析、視覚化できます。 この記事では、RDS PostgreSQL データベースのログを CloudWatch に発行し、データを Amazon […]

Read More

UltraWarm for Amazon Elasticsearch Service を使用して少ないコストでより多くのデータを維持する

機械によって生成されたデータは、ソリューションを強化すると共に問題も引き起こします。これは今日の最新ソフトウェアアプリケーションで運用上の問題を特定するために必要不可欠ですが、それをリアルタイムで分析するには Amazon Elasticsearch Service のような柔軟でスケーラブルなツールが必要です。このログデータは極めて貴重であるため、ホットストレージから削除したくはないのですが、大量にありすぎるので削除するしかありません。ログ分析には、潜在的な価値と実費をてんびんにかけるという本質的な葛藤があります。 過去数日間からのログに価値があることは分かっています。最高のインデックスおよび検索パフォーマンスを提供するホットストレージに料金を支払うことは道理にかないます。6 週間前、または数か月前からのログには価値が出る可能性もありますが、これからどのくらいで価値が出るのでしょうか? その一方で、それらをホットストレージに維持するコストは正当化できるのでしょうか? Amazon Elasticsearch Service の新しいストレージ階層である UltraWarm は、この葛藤を取り除き、ホットストレージと比較してデータ保持期間を劇的に延長し、コストを最大 90% 削減することを可能にします。何よりも素晴らしいのは、インタラクティブな分析経験はそのまま変わらないところです。ウォームインデックスは、他のインデックスと同様にクエリしたり、それらを使用して Kibana ダッシュボードを構築したりします。 仕組み 従来のウォームストレージソリューションには制限がありました。オープンソースの Elasticsearch クラスターは高密度ストレージの D2 インスタンスを使用することができますが、これらのノードを追加しても同じ基本的な Elasticsearch アーキテクチャが維持されます。引き続きオペレーティングシステムオーバーヘッド、ディスクウォーターマーク、およびインデックスレプリカを考慮しなくてはなりません。使用分だけを支払うのではなく、プロビジョニングした分の料金を支払い続けます。 UltraWarm は違います。これは、Amazon S3 と AWS Nitro System 駆動のノードの組み合わせを使用して、集約と可視化にホットストレージのような経験を提供します。S3 は耐久性に優れた低コストのストレージを提供し、レプリカの必要性を排除します。S3 はまた、オーバーヘッドという概念を取り去るので、各 UltraWarm ノードは利用可能なストレージを 100% 使用することができます。これらのノードには、クエリ処理最適化、およびデータをプリフェッチする高度なキャッシングソリューションが含まれています。従来のウォームストレージソリューションと比較して、UltraWarm のパフォーマンスは通常それらと同様、またはそれらより優れています。 具体的な料金例について、3 つのultrawarm1.large ノードを検討しましょう。すべてのノードと同様に、各ノードには時間レートの料金を支払います。今回の場合のレートは 2.680 USD です。これらのノードを合わせると、毎月 GiB あたり 0.024 USD で最大 60 TiB の […]

Read More