ログ分析とは

アプリケーション、サーバー、クラウドインフラストラクチャ、IoT とモバイルデバイス、DevOps、マイクロサービスアーキテクチャ – 最大級のビジネスと IT のトレンドは、これまでにないほど業務とカスタマーエクスペリエンスを向上させるのに役立っています。しかし、このような傾向から、マシンで生成されたデータが爆発的に増加することになりました。それには、ユーザートランザクション、顧客の行動、センサーアクティビティ、マシンの行動、セキュリティの脅威などのログやメトリクスが含まれます。このデータは複雑ですが、IT、セキュリティ、およびビジネスの運用インテリジェンスが含まれているため、極めて価値が高いものです。

ログ分析には、IT システムとテクノロジーインフラストラクチャによって生成されたマシンデータを検索、分析、視覚化して運用上のインサイトを得ることが含まれます。従来のデータ分析ツールは、急速に増加するマシンデータの種類と量を処理するようには構築されていません。 

ログ分析が重要な理由

ログデータは増え続けています。包括的でコスト重視のソリューションがなければ、コストは抑えられずに増大し続けます。人間のデータとマシンで生成されたデータは驚異的な速度で増えており、人間が生成したデータは、控えめに見積もっても、一般的にビジネスデータと比べて 10 倍の増加率を示しています。マシンデータはさらに増加すると予測されています。

ログ分析の歴史

コンピュータで生成された記録の作成を開始して以来、私たちはそのような記録を一括で分析しようとしてきました。記録は、デバイス、アプリケーション、ネットワークなどから出力され、時系列でログに記録されます。多くの場合、これらのログは完全に文書化されておらず、アプリケーションやデバイス間で形式が一貫していないため、ログ分析の必要性がさらに高まります。

ログ分析市場の行先

ログデータが消えることはめったにありません。保存してある場所とアクセス先が正しくないだけです。量が増えるにつれて、そのデータを保存して意味付けするためのより洗練された方法が必要になります。この増え続けるデータのパターンを見つけるために機械学習が使用されていますが、セキュリティ分析、不正検出、異常検出などを支援するためにできることは他にも数多くあります。

ログ分析の利点

ログ分析は、以下のリストのような貴重な運用分析の疑問に答えることができます。次の疑問に対するリアルタイムの回答があると想像してみてください。

  • インフラストラクチャは機能しているか?
  • レイテンシーとエラー率は?
  • アプリケーションの問題の原因は何か?
  • 疑わしい認証活動はあるか?
  • この IP アドレスでアクセスされたデータは?
  • 詐欺の事例はあるか?
  • ユーザーが興味を持っているコンテンツ/製品は?
  • 最も使用されている、または使用されていない機能はどれか?
  • 最もアクティブなユーザーとその理由は?

ログ分析の利点の詳細については、Omdia のこの資料をご覧ください。

ログ分析の課題

ログ分析ツールが直面している主な課題には、次のようなものがあります。 

  • データの種類と量が急速に増加している

  • セキュリティとコストが重要な要件である
  • リアルタイムの予測結果を古いアーキテクチャに簡単に追加できない

ログ分析の利用者

ログ分析の主なユーザーは、DevOps エンジニア、サイト信頼性スタッフ、エンタープライズアーキテクトです。

ログ分析の目的

アプリケーションとインフラストラクチャのリアルタイムモニタリング

アプリケーションと IT サイロからすべてのログとメトリクスをキャプチャして一元化し、アプリケーションとインフラストラクチャスタックを詳細に可視化し、稼働率を確保します。データにインデックスを付けて、リアルタイムで分析できるようにする必要があります。これにより、パフォーマンスメトリクスをリアルタイムで視覚化できます。

根本原因分析

環境全体 (サーバー、コード) の問題をすばやく特定して、特定までの平均時間 (MTTI) と解決までの平均時間 (MTTR) を短縮します。視覚化ツールを使用して、何百万ものイベントを検索し、アプリケーションとインフラストラクチャ全体を関連付けます。これにより、問題の根本原因を迅速に診断し、稼働率を改善できます。

クリックストリーム分析

ウェブコンテンツのパフォーマンスと、ユーザーの行動、費やした時間、人気のあるコンテンツなど、ユーザーが行うアプリケーションやウェブサイトでの操作をリアルタイムで表示します。クリックストリームログを簡単に集計および分析して、顧客をより深く理解することができます。

セキュリティインテリジェンスとイベント管理 (SIEM)

アプリケーション、ネットワーク、オペレーティングシステムを含む環境全体で生成されたイベントを一元化して分析し、ネットワーク内の悪意のある活動や疑わしい活動を特定します。データが取り込まれるとすぐにインデックスを作成できるため、複数のソースからのデータを即座に分析し、脅威をより迅速に検出して防止できます。

ログ分析戦略を策定する方法

ログ分析戦略では、データの取り込み、変換と強化、インデックス作成とシャーディングの戦略、インフラストラクチャの計画、そして最後にデータのライフサイクルとデータのアーカイブに対処する必要があります。一般的な手順は次のとおりです。 

  1. まず、データの移動またはデータの取り込みを特定する必要があります。基本的に、取り込み経路を把握する必要があります。

  2. 次に、ログ行または文字列のデータ変換をセットアップする必要があります。多くの場合、ログ分析は JSON で機能します。何かでデータを適切に変換し、必要に応じて強化する必要があります。

  3. 第 3 に、インデックス作成とシャード戦略を考え出す必要があります。インデックスを適切に作成することは不可欠です。

  4. 第 4 に、インフラストラクチャの計画を立てて、インスタンスタイプと必要な数を把握する必要があります。

  5. 最後に、ログのサイズとコストを制御するために、データのライフサイクルとアーカイブのための全体的な戦略が必要です。

ログデータの保存場所

Amazon OpenSearch Service は、ログデータ用にさまざまなストレージ階層を用意しています。クエリ要件 (Hot、UltraWarm、および Cold Storage) に合わせたストレージ階層を選択できます。

ログ分析のための AWS のサービスとは

簡単にデプロイして管理

Amazon OpenSearch Service では、ハードウェアのプロビジョニング、ソフトウェアのインストールとパッチ適用、障害回復、バックアップ、モニタリングなどの管理タスクに関連する複雑さを取り除きながら、クラスターのセットアップとデプロイを簡単に行えます。これにより、運用上のオーバーヘッドを削減し、中核的なビジネス要件に注力できます。

拡張性と信頼性を得る

1 つのドメインに最大 3 PB のインスタンスストレージを備えた Amazon OpenSearch Service を使用すると、ダウンタイムなしでインスタンスを簡単に追加または削除できます。このサービスでは、保存時および転送中の組み込みの暗号化、ユーザー認証、および VPC サポートも提供されるため、データを安全に保つことができます。

他の AWS のサービスと簡単に統合

Amazon OpenSearch Service では、Kinesis Data Firehose、Managed Streaming for Kafka、IoT、CloudWatch Logs、KMS、Cognito、IAM などの他の AWS のサービスとの組み込み統合が行えるため、すべてのソースからデータを安全に取り込み、分析し、視覚化できます。

コストを抑える

Amazon OpenSearch Service では、使用した分のみ料金が発生します。前払い費用や最低料金はありません。24 時間年中無休のモニタリングや AWS サポートも利用できるため、インフラストラクチャをスケール、保護、モニタリングする Elasticsearch のエキスパートチームを設置する必要はなく、運用の総コストを低減できます。

AWS でのログ分析の仕組み

AWS を使用すると、さまざまなソリューションを構築して、ログデータを効果的に統合、モニタリング、分析できます。これらのソリューションにより、アプリケーション、システム、AWS ログ情報が見やすくなり、リアルタイムの運用インテリジェンスを実現します。

Amazon OpenSearch Service を使用した集中ロギング

Amazon OpenSearch Service を利用したこのソリューションは、他の AWS のサービスと組み合わせることで、可用性の高いターンキー環境を提供し、AWS 環境とアプリケーションのログ記録と分析をすぐに開始できます。 Amazon OpenSearch Service の開始方法 »

次の図は、集中ロギングアーキテクチャを示しています。詳細については、「集中ロギングソリューションの概要」をご覧ください。 

OpenSearch ログ分析

Amazon Kinesis を使用したリアルタイムモニタリング

Amazon Kinesis を AWS CloudTrail および Amazon CloudWatch と併用することで、このソリューションにより、アプリケーションをリアルタイムでモニタリングするサーバーレスソリューションを構築できます。 Amazon Kinesis の開始方法 »

次の図は、リアルタイムアプリケーションモニタリングアーキテクチャを示しています。詳細については、こちらのハンズオンチュートリアルに従ってください。

顧客によるログ分析の実装方法

アプリケーションとインフラストラクチャのリアルタイムモニタリング

アプリケーションと IT サイロからすべてのログとメトリクスをキャプチャして一元化し、アプリケーションとインフラストラクチャスタックを詳細に可視化し、稼働率を確保します。Amazon OpenSearch Service はデータのインデックスを作成し、リアルタイムで分析できるようにします。また、Kibana ダッシュボードを使用してリアルタイムでパフォーマンスメトリクスを視覚化できるようにします。

世界有数の旅行会社である Expedia Group は、アプリケーションのモニタリングに Amazon OpenSearch Service を使用しています。Amazon OpenSearch Service により、Expedia では、大量の Docker ログを費用効果の高い方法でモニタリングし、リアルタイムで問題を特定、トラブルシュートし、追加のログソースを簡単に対応できるようになり、運用費を削減しています。  詳細 »

根本原因分析

環境全体 (サーバー、コード) の問題をすばやく特定して、特定までの平均時間 (MTTI) と解決までの平均時間 (MTTR) を短縮します。組み込みの Kibana を使用する Amazon OpenSearch Service では、何百万ものイベントを検索し、アプリケーションとインフラストラクチャ全体を関連付けます。これにより、問題の根本原因を迅速に診断し、稼働率を改善できます。

3D 設計およびエンジニアリングソフトウェアの大手プロバイダーである Autodesk は、Amazon OpenSearch Service、Amazon Kinesis Data Firehose、Amazon Kinesis Data Analytics などの AWS のサービスを利用して、コスト効率の高い統合ログソリューションを構築しています。これにより、アプリケーションの問題をより迅速に検出して修正し、カスタマーエクスペリエンスを向上させています。  詳細 »

クリックストリーム分析

ウェブコンテンツのパフォーマンスと、ユーザーの行動、費やした時間、人気のあるコンテンツなど、ユーザーが行うアプリケーションやウェブサイトでの操作をリアルタイムで表示します。Amazon OpenSearch Service と Amazon Kinesis Data Firehose または Amazon Managed Streaming for Kafka を使用すると、クリックストリームログを簡単に集約および分析して、顧客をより深く理解することができます。

大手メディア企業である Hearst Corporation は、Amazon OpenSearch Service、Amazon Kinesis Streams、および Amazon Kinesis Firehose を使用して、1 日 30 テラバイトのデータを送信および処理するクリックストリーム分析プラットフォームを構築しました。このプラットフォームにより、Hearst の編集者は、ウェブサイトのクリックから集約済みデータまで、データストリーム全体を数分のうちに利用できるようになります。  詳細 »

セキュリティインテリジェンスとイベント管理 (SIEM)

アプリケーション、ネットワーク、オペレーティングシステムを含む環境全体で生成されたイベントを一元化して分析し、ネットワーク内の悪意のある活動や疑わしい活動を特定します。Amazon OpenSearch Service では、取り込まれてすぐのデータをインデックスできます。これによって、複数のソースからのデータをすぐに分析でき、脅威をより早く見つけ、防ぐことができます。

AWS ログ分析の次のステップ

次の推奨リソースを確認してください。 

  1. Amazon OpenSearch Service の無料トライアルを開始する
  2. ログ分析ソリューションの構築方法に関するワークショップに参加する
  3. Amazon OpenSearch Service の無料利用枠を使用すれば、無料で使用を開始することもできます。 AWS 無料利用枠で、t2 および t3 small.search インスタンスを 1 か月あたり最大 750 時間使用できます。

AWS での次のステップ

追加の製品関連リソースを確認する
AWS OpenSearch の詳細 
無料のアカウントにサインアップする

AWS 無料利用枠にすぐにアクセスできます。

サインアップ 
コンソールで構築を開始する

AWS マネジメントコンソールで構築を始めましょう。

サインイン