Amazon CloudFront のログを Amazon Elasticsearch Service (Amazon ES) で処理するにはどうすればよいですか?

次のように、特定の要件を満たすカスタムレポートを構築します。

1.    CloudFront ディストリビューションでログを有効にし、CloudFront ログを S3 バケットに配信します。

2.    Logstash をクライアントとして実行している Amazon EC2 インスタンスを使用して、CloudFront ログを処理します。

3.    ログを Amazon ES ドメインにプッシュします。

4.    Kibana を使用してレポートを可視化します。

1.    (オプション) Elasticsearch ドメインを実行するのと同じリージョンに S3 バケットがない場合には、作成する必要があります。詳細については、「S3 バケットを作成する方法」を参照してください。

2.    Amazon CloudFront コンソールで、自分のCloudFront ディストリビューションを選択し、[Distribution Settings (ディストリビューションの設定)] を選択し、[Edit (編集)] を選択します。
       [Logging (ロギング)] で、[On (オン)] を選択します。
       [Bucket for Logs (ログのバケット)] フィールドで、自分の S3 バケットを選択します。
       [Log Prefix (ログのプレフィックス)] フィールドに、ログ名で使用するプレフィックスを入力します。

3.    [Yes, Edit (はい、編集します)] を選択します。
       注記: ログのリクエストが S3 バケットに配信されたのを確認できるまでには、最大 24 時間かかる可能性があります。

4.    Elasticsearch Service コンソールで、「Amazon Elasticsearch Service ドメインの作成と設定」に従って、新しい Amazon ES ドメインを作成します。

5.    新しい Amazon EC2 インスタンスを起動します。この EC2 インスタンスを Logstash クライアントとして使用します。
       注記: IAM ロールに S3 (GET object) および Elasticsearch (Put document) へのアクセス権限を設定することが必要な場合があります。詳細については、「IAM ロールの作成」を参照してください。

6.    新しい EC2 インスタンスに SSH を使用して接続します

7.    コマンドラインから次のコマンドを実行して、EC2 インスタンスに Logstash クライアントをダウンロードします。

wget https://download.elastic.co/logstash/logstash/logstash-2.4.0.tar.gz

8.    次のコマンドを使用して、Logstash クライアントを抽出します。

tar xvf logstash-2.4.0.tar.gz

9.    次のコマンドを使用して、Elasticsearch 用の Logstash プラグインをインストールします。

install logstash-output-amazon_es

10.   vi などのテキストエディタを使用して cloudfront.conf ファイルを編集し、以下の点を反映させます。
        bucket については、S3 バケットの名前を使用します。
        prefix については、ステップ 2 の [Log Prefix (ログのプレフィックス)] で使用したプレフィックスを使用します。
        hosts については、自分の CloudFront ディストリビューションのエンドポイントを使用します。
        region については、自分のリソースが存在するリージョンを使用します。
        template については、自分の CloudFront テンプレートが存在するディレクトリを使用します。

11.   cloudfront.conf に加えた変更を保存します。

12.   -f オプションを使用し、設定ファイルとして cloudfront.conf を指定して、Logstash を実行します。詳細については、「Command-Line Flags (コマンドラインフラグ)」を参照してください。

数分以内に、Logstash は指定された Elasticsearch ドメインへのドキュメントの公開を開始します。ドキュメントが正しく公開されていることを確認するには、Amazon ES コンソールを開き、ES ドメインを選択し、[Indices (インデックス)] タブをチェックします。

これで、Kibana を使用してカスタムのレポートを作成し、ログの可視化を行えるようになります。詳細については、「Kibana と Logstash」を参照してください。

注記: Kibana が Amazon ES ドメインに保存されたログにアクセスできるようにするために、アクセスポリシーの設定を行うことが必要な場合があります。


このページは役に立ちましたか? はい | いいえ

AWS サポートナレッジセンターに戻る

サポートが必要ですか?AWS サポートセンターをご覧ください。

公開日: 2018 年 1 月 9 日