Amazon Elasticsearch Service は完全マネージド型のサービスです。Elasticsearch の使いやすいリアルタイムの API に加え、本番ワークロードに必要な可用性、スケーラビリティ、セキュリティを提供します。Amazon Elasticsearch Service は、ログ分析、アプリケーションのモニタリング、インタラクティブな検索、および分析を行うその他のユースケースに最適です。ただし、データソースから Elasticsearch インデックスへのデータの収集、変換、マッピング、ロードは、困難で時間がかかる場合があります。raw データを JSON や CSV などの構造化データの形式に変換し、データのクリーンアップを行い、対象のデータフィールドにマッピングする必要があります。また、クラスターのコンピューティングリソースやネットワーキングリソースに過度な負荷をかけることなく、データに対してすぐにクエリを実行できるように効率的にロードするには、データに対するバッチ処理やバッファの設定も必要です。個別のユースケースの要件に従って Amazon Kinesis FirehoseLogstashAmazon CloudWatch Logs、または AWS IoT と連携できる Amazon Elasticsearch Service の組み込みの機能を使用すると、これらをすべて簡単に実現できます。


Amazon Kinesis Firehose は、ストリーミングデータを準備してから Amazon Elasticsearch Service にロードするように設定できます。この機能により、お客様独自のデータ処理パイプラインを構築することなく、データソースの raw ストリーミングデータを Elasticsearch インデックスで必要な形式に簡単に変換できます。

AWS マネジメントコンソールにある Amazon Kinesis Firehose 配信ストリームの設定タブで AWS Lambda 関数を選択するだけでこの機能を使用できます。Amazon Kinesis Firehose では、すべての入力データレコードに AWS Lambda 関数を自動で適用し、変換されたデータを Amazon Elasticsearch インデックスにロードします。

Amazon Kinesis Firehose では、Apache ログやシステムログなど一般的なデータソースを JSON 形式や CSV 形式に変換するための、組み込みの Lambda 設計図を提供します。これらの組み込みの設計図は、そのまま使用することも、カスタマイズして使用することもできます。お客様独自のカスタム関数を記述することも可能です。また、失敗したジョブを自動的に再試行し、raw ストリーミングデータをバックアップするように Amazon Kinesis Firehose を設定できます。詳細 »


Amazon Elasticsearch Service は Logstash との連携をサポートしています。Logstash はオープンソースのデータ処理ツールで、ソースからデータを収集して変換し、Elasticsearch にロードします。Logstash を Amazon EC2 に簡単にデプロイし、Logstash の実装を通じて発生するすべてのログのバックエンドストアとして Amazon Elasticsearch ドメインを設定できます。Logstash は組み込みのフィルターのライブラリをサポートしているため、一般的な変形処理を簡単に実行できます。処理の例として、パターンマッチングによる非構造化ログデータの解析と構造化データへの変換、データレコードのフィールドの名前変更、削除、置き換え、変更、およびメトリクスの収集があります。詳細 »


Amazon CloudWatch Logs では、既存のシステムやアプリケーションのログファイル、またはカスタムログファイルを使用して、システムやアプリケーションのモニタリングやトラブルシューティングを行うことができます。CloudWatch Logs のサブスクリプションを使用すると、CloudWatch Logs のロググループが Amazon Elasticsearch Service ドメインにほぼリアルタイムでデータをストリーミングするように設定できます。この連携機能は、既に CloudWatch Logs をログデータの収集に使用していて、収集したデータを Amazon Elasticsearch Service ユーザーと共有する場合に便利です。詳細 »


AWS IoT は、インターネットに接続されたデバイスから、クラウドアプリケーションやその他のデバイスに簡単かつ安全に通信するためのマネージドクラウドプラットフォームです。AWS IoT を使用すると、コンシューマーアプライアンス、組み込みのセンサー、テレビのセットトップボックスなど、インターネットに接続されたデバイスからデータを取得できます。また、AWS マネジメントコンソールから AWS IoT を設定して、Amazon Elasticsearch Service に直接データをロードできます。これにより、IoT のデータやメトリクスに対するほぼリアルタイムのアクセスを顧客に提供できます。詳細 »

データレイテンシーやデータの種類など、個別のユースケースの要件によって適切な取り込みメカニズムは変わります。大量のデータを扱う場合は、完全マネージド型で、データのスループットに応じて自動的にスケールされ、継続的な管理が不要な Amazon Kinesis Firehose をお勧めします。Amazon Elasticsearch Service ドメインにデータをロードする前に、データの変換、圧縮、バッチ処理を行うこともできます。多くの場合、既に使用しているサービスもサービスの選択に影響します。例えば、Amazon CloudWatch Logs を使用して既にアプリケーションログを収集している場合は、追加の作業をあまり行うことなく、Amazon Elasticsearch Service ドメインにそのデータをロードするだけです。

単一アベイラビリティーゾーンの t2.micro.elasticsearch または t2.small.easticsearch のインスタンス最大 750 時間/月、およびオプションの Amazon EBS ストレージ 10 GB/月が含まれる無料利用枠でご使用を開始いただけます。

無料でお試しください