Amazon Kinesis Data Firehose を使用したデータ取り込み

Amazon Kinesis Firehose を使用することで、データソースからの生のストリーミングデータを Elasticsearch インデックスと Amazon Elasticsearch Service に必要なフォーマットに簡単に変換し Amazon Elasticsearch Service にロードできます。独自のデータ処理パイプラインを構築する必要はありません。

AWS マネジメントコンソールにある Amazon Kinesis Firehose 配信ストリームの設定タブで AWS Lambda 関数を選択するだけでこの機能を使用できます。Amazon Kinesis Firehose では、すべての入力データレコードに AWS Lambda 関数を自動で適用し、変換されたデータを Amazon Elasticsearch インデックスにロードします。

Amazon Kinesis Firehose では、Apache ログやシステムログなど一般的なデータソースを JSON 形式や CSV 形式に変換するための変更やカスタマイズをせずに使用できる、組み込みの Lambda 設計図を提供します。また、失敗したジョブを自動的に再試行し、raw ストリーミングデータをバックアップするように Amazon Kinesis Firehose を設定できます。詳細はこちら »

 

Logstash を使用したデータ取り込み

Amazon Elasticsearch Service は Logstash との連携をサポートしています。Logstash はオープンソースのデータ処理ツールで、ソースからデータを収集して変換し、Elasticsearch にロードします。Logstash を Amazon EC2 に簡単にデプロイし、Logstash の実装を通じて発生するすべてのログのバックエンドストアとして Amazon Elasticsearch ドメインを設定できます。Logstash は組み込みのフィルターのライブラリをサポートしているため、一般的な変形処理を簡単に実行できます。処理の例として、パターンマッチングによる非構造化ログデータの解析と構造化データへの変換、データレコードのフィールドの名前変更、削除、置き換え、変更、およびメトリクスの収集があります。 詳細はこちら »

Amazon CloudWatch Logs を使用したデータ取り込み

Amazon CloudWatch Logs では、既存のシステムやアプリケーションのログファイル、またはカスタムログファイルを使用して、システムやアプリケーションのモニタリングやトラブルシューティングを行うことができます。CloudWatch Logs のサブスクリプションを使用すると、CloudWatch Logs のロググループが Amazon Elasticsearch Service ドメインにほぼリアルタイムでデータをストリーミングするように設定できます。この連携機能は、既に CloudWatch Logs をログデータの収集に使用していて、収集したデータを Amazon Elasticsearch Service ユーザーと共有する場合に便利です。 詳細はこちら »

AWS IoT を使用したデータ取り込み

AWS IoT は、インターネットに接続されたデバイスから、クラウドアプリケーションやその他のデバイスに簡単かつ安全に通信するためのマネージドクラウドプラットフォームです。AWS IoT では、家庭用電化製品、埋め込みセンサー、テレビ用セットトップボックスといった接続機器から継続的にデータをキャプチャできます。AWS マネジメントコンソールでは、Amazon Elasticsearch Service から直接データをロードするよう AWS IoT を構成することができます。これによって、IoT データとメトリクスへのリアルタイムに近いアクセスを顧客に提供することができるようになります。 詳細はこちら »

適切な取り込みメカニズムを選択する方法

データレイテンシーやデータの種類など、個別のユースケースの要件によって適切な取り込みメカニズムは変わります。大量のデータを扱う場合は、完全マネージド型で、データのスループットに応じて自動的にスケールされ、継続的な管理が不要な Amazon Kinesis Firehose をお勧めします。Amazon Elasticsearch Service ドメインにデータをロードする前に、データの変換、圧縮、バッチ処理を行うこともできます。多くの場合、既に使用しているサービスもサービスの選択に影響します。例えば、Amazon CloudWatch Logs を使用して既にアプリケーションログを収集している場合は、Amazon Elasticsearch Service ドメインにそのデータをロードするだけです。追加の作業が少なくて済みます。

Amazon Elasticsearch Service の料金の詳細

料金ページを見る
構築を始めましょう。
Amazon Elasticsearch Service のご利用開始にあたって
ご不明な点がおありですか?
お問い合わせ