Amazon Kinesis Data Firehose を使用したデータ取り込み

Amazon Kinesis Firehose を使用することで、データソースからの生のストリーミングデータを Elasticsearch または OpenSearch インデックスと Amazon OpenSearch Service に必要なフォーマットに簡単に変換し Amazon Elasticsearch Service にロードできます。独自のデータ処理パイプラインを構築する必要はありません。

AWS マネジメントコンソールにある Amazon Kinesis Firehose 配信ストリームの設定タブで AWS Lambda 関数を選択するだけでこの機能を使用できます。Amazon Kinesis Firehose では、すべての入力データレコードに AWS Lambda 関数を自動で適用し、変換されたデータを Amazon OpenSearch Service インデックスにロードします。

Amazon Kinesis Firehose では、Apache ログやシステムログなど一般的なデータソースを JSON 形式や CSV 形式に変換するための変更やカスタマイズをせずに使用できる、組み込みの Lambda 設計図を提供します。また、失敗したジョブを自動的に再試行し、raw ストリーミングデータをバックアップするように Amazon Kinesis Firehose を設定できます。詳細はこちら »

 

Logstash を使用したデータ取り込み

Amazon OpenSearch Service は Logstash との連携をサポートしています。Logstash はオープンソースのデータ処理ツールで、ソースからデータを収集して変換し、Elasticsearch または OpenSearch にロードします。Logstash を Amazon EC2 に簡単にデプロイし、Logstash の実装を通じて発生するすべてのログのバックエンドストアとして Amazon OpenSearch Service ドメインを設定できます。Logstash は組み込みのフィルターのライブラリをサポートしているため、一般的な変形処理を簡単に実行できます。処理の例として、パターンマッチングによる非構造化ログデータの解析と構造化データへの変換、データレコードのフィールドの名前変更、削除、置き換え、変更、およびメトリクスの収集があります。 詳細はこちら »

Amazon CloudWatch Logs を使用したデータ取り込み

Amazon CloudWatch Logs では、既存のシステムやアプリケーションのログファイル、またはカスタムログファイルを使用して、システムやアプリケーションのモニタリングやトラブルシューティングを行うことができます。CloudWatch Logs のサブスクリプションを使用すると、CloudWatch Logs のロググループが Amazon OpenSearch Service ドメインにほぼリアルタイムでデータをストリーミングするように設定できます。この連携機能は、既に CloudWatch Logs をログデータの収集に使用していて、収集したデータを Amazon OpenSearch Service ユーザーと共有する場合に便利です。 詳細はこちら »

AWS IoT を使用したデータ取り込み

AWS IoT は、インターネットに接続されたデバイスから、クラウドアプリケーションやその他のデバイスに簡単かつ安全に通信するためのマネージドクラウドプラットフォームです。AWS IoT では、家庭用電化製品、埋め込みセンサー、テレビ用セットトップボックスといったコネクテッドデバイスから継続的にデータをキャプチャできます。AWS マネジメントコンソールでは、Amazon OpenSearch Service から直接データをロードするよう AWS IoT を構成することができます。これによって、IoT データとメトリクスへのリアルタイムに近いアクセスを顧客に提供することができるようになります。 詳細はこちら »

適切な取り込みメカニズムを選択する方法

データレイテンシーやデータの種類など、個別のユースケースの要件によって適切な取り込みメカニズムは変わります。大量のデータを扱う場合は、フルマネージド型で、データのスループットに応じて自動的にスケールされ、継続的な管理が不要な Amazon Kinesis Data Firehose をお勧めします。Amazon OpenSearch Service ドメインにデータをロードする前に、データの変換、圧縮、バッチ処理を行うこともできます。多くの場合、既に使用しているサービスもサービスの選択に影響します。例えば、Amazon CloudWatch Logs を使用して既にアプリケーションログを収集している場合は、Amazon OpenSearch Service ドメインにそのデータをロードするだけです。追加の作業が少なくて済みます。

次のステップ

Amazon OpenSearch Service の料金の詳細

料金ページを見る
構築を始めましょう。
Amazon OpenSearch Service の開始方法
ご不明な点がおありですか?
お問い合わせ