投稿日: Aug 31, 2023
Amazon OpenSearch Ingestion では、Amazon Managed Streaming for Apache Kafka (MSK) からストリーミングデータを取り込めるようになりました。これにより、サードパーティのデータコネクタを必要とせずに、Amazon OpenSearch Service が管理するドメインまたはサーバーレスコレクションで Amazon MSK のデータにシームレスにインデックスを付けることができます。この統合により、Amazon OpenSearch Ingestion を使用して、Amazon MSK から取り込まれたデータに対して、ほぼリアルタイムの集計、サンプリング、異常検知を実行できるようになりました。これにより、複雑なオブザーバビリティのユースケースを強化する効率的なデータパイプラインを構築することができます。
Amazon OpenSearch Ingestion パイプラインは、Amazon MSK クラスター内の 1 つ以上のトピックからのデータを利用し、そのデータを Amazon OpenSearch Service または Amazon S3 に書き込む前に変換することができます。Amazon OpenSearch Ingestion を使用して Amazon MSK からデータを読み取る際に、トピックごとのコンシューマー数を設定し、優先度の高いデータと低いデータに対して異なるフェッチパラメータを調整できます。さらに、オプションで AWS Glue Schema Registry を使用して、取り込み時にデータを動的に読み取るようにデータスキーマを指定することもできます。また、今回の発表の一環として、Amazon OpenSearch Ingestion は Data Prepper 2.4.0 をサポートするようになりました。これにより、S3 バッチ処理、シンクでのフィルタリング、S3 シンク用の Avro & Parquet コーデック、異常検出の改善などの新機能が導入されました。すべての機能のリストについては、こちらのブログ記事をご覧ください。
この機能は、現在 Amazon OpenSearch Ingestion を利用可能なすべての AWS 商用リージョンで利用できます。
詳細については、Amazon OpenSearch Ingestion のウェブページ、および Amazon OpenSearch Service 開発者ガイドをご覧ください。