投稿日: Nov 17, 2023
Amazon OpenSearch Ingestion では、プッシュベースのソースからストリーミングデータを取り込む際に永続的なバッファリングが可能になり、データの耐久性が向上し、データインジェストアーキテクチャが簡素化されました。お客様は、スタンドアロンのバッファを設定しなくても、永続的なバッファリングを使用して、FluentD や FluentBit などの HTTP ソースや OpenTelemetry コレクターからデータを取り込めるようになりました。Amazon OpenSearch Ingestion の永続的なバッファリングはサーバーレスであり、最も要求の厳しいワークロードのスループットニーズを満たすように弾力的にスケーリングされます。
お客様は、既存のパイプラインの永続的なバッファリングを有効にすることも、永続的なバッファリングをオンにして新しいパイプラインを作成することもできます。Amazon OpenSearch Ingestion は、取り込まれたすべてのデータがディスクベースのバッファに保持されて、宛先にルーティングされる前に、持続性確保のために複数の AZ にレプリケートされるようにします。永続的なバッファリングのディスクストレージによって、宛先に到達できないためにデータが蓄積されたときに過負荷になるのを防ぎ、ソースにバックプレッシャがかからないようにします。プルベースのソースに対して既に提供されているエンドツーエンドの確認応答に加えて、Amazon OpenSearch Ingestion は、すべてのソースに対してデータの完全な耐久性を提供するようになりました。
この機能は、現在 Amazon OpenSearch Ingestion を利用可能なすべての AWS 商用リージョンで利用できます。
詳細については、Amazon OpenSearch Ingestion のウェブページ、および Amazon OpenSearch Service 開発者ガイドをご覧ください。