Amazon OpenSearch Service が Amazon S3 内のログおよびドキュメント向けのインテリジェントインジェストを導入
Amazon OpenSearch Serverless は、Amazon S3 に保存されたログやドキュメントを Amazon OpenSearch Serverless (NextGen) コレクション内で検索可能なコンテンツに変換するフルマネージド機能であるインテリジェントインジェストを提供するようになりました。インテリジェントインジェストを使用すると、取り込み用のインフラストラクチャを管理する必要なく、AWS マネジメントコンソールでの数回のクリック、または単一の API コールで取り込みを設定できます。インテリジェントインジェストは、オブザーバビリティログや JSON、NDJSON、JSON 配列形式の構造化データ、さらに PDF、Word、プレーンテキスト、Markdown 形式の非構造化ファイルに対応しています。
S3 のソースとコレクションのインデックスを選択するだけで、残りの処理はインテリジェントインジェストが行います。データ型の自動検出、ドキュメントの解析、画像の説明、テキストのチャンク化、ベクトル埋め込みの生成、および結果のインデックス作成を自動的に行います。取り込みやドキュメント処理のためのインフラストラクチャを管理したり、事前に容量を見積もったりする必要はありません。移行や過去データの補填など 1 回限りの読み込みには取り込みジョブを、バケットに新しいオブジェクトが到着するたびにインデックスを同期させ続けるには取り込みストリームを使用します。キャパシティは、コレクションに設定された上限までワークロードに応じてスケールし、実際に処理が行われた分に対してのみ料金が発生します。ソースとなる S3 バケットは、コレクションと同じ AWS アカウントにあっても、別のアカウントにあっても構いません。
ログや構造化データに対しては、インテリジェントインジェストがパイプラインコードなしで変換を適用し、オプションでベクトル埋め込みを追加します。非構造化データに対しては、見出し、読み取り順序、表の構造を維持したまま PDF、Word、プレーンテキスト、Markdown ファイルを解析するため、コンテンツはセマンティック検索やハイブリッド検索にすぐ使える状態でインデックスに保存されます。ドキュメントにグラフ、図表、スクリーンショット、写真などが含まれている場合、視覚言語モデルがテキストによる説明を生成し、それが周囲のコンテンツと一緒にインデックス化されるため、視覚的な情報も検索可能になります。
インテリジェントインジェストは本日より、7 つの AWS リージョンにおいて、Amazon S3 をソースとする Amazon OpenSearch Serverless (NextGen) コレクションで利用可能です。使用を開始するには、Amazon OpenSearch Service コンソールを開き、対象のコレクションを選択して [取り込み] タブを選択してください。詳細については、Amazon OpenSearch Service デベロッパーガイドのインテリジェントインジェストをご覧ください。料金については、Amazon OpenSearch Service の料金をご覧ください。