Amazon Web Services ブログ
Amazon Bedrock のナレッジベースで Amazon Aurora PostgreSQL および Cohere 埋め込みモデルのサポートを開始
2023 年の AWS re:Invent において、Amazon Bedrock のナレッジベース の一般提供の開始を発表しました。ナレッジベースを使用すると、Amazon Bedrock の基盤モデル (FM) をお客様の企業データに安全に接続して、検索拡張生成 (RAG) を実現できます。
私の過去の記事では、Amazon Bedrock のナレッジベースがエンドツーエンドの RAG ワークフローをどのように管理するのかについてご説明しました。次の図に示すように、データの場所を指定し、データをベクトル埋め込みに変換するために埋め込みモデルを選択して、ベクトルデータを保存するために、Amazon Bedrock に AWS アカウントでベクトルストアを作成させます。独自のカスタムベクトルストアを指定するなど、RAG ワークフローをカスタマイズすることもできます。
私が 11 月に前回の記事を書いた後、ナレッジベースには多数の更新が導入されました。これには、Amazon OpenSearch Serverless 用ベクトルエンジン、Pinecone、および Redis Enterprise Cloud に加えて、追加のカスタムベクトルストアオプションとして Amazon Aurora PostgreSQL 互換エディションが利用可能になったことが含まれます。しかし、それだけではありません。新しい機能を簡単にご紹介します。
埋め込みモデルの追加の選択肢
埋め込みモデルは、ドキュメントなどのデータをベクトル埋め込みに変換します。ベクトル埋め込みは、ドキュメント内のテキストデータの数値表現です。各埋め込みは、データのセマンティックまたはコンテキスト上の意味を捉えることを目的としています。
Cohere Embed v3 – Amazon Titan Text Embeddings に加えて、Cohere Embed English と Cohere Embed Multilingual の 2 つの追加の埋め込みモデルもお選びいただけるようになりました。それぞれ 1,024 次元をサポートしています。
Cohere Embed v3 モデルの詳細については、Cohere ブログをご覧ください。
ベクトルストアの追加の選択肢
各ベクトル埋め込みは、多くの場合、埋め込みが作成された元のコンテンツへの参照などの追加のメタデータとともに、ベクトルストアに格納されます。ベクトルストアは、保存されたベクトル埋め込みにインデックスを付けて、関連データを迅速に取得できるようにします。
ナレッジベースは、ベクトルデータを保存するためのベクトルストアをアカウント内に作成するなど、フルマネージドの RAG エクスペリエンスを提供します。また、サポートされているオプションのリストからカスタムベクトルストアを選択し、ベクトルデータベースのインデックス名と、インデックスフィールドおよびメタデータフィールドのマッピングを指定することもできます。
ベクトルストアに対して最近 3 つの更新が導入されたのでご紹介します。それらの更新とは、サポートされるカスタムベクトルストアのリストに対する Amazon Aurora PostgreSQL 互換および Pinecone サーバーレスの追加、ならびに、開発およびテストのワークロードのコスト削減に役立つ、既存の Amazon OpenSearch Serverless 統合の更新です。
Amazon Aurora PostgreSQL – Amazon OpenSearch Serverless 用ベクトルエンジン、Pinecone、Redis Enterprise Cloud に加えて、ナレッジベースのベクトルデータベースとして Amazon Aurora PostgreSQL もお選びいただけるようになりました。
Aurora は、MySQL および PostgreSQL と完全な互換性のあるリレーショナルデータベースサービスです。これにより、既存のアプリケーションやツールを変更せずに実行できます。Aurora PostgreSQL はオープンソースの pgvector 拡張機能をサポートしており、これにより、ベクトル埋め込みの保存、インデックス作成、クエリが可能になります。
一般的なデータベースワークロード向けの Aurora の機能の多くは、ベクトル埋め込みワークロードにも適用されます。
- Aurora は、オープンソースの PostgreSQL と比較して最大 3 倍のデータベーススループットを提供し、Amazon Bedrock のベクトルオペレーションまで拡張します。
- Aurora Serverless v2 は、Amazon Bedrock からのリアルタイムのクエリ負荷に基づいてストレージとコンピューティングキャパシティの伸縮自在なスケーリングを提供し、最適なプロビジョニングを実現します。
- Aurora グローバルデータベースは、複数の AWS リージョンにわたる低レイテンシーのグローバル読み取りとディザスタリカバリを提供します。
- ブルー/グリーンデプロイは、同期されたステージング環境で本番データベースをレプリケートします。これにより、本番環境に影響を及ぼすことなく変更できます。
- Amazon EC2 の R6gd および R6id インスタンス上の Aurora Optimized Reads は、ローカルストレージを使用して、複雑なクエリとインデックス再構築オペレーションの読み取りパフォーマンスおよびスループットを強化します。メモリに収まらないベクトルワークロードでは、Aurora Optimized Reads は、同じサイズの Aurora インスタンスと比較して最大 9 倍優れたクエリパフォーマンスを提供できます。
- Aurora は、Secrets Manager、IAM、RDS Data API などの AWS サービスとシームレスに統合し、Amazon Bedrock からデータベースへの安全な接続を可能にするとともに、SQL を利用したベクトルオペレーションをサポートします。
ナレッジベース用に Aurora を設定する方法の詳細なチュートリアルについては、AWS データベースブログのこの記事と、Aurora のユーザーガイドをご覧ください。
Pinecone サーバーレス – Pinecone は最近、Pinecone サーバーレスを導入しました。ナレッジベースでカスタムベクトルストアとして Pinecone を選択した場合、Pinecone または Pinecone サーバーレスの設定の詳細を指定できます。両方のオプションがサポートされています。
Amazon OpenSearch Serverless で開発およびテストのワークロードのコストを削減する
新しいベクトルストアを迅速に作成するオプションを選択すると、Amazon Bedrock は、アカウント内の Amazon OpenSearch Serverless でベクトルインデックスを作成します。これにより、自分で何かを管理する必要がなくなります。
11 月に一般提供が開始されて以来、Amazon OpenSearch Serverless 用ベクトルエンジンでは、開発およびテストのワークロードのために冗長レプリカを無効にできるようになりました。これを使用することで、コストを削減できます。インデックス作成用と検索用に 1 OCU (OpenSearch Compute Unit) ずつ、合計 2 OCU のみで開始できるため、冗長レプリカを使用する場合と比較してコストを半分に削減できます。さらに、OCU の端数請求により、0.5 OCU から開始して必要に応じてスケールアップできるため、コストをさらに削減できます。開発およびテストのワークロードでは、少なくとも 1 OCU (インデックス作成と検索に分割) あれば十分になりました。これにより、本番ワークロードに必要な 4 OCU と比較して、コストを最大 75% 削減できます。
使いやすさの向上 – Amazon Bedrock のナレッジベースでクイック作成ワークフローを選択した場合、冗長レプリカはデフォルトで無効に設定されるようになりました。必要に応じて、[本番ワークロードに更新] を選択して、冗長レプリカを含むコレクションを作成できます。
Amazon OpenSearch Serverless 用ベクトルエンジンの詳細については、Channy の記事をご覧ください。
FM の追加の選択肢
実行時、RAG ワークフローはユーザークエリから始まります。埋め込みモデルを使用して、ユーザーの入力プロンプトのベクトル埋め込み表現を作成します。次に、この埋め込みを使用し、データベースをクエリして類似のベクトル埋め込みを探し、クエリ結果として最も関連性の高いテキストを取得します。その後、クエリ結果が元のプロンプトに追加され、拡張されたプロンプトが FM に渡されます。次の図に示すように、モデルはプロンプト内の追加コンテキストを使用して補完を生成します。
Anthropic Claude 2.1 – Anthropic Claude Instant 1.2 および Claude 2 に加えて、ナレッジベースに Claude 2.1 をお選びいただけるようになりました。以前の Claude モデルと比較して、Claude 2.1 では、サポートされるコンテキストウィンドウサイズが 2 倍の 200 K トークンに増加しました。
Claude 2.1 の詳細については、Anthropic ブログをご覧ください。
今すぐご利用いただけます
埋め込みモデル、ベクトルストア、FM の追加の選択肢を含む Amazon Bedrock のナレッジベースは、米国東部 (バージニア北部) と米国西部 (オレゴン) の AWS リージョンでご利用いただけます。
詳細
Amazon Bedrock のナレッジベースに関する記事
- Build generative AI applications with Amazon Aurora and Knowledge Bases for Amazon Bedrock (ブログ記事)
- Vector engine for Amazon OpenSearch Serverless is now available (ブログ記事)
– Antje
原文はこちらです。