Amazon Kendra をグラレコで解説

Amazon Kendra (以下 Kendra) は、AWS が提供するクラウドベースのエンタープライズ向け検索サービスです。膨大な量の構造化/非構造化データから自然言語で情報を検索・取得でき、企業の知識管理をサポートします。

Kendra の大きな特徴の一つは、非常に多様なデータソースを検索対象にできる点です。30 種類以上のネイティブコネクタにより、データベースや各種クラウドストレージ、SaaS アプリケーションなど、様々な情報管理サービスとシームレスに接続できます。

上記以外にも多くのコネクタが提供されています。その他のデータソースコネクタについて詳しくは、「Amazon Kendra ネイティブコネクタ」をご覧ください。

Kendra は、コネクタの豊富さに加えて、対応しているドキュメント形式のバリエーションも多彩です。CSV や JSON、XML のような構造化データに加えて、PDF、HTML、Microsoft Word、Microsoft PowerPoint などの一般的なオフィスドキュメントをサポートします。このドキュメント形式の対応の広さにより、組織の持つ様々なドキュメントを統合的に検索できます。

サポートしているドキュメント形式について詳しくは、「ドキュメントタイプまたは書式」をご覧ください。

Kendra を使用すると、自然言語での検索 (セマンティック検索) が可能です。平易な会話文のようなクエリを入力するだけで、Kendra が文意を理解し、最適な検索結果を高速に返してくれます。そのため、キーワード検索よりも柔軟な検索が可能です。

例えば、「1 月の売上データを教えて」「製品 X のバッテリーの交換方法は ?」「来週の東京オフィスの会議室予約状況」などの検索クエリを入力することで、該当する文書やデータを検索できます。検索結果には、関連性の高いコンテンツが表示され、文書の抜粋、FAQ、データベースレコードなど、質問の意図に合わて文章から該当箇所を抜粋して返答します。

2024 年 3 月時点で、Kendra のセマンティック検索は、英語、日本語、スペイン語、フランス語、ドイツ語、ポルトガル語、韓国語、中国語 の 8 言語がサポートされており、キーワード検索のみを含めると 36 言語をサポートしています。
Kendra の対応言語について詳しくは、「英語以外の言語でドキュメントを追加する」をご覧ください。

その他 Kendra の特徴について詳しくは、製品ページの「Amazon Kendra の特徴」をご覧ください。

Kendra がさまざまなデータソースに対して、セマンティック検索で目的の情報を迅速に見つけ出すためのサービスということは説明した通りです。以下では、Kendra の多岐にわたるユースケースの中で主要なものを紹介します。

Kendra の用途は非常に幅広く、様々なアイデアに基づいたユースケースを実現できます。例えば、社内ドキュメントを使って自動応答する Q&A チャットボットを構築したり、ウェブクローラーで収集したコンテンツを用いたウェブサイト内検索を実装したり、また Amazon Transcribe でテキスト化した音声データや動画を Kendra で検索可能にする、といったことも可能です。

Kendra を使った Q&A チャットボットの構築については AWS ブログの「Amazon Kendra を使用して、よくある質問ボットをよりスマートに」をご覧ください。

Kendra は、大量の非構造化データから意味的なメタデータを抽出し、それを利用して検索インデックスを構築することで、ユーザーの検索意図に適った結果を高速に返すことができます。

GUI 操作だけでインデックスの作成から検索のテストまでを簡単に行うことができます。また、アプリケーション開発の場合やインデックスの動的な管理が必要な場合は、Kendra が提供する API を利用することでインデックスのリアルタイムの作成・更新・削除や、アプリケーションとのシームレスな連携が可能です。

Kendra が高速かつ適切な情報を検出する仕組みとして、ドキュメントのフィールド構造やメタデータの定義が挙げられます。

例えば、多くの社内文書にはタイトル、日付、著者、本文などのフィールドがあります。それぞれのフィールドをタイトル、作成日、作成者、コンテンツなどに マッピング してインデックス化することで、Kendra はドキュメントの構造をより正しく理解し、検索時に適切なフィールドを参照できるようになります。

また、ドキュメントにはない「商品カテゴリ」や「重要度」などのメタデータを カスタム属性 として定義することもできます。フィールドマッピングとカスタム属性により、検索結果の精度を高めるメタデータを柔軟に追加できます。

このように、Kendra は自然言語処理、機械学習、メタデータ管理を高度に組み合わせることで、ユーザーの真の検索意図を理解し、最適な検索エクスペリエンスを提供します。

Kendra の仕組みついて詳しくは、「Amazon Kendra の働き」をご覧ください。

Kendra と各種 AWS サービスとの連携による活用は、LLM (大規模言語モデル) を用いた高度な生成 AI アプリケーションの開発にも有効です。Kendra と Amazon Titan や Anthropic Claude などの LLM を組み合わせることで、エンタープライズデータを最大限に活用した高精度かつ信頼性の高い生成 AI アプリケーションを構築できます。

近年、生成 AI は大量のデータを統計的に学習することで、人間レベルの文章や画像を生成できるようになりました。しかし、生成 AI が非常に高度なコンテンツの生成にする一方で、時に虚偽の情報を生成してしまう「ハルシネーション」を起こすことが知られています。

誤った情報の生成

「ハルシネーション」は、生成 AI の信頼性を損なう重大な問題です。存在しない人名や事件、事実と異なる虚偽の情報を含む文章を生成するケースがあるため、生成 AI の生成結果についてはサービスの提供者側も利用者側も十分に注意する必要があります。この情報の信頼性の課題は、生成 AI の導入を妨げる大きな要因の一つになっています。

RAG による信頼性の向上

誤った情報の生成を抑制するために、現在 RAG (検索拡張生成) と呼ばれるアプローチが注目を集めています。RAG を使った検索では、生成 AI が応答を生成する前に信頼のおける特定のデータを参照し、事実に基づくコンテキストを与えることで、以下のようなメリットを得られます。

• ハルシネーションを抑え事実に基づく信頼性の高い回答を生成できる
• 任意の外部情報を使って LLM を拡張できる
• 開発者が LLM の情報ソースを制御できる

RAG について詳しくは、「RAG とは何ですか ?」をご覧ください。

Kendra を使うことで、RAG 検索のフローを生成 AI アプリに組み込むことができます。以下のように、これにより、ユーザーが直接 LLM に投げかけた質問から回答文を生成するよりも、回答の精度を向上させます。

Kendra を使った生成 AI アプリケーションの構築について詳しくは、AWS ブログの「高精度な生成系 AI アプリケーションを Amazon Kendra、LangChain、大規模言語モデルを使って作る」や builders.flash の「Amazon Kendra と大規模言語モデル (LLM) を使って生成 AI コンシェルジュを作ってみた !」をご覧ください。

Kendra は、そのサービスの特性上、機密性の高い企業データを扱うクラウドサービスです。そのため、Kendra はデータの保護とセキュリティを最優先しており、信頼性とコンプライアンスを確保するために以下の対策を講じています。

Kendra にデータソースを登録すると、データがインデックス化されて Kendra の検索エンジンで利用できるようになります。この機密情報を含むインデックスデータを保護するため、Kendra では、転送時と保存時の両方で暗号化を実施しています。

Kendra のデータ保護について詳しくは、「Amazon Kendra のデータ保護」をご覧ください。

AWS Identity and Access Management (IAM) によってユーザーとアクセス権限を紐付けた上で、認証基盤から発行されるセキュリティトークンを使うことで、より細かなアクセス制御が可能です。これにより、Kendra のユーザーは、自身の役割に応じて必要な情報にのみアクセスでき、不要な情報へのアクセスは制限されます。また、多要素認証 (MFA) やアクセスキーのローテーションなどセキュリティベストプラクティスを採用することで、さらにセキュアな環境を構築できます。

IAM を使ったアクセス制御について詳しくは、「Amazon Kendra 用の Identity and Access Management」をご覧ください。

インターネットゲートウェイを持たない Amazon VPC 内のリソースから Kendra へプライベートにアクセスするには、インターフェイス VPC エンドポイントを作成します。VPC エンドポイントと Kendra の通信には AWS PrivateLink が使用され、セキュアなプライベート接続が確立されます。これにより、VPC 内のリソースをパブリックインターネットに晒すことなく、Kendra との通信を実現できます。

VPC エンドポイント とのプライベート接続について詳しくは、「Amazon Kendra とインターフェイス VPC エンドポイント (AWS PrivateLink)」をご覧ください。

上記以外にも、Amazon CloudWatch や AWS CloudTrail を使って Kendra の API 呼び出しやアクティビティを監視することで、セキュリティイベントの検知と対応を行うことができます。

Kendra のセキュリティ対策について詳しくは、「Amazon Kendra でのセキュリティ」をご覧ください。

Kendra は従量課金制を採用しており、実際に使用した分に対してのみ料金が発生します。前払い費用や最低利用料などは不要です。

Kendra は、主に以下の項目に対して利用料金が発生します。

• インデックスの利用時間 :
  インデックスの作成から削除までの時間に対して、1 秒単位で課金されます。料金は、インデックスのエディションにより異なります。
• コネクタ経由で取り込まれたドキュメント :
  コネクタを使用して Kendra に取り込んだドキュメントごとに 0.000001 USD が発生します。
• コネクタの利用時間 :
  インデックスの同期を実行する際、利用しているコネクタごとに 0.35 USD/時間が発生します。

Kendra には Developer Edition と Enterprise Edition の 2 つのエディションが提供されています。

Kendra の料金体系について詳しくは、「Amazon Kendra の料金」をご覧ください。

最後に、本記事で紹介した機能の全体図を見てみましょう。