The Wall Street Journal が Amazon Kendra を利用した検索ツールで読者をサポート

2020 年の米国大統領選挙が近づくにつれ、The Wall Street Journal (WSJ) は、読者が候補者の発言や、読者にとって重要なトピックに関する候補者の立場に簡単にアクセスして理解できるようにしたいと考えていました。2019 年 6 月 5 日の Pew Research Center の調査によると、米国人の 80% 近くが、情報源を見つけるために、自らニュース記事で事実を確認したと述べています。 

WSJ の製品およびテクノロジーチームは、新しいカスタマーエクスペリエンスを構築するためにアマゾン ウェブ サービス (AWS) を利用することにしました。WSJ チームは、AWS Digital Innovation プログラムのエキスパートのグローバルチームと AWS プロフェッショナルサービス (企業が AWS で望ましい結果を実現するのを支援可能なエキスパートのグローバルチーム) とのコラボレーションを通じて、Talk2020 の開発を加速することができました。これは、大統領候補によってなされた 30 年の公式声明を読者が迅速に検索して分析するのをサポートするインテリジェント検索ツールです。このツールは、音声パターンを詳しく調べ、テキスト分析を実行することにより、時間の経過に合わせて問題をより深く調査することを可能にします。WSJ の成功の鍵は、機械学習を利用した高精度のインテリジェント検索サービスである Amazon Kendra の利用でした。

The Wall Street Journal は、ニュース、情報、解説、分析を提供するグローバルなニュース組織であり、紙面、デジタル、モバイル、ソーシャル、音声、および動画の各プラットフォームで読者を惹き付けています。WSJ は、グローバルなビジネスおよび金融ニュースの発信元として、これまでに豊富な経験を蓄積しており、米国および世界のニュース、政治、芸術、文化、ライフスタイル、スポーツ、健康などの分野で報道し、優れたジャーナリズムに対して授与されるピューリッツァー賞を 38 回受賞しています。このような背景において、同社は、読者がトランスクリプトのデータベースを探索できるようにすることで、機能を提供し、新しいオーディエンスにリーチする機会があると考えました。「当社は、Joe Biden、Donald Trump、そして彼らの副大統領候補が口にした内容を読者が調べて、読者自身の結論を引き出せるようにするために利用できるサービスを構築したかったのです」と WSJ テクノロジーおよびアーキテクチャの責任者である Dion Bailey 氏は述べています。 

調査記事を執筆している WSJ のジャーナリストは、調査と事実確認のために、Dow Jones のグローバルニュースデータベースである Factiva を既に利用しています。Factiva は 32,000 を超えるソースからコンテンツを集約し、フリーテキスト、地域、主題、著者、およびメタデータでユーザーが検索することを可能にしています。WSJ の R&D チームは、これらのトランスクリプト用の効果的な検索ツールを構築するために、ワシントン DC のジャーナリストと協力しました。WSJ は、Talk2020 を利用して、このツールをより使いやすく、より多くのユーザーが利用できるようにして、2020 年の大統領選挙において、これらのユーザーが十分な情報に基づいて意思決定できるようにサポートしたいと考えていました。これを公に利用できるようにすることで、「Trump はヘルスケアについてどのようなことを述べているのか」などの自然言語の質問を読者が提起し、それらに直接回答する結果を受け取ることができるようになることを望んでいました。適切に構成されたソリューションは、サイトトラフィックを増やし、新たな購読者を惹き付ける可能性もあります。 

既に AWS を利用していた WSJ のチームは、日々のスタンドアップミーティング、週次ミーティング、アーキテクチャの詳細な検討を通じて、構築中に AWS プロフェッショナルサービスを定期的に利用していました。「AWS は、当社のタイムラインに合ったソリューションの構築をサポートしてくれました」と Bailey 氏は述べています。「エキスパートに直接アクセスできることで、適切なサービスで Amazon Kendra を利用し、当社が望んでいたレベルの質を提供することができました」

WSJ のチームは AWS を利用して、Talk2020 を迅速に構築し、最初の大統領候補討論会の前の 2020 年 9 月にリリースするという目標を達成しました。このソリューションでは、Amazon Kendra を利用して、信頼性の高いエンタープライズ検索機能を提供しました。「Amazon Kendra が自然言語処理をリアルタイムで実行できるという事実は、当社にとって大きな魅力でした」と Bailey 氏は述べています。検索ソリューションのフロントエンドは、API ゲートウェイと Amazon CloudFront で構成されていました。Amazon CloudFront は、高速で安全性が高く、プログラム可能なコンテンツ配信ネットワークです。ユーザーが検索を実行すると、Amazon Kendra は、識別されたトピックと関連する引用を返します。これらは、Amazon DynamoDB に保存されているクリーンアップされた Factiva トランスクリプトとの一致を確認するために相互参照することでさらに強化されます。Amazon DynamoDB は、キー値とドキュメントのデータ構造をサポートする NoSQL データベースサービスです。 

AWS のサービス間のデータフローの管理には AWS Lambda を利用します。AWS Lambda は、ユーザーがサーバーをプロビジョニングまたは管理せずにコードを実行できるようにするサーバーレスコンピューティングサービスです。「Factiva とデータレイヤーの間に取り込みレイヤーを作成する必要がありました」と Bailey 氏は述べています。AWS Lambda 関数は、Amazon Kendra および Amazon DynamoDB に送信する前に、トランスクリプトをクレンジングおよびフォーマットするリクエストをトリガーします (引用、話者、トピックを識別します)。「Lambda 関数を利用してこれらのタスクを実行することは、プロセスを利用していないときにはそれらをシャットダウンできることを意味するため、高いコスト効率を実現できます」と Bailey 氏は付け加えます。 

Talk2020 ツールのデータにより、大統領候補討論会、副大統領候補討論会、およびタウンホールイベント中、ならびにその後の利用量の急増が明らかとなりました。候補者が過去に行った発言を調査するため、多くの人々は、討論会の際に検索ツールをセカンドスクリーンとして利用していました。Talk2020 との連携は強力でした。個別ユーザーは、多くの場合、1 回の利用で複数の質問をしたり、いくつかのトピックを閲覧したりしていました。「このことは、当社にとって、当社が読者のニーズを満たすツールを作成したことを意味しています。そして、当社には、ユーザーを惹き付けるための新しい方法を実験し続ける機会があります」と Bailey 氏は述べています。

WSJ は、AWS のチームと連携し、Amazon Kendra などの革新的なサービスを利用することで、わずか 5 か月で Talk2020 をリリースして、サイトトラフィックを増大させ、エンゲージメントを強化し、新しい購読者を惹き付けることができました。「AWS のチームは、当社が必要とするときにいつでもサポートしてくれました」と Bailey 氏は述べています。「そして、発生したすべての問題を解決するのを支援してくれました」