The Wall Street Journal bietet seinen Lesern eine Suchfunktion mit Amazon Kendra

Im Vorfeld der US-Präsidentschaftswahlen 2020 wollte das Wall Street Journal (WSJ) seinen Lesern einen einfacheren Zugang zu den Aussagen der Kandidaten und deren Positionen zu den für die Leser wichtigen Themen ermöglichen. Eine Studie des Pew Research Centers vom 5. Juni 2019 ergab, dass fast 80 Prozent der Amerikaner angeben, die Fakten in Nachrichtenberichten selbst überprüft zu haben, um die ursprüngliche Informationsquelle zu finden. 

Das Produkt- und Technologieteam des WSJ wandte sich an Amazon Web Services (AWS), um ein neues Kundenerlebnis zu schaffen. Durch die Zusammenarbeit mit einem globalen Expertenteam des AWS Digital-Innovation-Programms und AWS Professional Services, einem globalen Expertenteam, das Unternehmen bei der Realisierung ihrer gewünschten Ergebnisse auf AWS unterstützen kann, konnte das WSJ-Team die Entwicklung von Talk2020 beschleunigen, einem intelligenten Suchtool, das den Lesern hilft, 30 Jahre öffentlicher Aussagen von Präsidentschaftskandidaten schnell zu durchsuchen und zu analysieren. Es ermöglicht eine tiefgehendere Untersuchung von Problemen im Laufe der Zeit, indem es Sprachmuster untersucht und Textanalysen durchführt. Der Schlüssel zum Erfolg des WSJ war der Einsatz von Amazon Kendra, einem hochpräzisen intelligenten Suchdienst, der auf Machine Learning basiert.

The Wall Street Journal ist eine globale Nachrichtenorganisation, die Nachrichten, Informationen, Kommentare und Analysen bereitstellt und Leser über Print-, Digital-, Mobil-, Social-, Audio- und Videoplattformen hinweg anspricht. Aufbauend auf seinem Erbe als Quelle für globale Wirtschafts- und Finanznachrichten umfasst WSJ die Berichterstattung über US- und Weltnachrichten, Politik, Kunst, Kultur, Lifestyle, Sport und Gesundheit und hält 38 Pulitzer-Preise für herausragenden Journalismus. Zu diesem Zweck bot es die Möglichkeit, Funktionen bereitzustellen und neue Zuschauer zu erreichen, indem es den Lesern ermöglichte, eine Datenbank mit Transkripten zu erkunden. „Wir wollten etwas aufbauen, mit dem die Leser nachschlagen können, was Joe Biden, Donald Trump und ihre Mitbewerber wörtlich gesagt haben, und ihre eigenen Schlussfolgerungen ziehen“, sagt Dion Bailey, VP, Leiter der WSJ Technology and Architecture. 

WSJ-Journalisten, investigative Artikel verfassen, nutzen bereits Factiva, die globale Nachrichtendatenbank von Dow Jones, für Recherchen und Faktenchecks. Factiva aggregiert Inhalte aus mehr als 32.000 Quellen und ermöglicht es Benutzern, nach Freitext, Region, Thema, Autor und Metadaten zu suchen. Das Forschungs- und Entwicklungsteam des WSJ hatte hierfür mit Journalisten in Washington, DC, zusammengearbeitet, um ein effektives Suchwerkzeug für diese Transkripte zu entwickeln. Mit Talk2020 wollte das WSJ dieses Tool einfacher zu bedienen und einem breiteren Publikum zugänglich machen, um seine Entscheidungsfindung während der Präsidentschaftswahlen 2020 zu unterstützen. Die Publikation wollte den Lesern ermöglichen, Fragen in natürlicher Sprache zu stellen – wie zum Beispiel: „Was hat Trump über das Gesundheitswesen gesagt?“ – und Ergebnisse zu erhalten, die diese Fragen direkt beantworten. Eine optimal strukturierte Lösung hätte außerdem das Potenzial, den Webseitenverkehr zu erhöhen und neue Abonnenten anzuziehen. 

Das WSJ-Team, das bereits AWS nutzte, bezog AWS Professional Services während des Aufbaus regelmäßig in tägliche Stand-ups, wöchentliche Meetings und architektonische detaillierte Einblicke ein. „AWS hat uns dabei geholfen, eine Lösung zu entwickeln, die unsere Zeitvorgaben einhält“, sagt Bailey. „Dieser direkte Zugang zu Experten ermöglichte es uns, die richtigen Services rund um Amazon Kendra anzubieten und das gewünschte Qualitätsniveau zu liefern.“

Mithilfe von AWS baute das WSJ-Team Talk2020 schnell auf und erreichte sein Ziel, im September 2020, vor der ersten Präsidentschaftsdebatte, zu starten. Die Lösung verwendet Amazon Kendra, um zuverlässige Suchfunktionen für Unternehmen bereitzustellen. „Die Tatsache, dass Amazon Kendra die natürliche Sprachverarbeitung in Echtzeit durchführen kann, war für uns ein großer Anreiz“, sagt Bailey. Das Frontend der Suchlösung bestand aus einem API-Gateway und Amazon CloudFront, einem schnellen, hochsicheren und programmierbaren Netzwerk zur Bereitstellung von Inhalten. Wenn Benutzer eine Suche durchführen, gibt Amazon Kendra ein identifiziertes Thema und verwandte Zitate zurück, die dann durch Querverweise mit den bereinigten Factiva-Transkripten, die in Amazon DynamoDB gespeichert sind, ergänzt werden – einem NoSQL-Datenbank-Service, der Schlüsselwert- und Dokumentdatenstrukturen unterstützt. 

Die Verwaltung des Datenflusses zwischen AWS-Services übernimmt AWS Lambda, ein Serverless-Computing-Service, mit dem Benutzer den Code ausführen können, ohne Server bereitstellen oder verwalten zu müssen. „Wir mussten eine Ingestion-Ebene zwischen Factiva und der Datenebene schaffen“, sagt Bailey. AWS Lambda-Funktionen lösen Anfragen aus, um die Transkripte zu bereinigen und zu formatieren. Dabei werden Zitate, der Sprecher und das Thema identifiziert, bevor sie an Amazon Kendra und Amazon DynamoDB gesendet werden. „Der Einsatz von Lambda-Funktionen für diese Aufgaben bedeutet, dass wir den Prozess herunterfahren können, wenn wir ihn nicht benötigen, und das ist kosteneffizient“, fügt Bailey hinzu. 

Die Daten des Talk2020-Tools zeigten, dass die Nutzung während und nach den Präsidentschaftsdebatten, der Vizepräsidentschaftsdebatte und den Town-Hall-Veranstaltungen stark anstieg. Viele Menschen nutzten das Suchwerkzeug sogar als zweiten Bildschirm während der Debatten, um Aussagen der Kandidaten aus der Vergangenheit zu recherchieren. Das Engagement bei Talk2020 war groß, wobei einzelne Nutzer oft mehrere Fragen stellten und mehrere Themen während desselben Besuchs durchsuchten. „Das zeigt uns, dass wir ein Tool geschaffen haben, das den Bedürfnissen unserer Leser entspricht, und wir haben die Möglichkeit, weiterhin mit neuen Wegen zu experimentieren, um unsere Nutzer zu engagieren“, sagt Bailey.

Durch die Einbindung des AWS-Teams und die Nutzung innovativer Services wie Amazon Kendra konnte das WSJ Talk2020 in nur fünf Monaten einführen, die Besucherzahlen auf der Website steigern, das Engagement fördern und neue Abonnenten anwerben. „Das AWS-Team stand uns jederzeit zur Verfügung“, sagt Bailey, „und es hat uns geholfen, jedes Problem zu lösen, das auftrat.“