The Wall Street Journal, Amazon Kendra를 사용하여 독자를 위한 검색 도구 제공

2020년 미국 대통령 선거가 다가오고 있을 때 The Wall Street Journal(WSJ)은 독자들에게 후보자의 연설 내용과 관심 주제에 대한 후보자의 입장을 보다 쉽게 확인하고 이해할 수 있는 기능을 제공하고자 했습니다. 2019년 6월 5일 Pew Research Center의 설문조사에서 거의 80%의 미국인이 정보의 원래 출처를 찾기 위해 뉴스 기사에서 직접 사실을 확인한다고 응답했습니다. 

WSJ의 제품 및 기술 팀은 새로운 고객 경험을 구축하기 위해 Amazon Web Services(AWS)를 찾았습니다. WSJ 팀은 AWS Digital Innovation 프로그램의 글로벌 전문가 팀과 AWS에서 원하는 비즈니스 결과를 실현할 수 있도록 지원하는 AWS Professional Services의 글로벌 전문가 팀과 협업하여 Talk2020의 개발을 가속화할 수 있었습니다. Talk2020은 30년간의 대통령 후보 공개 연설을 빠르게 검색하고 분석할 수 있는 지능형 검색 도구입니다. 이 도구는 말투를 탐색하고 텍스트 분석을 수행하여 시간대별 현안을 심층적으로 조사할 수 있는 기능을 제공합니다. WSJ의 성공의 열쇠는 고도로 정확한 기계 학습 기반 지능형 검색 서비스인 Amazon Kendra를 사용한 데 있었습니다.

The Wall Street Journal은 뉴스, 정보, 논설 및 분석을 제공하여 인쇄물, 디지털, 모바일, 소셜, 오디오 및 비디오 플랫폼에서 독자들과 교류하는 글로벌 뉴스 조직입니다. 글로벌 비즈니스 및 금융 뉴스를 제공하는 매체로서의 유산을 기반으로 WSJ는 미국과 세계의 뉴스, 정치, 예술, 문화, 라이프스타일, 스포츠 및 건강에 관한 정보를 다루며 탁월한 저널리즘으로 38개의 퓰리처상을 보유하고 있습니다. 이 목표를 달성하기 위해 WSJ는 트랜스크립트 데이터베이스를 탐색할 수 있는 기능을 독자들에게 제공함으로써 새로운 회원을 유치할 수 있는 기회를 보았습니다. WSJ 기술 및 아키텍처 책임자이자 부사장인 Dion Bailey는 “Joe Biden, Donald Trump와 부통령 후보가 했던 말과 이들이 내린 결론을 조회하는 데 사용할 수 있는 도구를 만들고 싶었다”고 말합니다. 

취재 기사를 쓰는 WSJ의 저널리스트들은 이미 Factiva(Dow Jones의 글로벌 뉴스 데이터베이스)를 조사와 사실 확인에 사용하고 있습니다. Factiva는 32,000개 이상의 출처에서 콘텐츠를 집계하는데, 텍스트, 지역, 주제, 저자 및 메타데이터로 콘텐츠를 검색할 수 있습니다. WSJ의 R&D 팀은 워싱턴 DC의 저널리스트들과 협력하여 이러한 트랜스크립트에 대한 효과적인 검색 도구를 구축했습니다. Talk2020을 통해 WSJ는 이 도구를 더 간편하게 사용할 수 있도록 만들고 더 넓은 범위의 대상에 제공하여 2020년 대통령 선거 중에 결정을 내리는 데 도움이 되는 정보를 제공하고자 했습니다. 예를 들어 ‘Trump는 의료 서비스에 대해 어떤 말을 했나?’라는 자연어 질문을 던지면 이 질문에 직접 답변하는 결과를 받을 수 있는 도구를 만들고자 했습니다. 올바른 구조의 솔루션을 만든다면 사이트 트래픽을 늘리고 새로운 구독자를 견인할 가능성도 있었습니다. 

이미 AWS를 사용하고 있었던 WSJ 팀은 구축 중에 일일 스탠드업 미팅, 주간 미팅 및 아키텍처 심층 분석 등을 통해 AWS Professional Services와 정기적으로 연계했습니다. Bailey는 “AWS는 일정에 맞춰 솔루션을 구축하는 데 도움이 되었다”며 “전문가에게 직접 연락할 수 있어 Amazon Kendra와 관련하여 적절한 서비스를 받고 우리가 원하는 수준의 품질을 제공할 수 있었다”고 말합니다.

WSJ 팀은 AWS를 사용하여 Talk2020을 빠르게 구축하고 첫 번째 대통령 토론이 열리기 전인 2020년 9월 출시 목표를 달성했습니다. 이 솔루션은 Amazon Kendra를 사용하여 신뢰할 수 있는 엔터프라이즈 검색 기능을 제공했습니다. Bailey는 “Amazon Kendra가 실시간으로 자연어를 처리할 수 있다는 사실은 큰 이점이었다”고 말합니다. 이 검색 솔루션의 프런트 엔드는 API 게이트웨이와 빠르고 고도로 안전하며 프로그래밍이 가능한 콘텐츠 전송 네트워크인 Amazon CloudFront로 구성되었습니다. 사용자가 검색을 수행하면 Amazon Kendra가 식별된 주제와 관련된 인용문을 반환합니다. 그런 다음 Amazon DynamoDB(키-값 및 문서 데이터 구조를 지원하는 NoSQL 데이터베이스)에 정리되어 저장된 Factiva 트랜스크립트를 교차 참조하여 결과를 추가로 보강합니다. 

AWS 서비스 간의 데이터 흐름을 관리하는 데는 서버 프로비저닝 또는 관리 없이 코드를 실행할 수 있는 서버리스 컴퓨팅 서비스인 AWS Lambda가 사용됩니다. Bailey는 “Factiva와 데이터 계층 사이에 수집 계층을 만들어야 했다”고 말합니다. AWS Lambda 함수는 Amazon Kendra 및 Amazon DynamoDB로 트랜스크립트를 전송하기 전에 트랜스크립트를 정리하고 형식을 지정하여 인용문, 화자 및 주제를 식별하기 위한 요청을 트리거합니다. Bailey는 “이러한 작업에 Lambda 함수를 사용하면 사용하지 않을 때 프로세스를 종료할 수 있어 비용 효율적”이라고 덧붙입니다. 

Talk2020 도구의 데이터는 대통령 후보 토론, 부통령 후보 토론 및 타운홀 이벤트 중간과 이후에 사용량이 급증했습니다. 심지어 이 검색 도구를 토론 중에 보조 화면으로 사용하여 후보자가 과거에 했던 진술을 조사하는 사람도 많았습니다. Talk2020을 통한 참여는 강력했습니다. 웹 사이트를 방문한 동안 여러 질문을 하고 다수의 주제를 찾아본 사용자들이 많았습니다. Bailey는 “우리가 만든 도구가 독자들의 요구 사항을 충족했음을 보여주는 결과이며 사용자와 교류할 새로운 방법에 대한 실험을 계속할 수 있는 기회가 생긴 것”이라고 말합니다.

AWS 팀과 연계하고 Amazon Kendra와 같은 혁신적인 서비스를 사용하여 WSJ는 단 5개월 안에 Talk2020을 출시했고 이를 통해 사이트 트래픽을 높이고 참여를 장려하며 신규 구독자를 견인했습니다. Bailey는 “AWS 팀은 우리가 필요로 할 때 언제나 곁에 있었다”면서 “모든 문제를 해결하는 데 도움을 주었다”고 말합니다.