The Wall Street Journal capacita leitores com ferramenta de busca usando o Amazon Kendra

À medida que as eleições presidenciais de 2020 dos EUA se aproximavam, o The Wall Street Journal (WSJ) queria capacitar leitores para acessar e entender com maior facilidade o que os candidatos diziam, além de suas opiniões sobre tópicos que eram importantes para os leitores. Um estudo do Pew Research Center de 5 de junho de 2019 concluiu que quase 80% dos americanos disseram que verificavam os fatos das notícias para encontrar a fonte original das informações. 

A equipe de produto e tecnologia do WSJ recorreu à Amazon Web Services (AWS) para criar uma nova experiência do cliente. Por meio da colaboração com uma equipe global de especialistas do programa AWS Digital Innovation e da AWS Professional Services, uma equipe global de especialistas que pode ajudar as empresas a alcançar seus resultados desejados na AWS, a equipe do WSJ conseguiu acelerar o desenvolvimento da Talk2020, uma ferramenta de busca inteligente que ajuda leitores a buscar com rapidez e analisar 30 anos de declarações públicas feitas por candidatos a presidente. Ela permite uma investigação mais aprofundada de questões ao longo do tempo explorando padrões de fala e fazendo análises de texto. O segredo do sucesso do WSJ foi o Amazon Kendra, um serviço de pesquisa inteligente altamente preciso e baseado em aprendizado de máquina.

O The Wall Street Journal é uma organização de notícias global que fornece notícias, informações, comentários e análises, o que engaja os leitores em plataformas de publicação, digitais, móveis, sociais, de áudio e vídeo. Com base em seu legado como fonte de notícias comerciais e financeiras globais, o WSJ inclui cobertura de notícias dos EUA e do mundo, política, arte, cultura, estilo de vida, esporte e saúde, e possui 38 Prêmios Pulitzer por jornalismo excepcional. Para essa finalidade, viu uma oportunidade de fornecer funcionalidade e alcançar novas audiências permitindo aos leitores explorar um banco de dados de transcrições. “Queríamos criar algo que os leitores pudessem usar para consultar o que Joe Biden, Donald Trump e seus concorrentes diziam literalmente e tirar suas próprias conclusões”, diz Dion Balley, vice-presidente, diretor de tecnologia e arquitetura do WSJ. 

Os jornalistas do WSJ que escrevem histórias investigativas já usam o Factiva, o banco de dados global de notícias da Dow Jones, para pesquisas e verificações rápidas. O Factiva agrega conteúdo de mais de 32 mil fontes e permite aos usuários buscar por texto livre, região, assunto, autor e metadados. A equipe de P&D do WSJ havia trabalhado com jornalistas em Washington, DC, para desenvolver uma ferramenta de busca eficaz para essas transcrições. Com a Talk2020, o WSJ queria simplificar o uso dessa ferramenta e disponibilizá-la a um público mais amplo, para ajudar a fundamentar sua tomada de decisões durante as eleições presidenciais de 2020. A publicação queria que os leitores pudessem fazer perguntas de linguagem natural, tais como “O que o Trump disse sobre assistência médica?”, e receber resultados que responderiam às suas perguntas de forma direta. Uma solução bem estruturada também teria o potencial de aumentar o tráfego do site e atrair novos assinantes. 

A equipe do WSJ, que já estava usando a AWS, engajou a AWS Professional Services regularmente durante o desenvolvimento por meio de reuniões de acompanhamento diárias, reuniões semanais e análises de arquitetura aprofundadas. “A AWS nos ajudou a desenvolver uma solução que atendia aos nossos cronogramas”, diz Bailey. “Ter esse acesso direto a especialistas nos permitiu posicionar os serviços certos em torno do Amazon Kendra e entregar o nível de qualidade que queríamos.”

Ao usar a AWS, a equipe do WSJ desenvolveu rapidamente a Talk2020 e alcançou sua meta de lançamento em setembro de 2020, antes do primeiro debate presidencial. A solução usou o Amazon Kendra para fornecer recursos confiáveis de busca de empresas. “O fato de que o Amazon Kendra poderia fazer o processamento de linguagem natural em tempo real foi um grande chamariz para nós”, diz Bailey. O front end da solução de busca consistia em um gateway de APIs e no Amazon CloudFront, uma rede de entrega de conteúdo programável rápida e altamente segura. Quando os usuários fazem uma busca, o Amazon Kendra mostra um tópico identificado e citações relacionadas que são então reforçados ao se fazer a referência cruzada da identificação com transcrições “limpas” do Factiva armazenadas no Amazon DynamoDB, um serviço de banco de dados NoSQL com capacidade para estruturas de dados de documentos e valor principal. 

O AWS Lambda, um serviço de computação com tecnologia sem servidor que deixa os usuários executarem código sem provisionar ou gerenciar servidores, gerencia o fluxo de dados entre produtos da AWS. “Precisávamos criar uma camada de ingestão entre o Factiva e a camada de dados”, diz Bailey. As funções do AWS Lambda acionam solicitações para limpar e formatar as transcrições, identificando citações, o orador e o tópico, antes de enviá-las para o Amazon Kendra e Amazon DynamoDB. “Poder contar com as funções Lambda para essas tarefas significa que podemos parar o processo quando não estamos usando ele, o que é econômico”, acrescenta Bailey. 

Dados da ferramenta Talk2020 mostraram picos de uso durante e após os debates presidenciais, o debate dos candidatos a vice-presidente e eventos da prefeitura. Muitas pessoas até usaram a ferramenta de busca como uma segunda tela durante os debates para pesquisar declarações que os candidatos haviam feito no passado. O engajamento com a Talk2020 foi grande, com usuários individuais muitas vezes fazendo diversas perguntas e consultado vários tópicos durante o mesmo acesso. “Isso nos mostra que criamos uma ferramenta que atendeu às necessidades de nossos leitores e temos a oportunidade de continuar experimentando novas formas de engajar nossos usuários”, diz Bailey.

O engajamento da equipe da AWS e a utilização de serviços inovadores como o Amazon Kendra ajudaram o WSJ a lançar a Talk2020 em apenas cinco meses, o que impulsionou o tráfego do site, incentivou o engajamento e atraiu novos assinantes. “A equipe da AWS estava disponível sempre que precisávamos”, diz Bailey, “e nos ajudou a resolver todos os problemas que surgiram”.