Perplexity desenvolve um mecanismo de pesquisa avançado ao usar o Claude 3 da Anthropic no Amazon Bedrock

Lançado em dezembro de 2022, o Perplexity AI pode avaliar o contexto e personalizar as interações ao aprender os interesses e as preferências do usuário ao longo do tempo. Além disso, os usuários obtêm visibilidade sobre a credibilidade das informações, já que cada resultado da pesquisa é acompanhado por uma lista de fontes.

Desde o início de seu serviço público de API, a Perplexity usa o Amazon SageMaker, um serviço totalmente gerenciado que reúne um amplo conjunto de ferramentas para aprendizado de máquina (ML) de alto desempenho e baixo custo para praticamente qualquer caso de uso. Após analisar diversos provedores de nuvem, a Perplexity optou pela AWS para treinar e realizar inferência com seus modelos, complementando o uso do Amazon Bedrock. “Ao usar a AWS, tivemos acesso às GPUs e nos beneficiamos do conhecimento técnico da equipe proativa da AWS”, afirma Denis Yarats, diretor de tecnologia da Perplexity. A empresa testou tipos de instância do Amazon Elastic Compute Cloud (Amazon EC2), que oferece uma ampla variedade de serviços de computação, redes de até 3.200 Gbps e armazenamento criados especificamente para otimizar o desempenho de preço para projetos de ML. Especificamente, o Perplexity usa instâncias P4de do Amazon EC2, que são alimentadas por GPUs NVIDIA A100 e otimizadas para treinamento distribuído, para ajustar as FMs de código aberto.

Por meio do Amazon Bedrock, os usuários do Perplexity AI podem selecionar um modelo da família de modelos Claude 3 da Anthropic, um parceiro da AWS. Os modelos Claude 3 apresentam conhecimento especializado, precisão e compreensão contextual, além de performance de última geração. “Usar um serviço de alta performance, como o Amazon Bedrock, significa que estamos aproveitando os avançados modelos da Anthropic de uma forma que permite à nossa equipe manter efetivamente a confiabilidade e a latência do nosso produto”, afirma William Zhang, membro da equipe técnica da Perplexity.

Devido ao fato de o Claude fornecer informações de forma concisa e em linguagem natural, os usuários podem obter respostas claras de maneira rápida. Além disso, os usuários conseguem fazer o upload e analisar documentos extensos rapidamente, pois os modelos Claude 3 contam com uma janela de contexto de 200 mil tokens, o que equivale a aproximadamente 150 mil palavras ou mais de 500 páginas. “A facilidade de utilização é essencial para a integração de algo ao nosso produto”, afirma Zhang. “Usar o Claude 3 no Amazon Bedrock tem sido uma parte importante de uma ótima experiência para desenvolvedores”.

A Perplexity tem como objetivo garantir que cada resultado da pesquisa seja preciso e útil ao reduzir as alucinações, que correspondem aos resultados imprecisos dos LLMs. O modelo anterior da Anthropic, o Claude 2.1, já havia reduzido a taxa de alucinação pela metade. Além disso, a Anthropic realizou aprimoramentos adicionais na redução de alucinações e no aumento da precisão com a família Claude 3, que superou o Claude 2.1 nesse quesito. À medida que a Anthropic trabalha para eliminar as alucinações dos modelos, a Perplexity usa anotadores humanos para fornecer informações precisas, seguras e confiáveis aos seus usuários. Além disso, a Perplexity se beneficia do compromisso da Anthropic e da AWS com a IA responsável. “Valorizamos o fato de que o Amazon Bedrock tenha filtros de conteúdo incorporados para nos alertar quando as pessoas tentam usar nossa solução para fins não previstos”, diz Aarash Heydari, engenheiro de infraestrutura de nuvem da Perplexity. Como uma empresa de segurança e de pesquisa em sua essência, a Anthropic é líder de mercado no combate aos “jailbreaks”, ou seja, às tentativas de gerar respostas prejudiciais ou de fazer uso indevido dos modelos.

A Perplexity também continua a ajustar outros modelos em sua infraestrutura com tecnologia da AWS. Em agosto de 2023, o Perplexity se tornou um dos primeiros testadores beta do Amazon SageMaker HyperPod, que remove o trabalho pesado indiferenciado envolvido na criação e otimização da infraestrutura de ML para treinar FMs. Os engenheiros da Perplexity trabalharam junto com os arquitetos de soluções da AWS para criar uma infraestrutura escalável e inovadora que divide automaticamente as workloads de treinamento em instâncias P4de aceleradas do Amazon EC2 e as processa em paralelo. O Amazon SageMaker HyperPod é configurado previamente com as bibliotecas de treinamento distribuídas do Amazon SageMaker, o que aprimora ainda mais a sua performance. “A velocidade do throughput do treinamento dobrou”, afirma Heydari. “A infraestrutura era simples de gerenciar e as falhas relacionadas ao hardware foram drasticamente reduzidas.”

Para saber mais sobre como o Perplexity acelera o treinamento de modelos básicos em 40% com o Amazon SageMaker HyperPod, leia este estudo de caso.

Após 2 meses, a Perplexity lançou uma API pública para que os usuários possam acessar seus modelos on-line proprietários, o Sonar Small and Medium, que são hospedados na AWS e ajustados usando o Mistral 7B e o Mixtral 8x7B. Esses LLMs on-line priorizam o conhecimento da Internet em vez de dados de treinamento para responder a consultas urgentes. “Nossa infraestrutura para treinamento e inferência de modelos é totalmente baseada no Amazon SageMaker HyperPod, que foi um fator crítico para escolhermos a AWS”, comenta Heydari. “O Amazon SageMaker HyperPod tem sido fundamental para impulsionar nossa inovação em IA”.

A Perplexity AI continua a oferecer aos usuários uma seleção de modelos que atendem às suas necessidades, acessando automaticamente as iterações recentes do Claude e impulsionando a disponibilidade de novos recursos para os usuários.

“Na AWS, contamos com uma experiência extremamente confiável, em que todas as partes da infraestrutura se integram de forma eficaz para garantir o funcionamento do nosso produto complexo”, afirma Heydari. “Continuamos a liderar na vanguarda das funcionalidades de IA, usando modelos avançados e permanecendo abertos a qualquer inovação que melhore a experiência do usuário.”