Histórias de clientes / Software e Internet / Estados Unidos 

2024
Logotipo da Perplexity

Perplexity desenvolve um mecanismo de pesquisa avançado ao usar o Claude 3 da Anthropic no Amazon Bedrock

Descubra como o mecanismo de pesquisa com tecnologia de IA da Perplexity usa o Amazon Bedrock e o Claude 3 da Anthropic para fornecer respostas precisas e abrangentes às consultas dos usuários.

Transfere a responsabilidade

pelo gerenciamento da infraestrutura de ML

Disponibiliza

diversas opções de LLM aos usuários

Simplifica

o acesso a modelos abertos e proprietários

Escala

para fornecer suporte a modelos adicionais

Visão geral

A Perplexity desejava oferecer uma alternativa avançada aos mecanismos de pesquisa on-line tradicionais, por isso, criou um assistente de pesquisa interativo que fornece respostas personalizadas e conversacionais, respaldadas por uma lista selecionada de fontes. Os usuários têm a opção de selecionar entre diversos grandes modelos de linguagem (LLMs) de alta performance, garantindo a obtenção de informações relevantes, precisas e de fácil compreensão.

Com o objetivo de simplificar o acesso a modelos proprietários, como o Claude da Anthropic, um conhecido LLM de última geração, e ajustar LLMs de código aberto, a Perplexity precisava de uma infraestrutura global avançada para seu mecanismo de pesquisa, o Perplexity AI. A empresa optou por desenvolver o Perplexity AI na Amazon Web Services (AWS), que disponibiliza uma ampla variedade de serviços com segurança e privacidade de nível corporativo, acesso aos modelos de base (FMs) mais avançados do mercado e aplicações com tecnologia de inteligência artificial generativa. Além de executar seus próprios modelos na AWS, a Perplexity disponibiliza aos usuários o acesso ao Claude por meio do Amazon Bedrock, um serviço totalmente gerenciado que oferece uma seleção de FMs de alta performance desenvolvidos por empresas renomadas no setor de IA, como a AI21 Labs, a Anthropic, a Cohere, a Meta, a Mistral AI, a Stability AI e a Amazon, por meio de uma única API. Além disso, o serviço disponibiliza um amplo conjunto de funcionalidades para as organizações desenvolverem aplicações de IA generativa com segurança, privacidade e uso de IA responsável.

AWS re:Invent 2023: palestra principal do cliente Perplexity | Eventos da AWS

Oportunidade | Desenvolvimento de um mecanismo de pesquisa conversacional com a AWS

Lançado em dezembro de 2022, o Perplexity AI pode avaliar o contexto e personalizar as interações ao aprender os interesses e as preferências do usuário ao longo do tempo. Além disso, os usuários obtêm visibilidade sobre a credibilidade das informações, já que cada resultado da pesquisa é acompanhado por uma lista de fontes.

Desde o lançamento de seu serviço de API pública, a Perplexity usa o Amazon SageMaker, um serviço totalmente gerenciado que reúne um amplo conjunto de ferramentas para machine learning (ML) de alta performance e baixo custo, adequado para praticamente qualquer aplicação. Após analisar diversos provedores de nuvem, a Perplexity optou pela AWS para treinar e realizar inferência com seus modelos, complementando o uso do Amazon Bedrock. “Ao usar a AWS, tivemos acesso às GPUs e nos beneficiamos do conhecimento técnico da equipe proativa da AWS”, afirma Denis Yarats, diretor de tecnologia da Perplexity. A empresa realizou testes com tipos de instância do Amazon Elastic Compute Cloud (Amazon EC2), que fornece uma ampla variedade de serviços de computação, redes de até 3.200 Gbps e armazenamento, desenvolvidos com o propósito específico de otimizar a performance de preço para projetos de ML. Concretamente, o Perplexity usa as instâncias P4de do Amazon EC2, que contam com GPUs NVIDIA A100 e são otimizadas para o treinamento distribuído, a fim de ajustar os FMs de código aberto.

Com o Amazon Bedrock, os usuários do Perplexity AI podem optar por um modelo da família Claude 3, da Anthropic, um parceiro da AWS. Os modelos Claude 3 apresentam conhecimento especializado, precisão e compreensão contextual, além de performance de última geração. “Usar um serviço de alta performance, como o Amazon Bedrock, significa que estamos aproveitando os avançados modelos da Anthropic de uma forma que permite à nossa equipe manter efetivamente a confiabilidade e a latência do nosso produto”, afirma William Zhang, membro da equipe técnica da Perplexity.

kr_quotemark

Usar um serviço de alta performance, como o Amazon Bedrock, significa que estamos aproveitando os avançados modelos da Anthropic de uma forma que permite à nossa equipe manter efetivamente a confiabilidade e a latência do nosso produto.”

William Zhang
Membro da equipe técnica da Perplexity

Solução | Aprimoramento de uma experiência de pesquisa responsável e precisa ao usar o Amazon Bedrock e o Claude 3 da Anthropic

Devido ao fato de o Claude fornecer informações de forma concisa e em linguagem natural, os usuários podem obter respostas claras de maneira rápida. Além disso, os usuários conseguem fazer o upload e analisar documentos extensos rapidamente, pois os modelos Claude 3 contam com uma janela de contexto de 200 mil tokens, o que equivale a aproximadamente 150 mil palavras ou mais de 500 páginas. “A facilidade de utilização é essencial para a integração de algo ao nosso produto”, afirma Zhang. “Usar o Claude 3 no Amazon Bedrock tem sido uma parte importante de uma ótima experiência para desenvolvedores”.

A Perplexity tem como objetivo garantir que cada resultado da pesquisa seja preciso e útil ao reduzir as alucinações, que correspondem aos resultados imprecisos dos LLMs. O modelo anterior da Anthropic, o Claude 2.1, já havia reduzido a taxa de alucinação pela metade. Além disso, a Anthropic realizou aprimoramentos adicionais na redução de alucinações e no aumento da precisão com a família Claude 3, que superou o Claude 2.1 nesse quesito. À medida que a Anthropic trabalha para eliminar as alucinações dos modelos, a Perplexity usa anotadores humanos para fornecer informações precisas, seguras e confiáveis aos seus usuários. Além disso, a Perplexity se beneficia do compromisso da Anthropic e da AWS com a IA responsável. “Valorizamos o fato de que o Amazon Bedrock tenha filtros de conteúdo incorporados para nos alertar quando as pessoas tentam usar nossa solução para fins não previstos”, diz Aarash Heydari, engenheiro de infraestrutura de nuvem da Perplexity. Como uma empresa de segurança e de pesquisa em sua essência, a Anthropic é líder de mercado no combate aos “jailbreaks”, ou seja, às tentativas de gerar respostas prejudiciais ou de fazer uso indevido dos modelos.

A Perplexity também continua a ajustar outros modelos em sua infraestrutura com tecnologia da AWS. Em agosto de 2023, a Perplexity se tornou uma das primeiras testadoras beta do Amazon SageMaker HyperPod, que elimina o trabalho pesado indiferenciado envolvido no desenvolvimento e na otimização da infraestrutura de ML para treinamento de FMs. Os engenheiros da Perplexity trabalharam junto com os arquitetos de soluções da AWS para criar uma infraestrutura escalável e inovadora que divide automaticamente as workloads de treinamento em instâncias P4de aceleradas do Amazon EC2 e as processa em paralelo. O Amazon SageMaker HyperPod é configurado previamente com as bibliotecas de treinamento distribuídas do Amazon SageMaker, o que aprimora ainda mais a sua performance. “A velocidade do throughput do treinamento dobrou”, afirma Heydari. “A infraestrutura era simples de gerenciar e as falhas relacionadas ao hardware foram drasticamente reduzidas.”

Para saber mais informações sobre como a Perplexity acelera o treinamento de modelos de base em 40% com o Amazon SageMaker HyperPod, leia este estudo de caso.

Após dois meses, a Perplexity lançou uma API pública para que os usuários possam acessar seus modelos proprietários on-line, nomeadamente, Sonar Small e Medium, que são hospedados na AWS e ajustados usando Mistral 7B e Mixtral 8x7B. Esses LLMs on-line priorizam o conhecimento da Internet em vez de dados de treinamento para responder a consultas urgentes. “Nossa infraestrutura para treinamento e inferência de modelos é totalmente baseada no Amazon SageMaker HyperPod, que foi um fator crítico para escolhermos a AWS”, comenta Heydari. “O Amazon SageMaker HyperPod tem sido fundamental para impulsionar nossa inovação em IA”.

A Perplexity AI continua a oferecer aos usuários uma seleção de modelos que atendem às suas necessidades, acessando automaticamente as iterações recentes do Claude e impulsionando a disponibilidade de novos recursos para os usuários.

“Na AWS, contamos com uma experiência extremamente confiável, em que todas as partes da infraestrutura se integram de forma eficaz para garantir o funcionamento do nosso produto complexo”, afirma Heydari. “Continuamos a liderar na vanguarda das funcionalidades de IA, usando modelos avançados e permanecendo abertos a qualquer inovação que melhore a experiência do usuário.”

Sobre a Perplexity

O Perplexity AI é um mecanismo de pesquisa e chatbot com tecnologia de IA que usa tecnologias avançadas, como o processamento de linguagem natural e o Amazon Bedrock, para fornecer respostas precisas e abrangentes a consultas de mais de 10 milhões de usuários mensais.

Serviços da AWS usados

Amazon Bedrock

O Amazon Bedrock é um serviço totalmente gerenciado que oferece uma seleção de modelos de base (FMs) de alta performance desenvolvidos por empresas renomadas no setor de IA, como a AI21 Labs, a Anthropic, a Cohere, a Meta, a Mistral AI, a Stability AI e a Amazon, por meio de uma única API. Além disso, o serviço disponibiliza um amplo conjunto de funcionalidades para desenvolver aplicações de IA generativa com segurança, privacidade e uso de IA responsável.

Saiba mais »

Amazon SageMaker HyperPod

O AmazonSageMaker HyperPod elimina o trabalho pesado indiferenciado envolvido na criação e na otimização da infraestrutura de machine learning (ML) para o treinamento de modelos de base (FMs), reduzindo o tempo de treinamento em até 40%.

Saiba mais »

Amazon EC2

O Amazon Elastic Compute Cloud (Amazon EC2) oferece a plataforma de computação mais ampla e aprofundada, com mais de 750 instâncias e opções de processadores, armazenamentos, redes, sistemas operacionais e modelos de compras mais recentes para ajudar você a atender melhor às necessidades da sua workload.

Saiba mais »

Mais histórias de clientes sobre IA generativa

Showing results: 1-4
Total results: 234

nenhum item encontrado 

1 59

Comece a usar

Organizações de todos os portes, em todos os setores, estão transformando seus negócios e cumprindo suas missões todos os dias usando a AWS. Entre em contato com nossos especialistas e comece sua própria jornada para a AWS hoje mesmo.