Historias de clientes / Software e Internet / Estados Unidos

Perplexity crea un motor de búsqueda avanzado con Claude 3 de Anthropic en Amazon Bedrock
Descubra cómo el motor de búsqueda basado en IA de Perplexity utiliza Amazon Bedrock y Claude 3 de Anthropic para obtener respuestas precisas y completas a las consultas de los usuarios.
Descarga
la administración de la infraestructura de ML
Proporciona
múltiples opciones de LLM a los usuarios
Simplifica
el acceso a modelos abiertos y patentados
Escalas
para dar cabida a modelos adicionales
Información general
Perplexity quería ofrecer una alternativa potente al motor de búsqueda en línea tradicional, por lo que creó un complemento de búsqueda interactivo que proporciona respuestas personalizadas y conversacionales respaldadas por una lista seleccionada de orígenes. Los usuarios pueden elegir entre varios modelos de lenguaje grandes (LLM) de alto rendimiento para obtener información relevante, precisa y comprensible.
Para simplificar el acceso a modelos patentados, como el LLM popular y vanguardista Claude de Anthropic, y para afinar los LLM de código abierto, Perplexity necesitaba una infraestructura global potente para su motor de búsqueda, Perplexity AI. La empresa decidió crear Perplexity AI en Amazon Web Services (AWS), que proporciona una amplia gama de servicios que ofrecen seguridad y privacidad de nivel empresarial, acceso a modelos fundacionales (FM) líderes del sector y aplicaciones basadas en inteligencia artificial (IA) generativa. Además de ejecutar sus propios modelos en AWS, Perplexity ofrece a sus usuarios acceso a Claude a través de Amazon Bedrock, un servicio totalmente administrado que ofrece una selección de FM de alto rendimiento de las principales empresas de IA, como AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI y Amazon, a través de una única API, junto con un amplio conjunto de capacidades que las organizaciones necesitan para crear aplicaciones de IA generativa con seguridad, privacidad e IA responsable.
Oportunidad | Creación de un motor de búsqueda conversacional con AWS
Lanzado en diciembre de 2022, Perplexity AI puede medir el contexto y personalizar las interacciones al conocer los intereses y preferencias de los usuarios a lo largo del tiempo. Los usuarios también obtienen visibilidad sobre la credibilidad de la información porque cada resultado de búsqueda va acompañado de una lista de orígenes.
Desde el inicio de su servicio de API pública, Perplexity ha estado utilizando Amazon SageMaker, un servicio totalmente administrado que reúne un amplio conjunto de herramientas para el machine learning (ML) de alto rendimiento y bajo costo para prácticamente cualquier caso de uso. Tras evaluar varios proveedores de nube, Perplexity eligió AWS para la formación y la inferencia de sus modelos a fin de complementar el uso de Amazon Bedrock. “Con AWS, tuvimos acceso a las GPU y nos beneficiamos de la experiencia técnica del equipo proactivo de AWS”, afirma Denis Yarats, director de tecnología de Perplexity. La empresa probó los tipos de instancias de Amazon Elastic Compute Cloud (Amazon EC2), que ofrece una amplia variedad de servicios de computación, redes de hasta 3200 Gbps y almacenamiento diseñados específicamente para optimizar la relación entre precio y rendimiento de los proyectos de ML. En concreto, Perplexity utiliza las instancias P4de de Amazon EC2, que funcionan con GPU NVIDIA A100 y están optimizadas para el entrenamiento distribuido, para afinar con precisión los FM de código abierto.
A través de Amazon Bedrock, los usuarios de Perplexity AI pueden seleccionar un modelo de la familia de modelos Claude 3 de Anthropic, un socio de AWS. Los modelos Claude 3 cuentan con conocimientos expertos, precisión y comprensión del contexto, además de un rendimiento de última generación. “El uso de un servicio de alto rendimiento como Amazon Bedrock hace que podamos sacar el máximo partido de los poderosos modelos de Anthropic, lo que permite a nuestro equipo mantener con eficacia la fiabilidad y latencia del producto”, dice William Zhang, miembro del equipo técnico de Perplexity.

“El uso de un servicio de alto rendimiento como Amazon Bedrock hace que podamos sacar el máximo partido de los poderosos modelos de Anthropic, lo que permite a nuestro equipo mantener con eficacia la fiabilidad y latencia del producto”.
William Zhang
Miembro del equipo técnico de Perplexity
Solución | Mejora de una experiencia de búsqueda responsable y precisa con Amazon Bedrock y Claude 3 de Anthropic
Como Claude proporciona información en un lenguaje conciso y natural, los usuarios pueden obtener respuestas claras con rapidez. Los usuarios también pueden cargar y analizar rápidamente documentos de gran tamaño, ya que los modelos Claude 3 cuentan con una ventana de contexto de 200 000 fichas, el equivalente a aproximadamente 150 000 palabras o más de 500 páginas. “La facilidad de uso es fundamental para que algo forme parte de nuestro producto”, afirma Zhang. “El uso de Claude 3 en Amazon Bedrock ha sido parte de una excelente experiencia para desarrolladores”.
El objetivo de Perplexity es que todos los resultados de búsqueda sean precisos y útiles al reducir las alucinaciones, es decir, los resultados inexactos de los LLM. El modelo anterior de Anthropic, Claude 2.1, ya había reducido su tasa de alucinaciones a la mitad. Además, Anthropic ha hecho mejoras adicionales para reducir las alucinaciones y aumentar la precisión con la familia Claude 3, que ha mejorado aún más la precisión con respecto a Claude 2.1. Mientras Anthropic trabaja para reducir a cero las alucinaciones con modelos, Perplexity utiliza anotadores humanos para ofrecer a sus usuarios información precisa, segura y confiable. Además, Perplexity se beneficia del compromiso de Anthropic y AWS con una IA responsable. “Agradecemos que Amazon Bedrock tenga filtros de contenido integrados para avisarnos de cuando las personas intentan usar nuestra solución para fines no deseados”, afirma Aarash Heydari, ingeniero de infraestructura en la nube de Perplexity. Como empresa de seguridad e investigación en esencia, Anthropic es líder del mercado en la lucha contra las “fugas”, es decir, los intentos de generar respuestas dañinas o hacer un uso indebido de los modelos.
Perplexity también continúa afinando otros modelos en su infraestructura basada en AWS. En agosto de 2023, Perplexity se convirtió en probador de la versión beta anticipada de Amazon SageMaker HyperPod, que elimina el trabajo pesado e indiferenciado que implica crear y optimizar la infraestructura de ML para entrenar FM. Los ingenieros de Perplexity trabajaron junto con los arquitectos de soluciones de AWS para crear una infraestructura escalable e innovadora que divide automáticamente las cargas de trabajo de entrenamiento entre instancias P4de aceleradas de Amazon EC2 y las procesa en paralelo. Amazon SageMaker HyperPod viene preconfigurado con las bibliotecas de entrenamiento distribuidas de Amazon SageMaker, lo que mejora aún más el rendimiento. “La velocidad del rendimiento de entrenamiento se duplicó”, afirma Heydari. “La infraestructura era fácil de administrar y los errores relacionados con el hardware se redujeron drásticamente”.
Para obtener más información sobre cómo Perplexity acelera el entrenamiento de modelos fundacionales en un 40 % con Amazon SageMaker HyperPod, lea este caso práctico.
Después de 2 meses, Perplexity lanzó una API pública para que los usuarios puedan acceder a sus modelos en línea patentados, Sonar Small y Medium, que están alojados en AWS y afinados con Mistral 7B y Mixtral 8x7B. Estos LLM en línea priorizan el conocimiento de Internet sobre los datos de entrenamiento para responder a consultas urgentes. “Toda nuestra infraestructura para el entrenamiento y la inferencia de modelos funciona con Amazon SageMaker HyperPod, un factor fundamental para nosotros a la hora de elegir AWS”, afirma Heydari. “Amazon SageMaker HyperPod ha sido fundamental para impulsar nuestra innovación en IA”.
Resultado | Provisión a los usuarios de acceso a las innovaciones recientes en la búsqueda
Perplexity AI sigue ofreciendo a los usuarios una selección de modelos que se adaptan a sus necesidades, lo que les permite acceder automáticamente a las versiones recientes de Claude e impulsa la disponibilidad de nuevas características para los usuarios.
“En AWS, tenemos una experiencia altamente confiable con todas las piezas de infraestructura que deben unirse para que nuestro complejo producto funcione”, afirma Heydari. “Nos mantenemos a la vanguardia de las capacidades de IA, utilizamos modelos potentes y estamos abiertos a cualquier cosa que mejore nuestra experiencia de usuario”.
Acerca de Perplexity
Perplexity AI es un motor de búsqueda y chatbot basado en IA que utiliza tecnologías avanzadas como el procesamiento del lenguaje natural y Amazon Bedrock para proporcionar respuestas precisas y completas a las consultas de más de 10 millones de usuarios mensuales.
Servicios de AWS utilizados
Amazon Bedrock
Amazon Bedrock es un servicio totalmente administrado que ofrece una selección de modelos fundacionales (FM) de alto rendimiento de las principales empresas de IA como AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI y Amazon a través de una sola API, junto con un amplio conjunto de funciones necesarias para crear aplicaciones de IA generativa con seguridad, privacidad e IA responsable.
Amazon SageMaker HyperPod
Amazon SageMaker HyperPod elimina el trabajo pesado e indiferenciado que implica crear y optimizar la infraestructura de machine learning (ML) para entrenar modelos fundacionales (FM), lo que reduce el tiempo de entrenamiento hasta un 40 %.
Amazon EC2
Amazon Elastic Compute Cloud (Amazon EC2) ofrece la plataforma de computación más amplia y completa, con más de 750 instancias y la posibilidad de elegir el procesador, almacenamiento, redes, sistema operativo y modelo de compra más reciente, en función de lo que mejor se ajuste a las necesidades que plantea su carga de trabajo.
Comenzar
Organizaciones de todos los tamaños y de todos los sectores transforman sus negocios y cumplen sus misiones todos los días con AWS. Contacte nuestros expertos y comience hoy mismo su propia jornada en AWS.