Los agentes, flujos y bases de conocimiento de Amazon Bedrock ahora admiten modelos optimizados para la latencia
Los agentes, los flujos y las bases de conocimiento de Amazon Bedrock ahora ofrecen compatibilidad con los modelos recientemente anunciados, en versión preliminar y optimizados para la latencia a través del SDK. Esta mejora permite acelerar los tiempos de respuesta y mejorar la capacidad de respuesta de las aplicaciones de IA creadas con las herramientas de Amazon Bedrock. Actualmente, esta optimización está disponible para el modelo Claude 3.5 Haiku de Anthropic y los modelos Llama 3.1 405B y 70B de Meta, lo que ofrece una latencia reducida en comparación con los modelos estándar sin comprometer la precisión.
Esta actualización es particularmente beneficiosa para los clientes que desarrollan aplicaciones sensibles a la latencia, como los chatbots de servicio al cliente en tiempo real y los asistentes de codificación interactivos. Al aprovechar los chips de IA diseñados específicamente, como AWS Trainium2, y las optimizaciones de software avanzadas en Amazon Bedrock, los clientes ahora pueden acceder a más opciones para optimizar sus inferencias para casos de uso específicos. Es importante destacar que estas capacidades se pueden integrar inmediatamente en las aplicaciones existentes sin necesidad de una configuración adicional o un ajuste del modelo, lo que se traduce en un rendimiento mejorado y tiempos de respuesta más rápidos.
La compatibilidad con la inferencia optimizada para la latencia para los agentes, flujos y bases de conocimiento de Amazon Bedrock está disponible en la región Este de EE. UU. (Ohio) mediante inferencia interregional. Los clientes pueden acceder a estas nuevas capacidades a través del SDK de Amazon Bedrock mediante una configuración de tiempo de ejecución, lo que les permite incorporar mediante programación estos modelos optimizados en sus flujos de trabajo y aplicaciones.
Para obtener más información sobre Amazon Bedrock y sus capacidades, incluida esta nueva compatibilidad con la inferencia optimizada para la latencia, visite la página de productos, la página de precios y la documentación de Amazon Bedrock.