Presentamos la inferencia optimizada para latencia con modelos básicos en Amazon Bedrock
El uso de la inferencia optimizada para la latencia con modelos básicos de Amazon Bedrock ya está disponible en versión preliminar pública, lo que ofrece tiempos de respuesta más rápidos y una mejor capacidad de respuesta para las aplicaciones de IA. Actualmente, estas nuevas opciones de inferencia son compatibles con los modelos Claude 3.5 Haiku de Anthropic y Llama 3.1 405B y 70B de Meta, lo que ofrece una latencia reducida en comparación con los modelos estándar sin comprometer la precisión. Según lo verificado por Anthropic, con la inferencia optimizada para la latencia en Amazon Bedrock, Claude 3.5 Haiku se ejecuta más rápido en AWS que en cualquier otro lugar. Además, con la inferencia optimizada para la latencia en Bedrock, Llama 3.1 405B y 70B se ejecuta más rápido en AWS que en cualquier otro proveedor de nube importante.
A medida que más clientes trasladan sus aplicaciones de IA generativa a la producción, la optimización de la experiencia del usuario final se vuelve crucial, especialmente para las aplicaciones sensibles a la latencia, como los chatbots de servicio al cliente en tiempo real y los asistentes de codificación interactivos. Al utilizar chips de IA diseñados específicamente, como AWS Trainium2, y optimizaciones de software avanzadas en Amazon Bedrock, los clientes pueden acceder a más opciones para optimizar sus inferencias para un caso de uso concreto. El acceso a estas capacidades no requiere ninguna configuración adicional ni ajuste del modelo, lo que permite la mejora inmediata de las aplicaciones existentes con tiempos de respuesta más rápidos.
La inferencia optimizada para latencia está disponible para Claude 3.5 Haiku de Anthropic y Llama 3.1 405B y 70B de Meta en la región Este de EE. UU. (Ohio) mediante inferencia interregional. Para empezar, visite la consola de Amazon Bedrock. Para obtener más información sobre Amazon Bedrock y sus capacidades, visite la página del producto, la página de precios y la documentación de Amazon Bedrock.