El direccionamiento de peticiones inteligente de Amazon Bedrock ya está disponible en versión preliminar
El direccionamiento de peticiones inteligente de Amazon Bedrock dirige las peticiones a diferentes modelos básicos dentro de una familia de modelos, lo que le ayuda a optimizar la calidad de las respuestas y los costos. Mediante técnicas avanzadas de comparación de peticiones y comprensión de modelos, el direccionamiento de peticiones inteligente predice el rendimiento de cada modelo para cada solicitud y dirige dinámicamente cada solicitud al modelo que predice que es más probable que dé la respuesta deseada al menor costo. Los clientes pueden elegir entre dos enrutadores de peticiones en versión preliminar que enrutan las solicitudes entre Claude Sonnet 3.5 y Claude Haiku, o entre Llama 3.1 8B y Llama 3.1 70B.
Amazon Bedrock es un servicio completamente administrado que ofrece una selección de modelos básicos de alto rendimiento de las principales empresas de IA a través de una única API. Amazon Bedrock también proporciona un amplio conjunto de capacidades que necesitan los clientes para crear aplicaciones de IA generativa con seguridad, privacidad y capacidades de IA responsable incorporadas. Estas capacidades ayudan a crear aplicaciones personalizadas para múltiples casos de uso en diferentes industrias, lo que ayuda a las organizaciones a lograr un crecimiento sostenido a partir de la IA generativa y, al mismo tiempo, asegurar la confianza del cliente y la gobernanza de datos. Con el direccionamiento de peticiones inteligente, Amazon Bedrock puede ayudar a los clientes a crear aplicaciones de IA generativa rentables con una combinación de modelos básicos para obtener un mejor rendimiento a un costo menor que un modelo básico único.
Durante la versión preliminar, a los clientes se les cobran precios regulares bajo demanda por los modelos a los que se envían las solicitudes. Para obtener más información al respecto, consulte nuestra documentación y el blog.