Roteamento de Prompts Inteligente do Amazon Bedrock já disponível em versão prévia
O Roteamento de Prompts Inteligente do Amazon Bedrock direciona prompts para diferentes modelos fundamentais dentro de uma família de modelos, ajudando você a otimizar a qualidade das respostas e o custo. Usando técnicas avançadas de correspondência de prompts e compreensão do modelo, o Roteamento de Prompts Inteligente prevê a performance de cada modelo para cada solicitação e encaminha dinamicamente cada solicitação para o modelo que, segundo ele, tem maior probabilidade de fornecer a resposta desejada com o menor custo. Os clientes podem escolher entre dois roteadores de prompt em versão prévia que roteiam solicitações entre o Claude Sonnet 3.5 e o Claude Haiku ou entre o Llama 3.1 8B e o Llama 3.1 70B.
O Amazon Bedrock é um serviço totalmente gerenciado que oferece a escolha de modelos de base de alta performance de empresas líderes em IA por meio de uma única API. Além disso, o Amazon Bedrock oferece um amplo conjunto de recursos necessários para que os clientes criem aplicações de IA generativa que incorporam recursos de segurança, privacidade e IA responsável. Esses recursos ajudam você a criar aplicações personalizadas para vários casos de uso em diferentes setores, ajudando as organizações a desbloquear o crescimento sustentado da IA generativa e, ao mesmo tempo, garantir a confiança do cliente e a governança dos dados. Com o Roteamento de Prompts Inteligente, o Amazon Bedrock pode ajudar os clientes a criar aplicações econômicas de IA generativa com uma combinação de modelos de base para obter melhor performance a um custo menor do que um único modelo de base.
Durante a versão prévia, os clientes pagam preços regulares sob demanda dos modelos para os quais as solicitações são encaminhadas. Saiba mais na documentação e no blog.