Avaliação de modelos do Amazon Bedrock já está disponível na região AWS GovCloud (Oeste dos EUA)
A avaliação de modelos no Amazon Bedrock permite avaliar, comparar e selecionar os melhores modelos de base para seu caso de uso. O Amazon Bedrock oferece a opção entre avaliação automática e avaliação humana. Você pode usar a avaliação automática com algoritmos predefinidos para métricas, como precisão, robustez e toxicidade. A avaliação do modelo fornece conjuntos de dados selecionados integrados, ou você pode trazer seus próprios conjuntos de dados.
A interface interativa do Amazon Bedrock orienta você na avaliação do modelo. Basta escolher a avaliação automática, selecionar o tipo de tarefa e as métricas e carregar o conjunto de dados de prompts. Em seguida, o Amazon Bedrock executa avaliações e gera um relatório, para que você possa entender facilmente a performance do modelo em relação às métricas selecionadas e escolher a correta para seu caso de uso. Usando esse relatório em conjunto com as métricas de custo e latência do Amazon Bedrock, você pode selecionar o modelo com o equilíbrio necessário entre qualidade, custo e latência.
Agora, a avaliação de modelos no Amazon Bedrock está disponível ao público em geral na região AWS GovCloud (Oeste dos EUA), além de várias regiões comerciais.
Para saber mais sobre a avaliação de modelos no Amazon Bedrock, consulte a página sobre a experiência do desenvolvedor do Amazon Bedrock. Para começar a usar, faça login no Amazon Bedrock no Console de Gerenciamento da AWS ou use as APIs do Amazon Bedrock.