Publicado: Nov 29, 2023
A avaliação de modelos no Amazon Bedrock permite avaliar, comparar e selecionar os melhores modelos de base para seu caso de uso. O Amazon Bedrock oferece a opção entre avaliação automática e avaliação humana. Você pode usar a avaliação automática com métricas predefinidas, como precisão, robustez e toxicidade. Para métricas subjetivas ou personalizadas, como simpatia, estilo e alinhamento com a voz da marca, você pode configurar um fluxo de trabalho de avaliação humana com apenas alguns cliques. Os fluxos de trabalho de avaliação humana podem ser realizados por seus próprios funcionários ou uma equipe gerenciada pela AWS como revisores. A avaliação do modelo fornece conjuntos de dados selecionados integrados, ou você pode trazer seus próprios conjuntos de dados.
A interface interativa do Amazon Bedrock orienta você na avaliação do modelo. Basta escolher a avaliação humana ou automática, selecionar o tipo de tarefa e as métricas e carregar os conjuntos de dados de prompt. Em seguida, o Amazon Bedrock executa avaliações e gera um relatório, para que você possa entender facilmente a performance do modelo em relação às métricas selecionadas e escolher a correta para seu caso de uso.
A avaliação do modelo no Amazon Bedrock está disponível em pré-visualização nas regiões da AWS Leste dos EUA (N. da Virgínia) e Oeste dos EUA (Oregon). Para obter mais informações, consulte a tabela de regiões da AWS.
Para saber mais sobre a avaliação de modelos no Amazon Bedrock, consulte a página da Web sobre a experiência do desenvolvedor do Amazon Bedrock. Para começar, faça login no Amazon Bedrock no Console de Gerenciamento da AWS.