Publicado: May 17, 2024
Temos o prazer de anunciar que as bases de conhecimento do Amazon Bedrock já permitem configurar parâmetros de inferência para aumentar o controle sobre a personalização das respostas geradas por um modelo de base (FM).
Com este lançamento, você pode definir parâmetros de inferência para definir parâmetros como aleatoriedade e duração da resposta gerada pelo modelo de base. Você pode controlar o nível de aleatoriedade ou diversidade do texto gerado ajustando algumas configurações, como temperatura e top-p. A configuração de temperatura torna o modelo mais ou menos propenso a escolher palavras incomuns ou inesperadas. Um valor mais baixo para a temperatura gera opções de palavras esperadas e mais comuns. A configuração top-p limita quantas opções de palavras o modelo considera. A redução desse número restringe a consideração a um conjunto menor de opções de palavras, tornando a saída mais convencional.
Além da aleatoriedade e da diversidade, você pode restringir o comprimento da saída do modelo de base por meio de maxTokens e stopsequences. Você pode usar a configuração maxTokens para especificar o número mínimo ou máximo de tokens a serem retornados na resposta gerada. Por fim, a configuração stopsequences permite configurar strings que servem como controle para que o modelo pare de gerar tokens.
O recurso de parâmetros de inferência nas bases de conhecimento já está disponível nas regiões Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), Europa (Frankfurt), Leste dos EUA (Norte da Virgínia) e Oeste dos EUA (Oregon). Para saber mais, consulte a documentação das bases de conhecimento do Amazon Bedrock. Para começar a usar, acesse o console do Amazon Bedrock ou utilize a API RetrieveAndGenerate.