게시된 날짜: May 17, 2024
이제 Amazon Bedrock용 지식 기반 시스템에서 추론 파라미터를 생성하여 파운데이션 모델(FM)에서 생성된 응답을 개인화하는 작업을 보다 효과적으로 제어할 수 있게 되었습니다.
이번 출시로 원하는 경우 추론 파라미터를 설정하여 파운데이션 모델에서 생성된 응답의 무작위성 및 길이와 같은 파라미터를 정의할 수 있게 되었습니다. 온도 및 Top-p와 같은 몇 가지 설정을 조정하여 생성된 텍스트의 무작위성과 다양성을 제어할 수 있습니다.온도 설정은 모델이 특이하거나 예상치 못한 단어를 선택할 가능성을 높이거나 낮춥니다. 온도 값이 낮을수록 예상할 수 있고 더 일반적인 단어들이 생성됩니다. Top-p 설정은 모델이 고려하는 단어 옵션의 수를 제한합니다. 이 수치를 낮추면 더 적은 수의 단어 선택으로 고려 사항이 제한되어 보다 일반적인 출력이 생성됩니다.
무작위성과 다양성 외에도 stopsequences를 사용하거나 maxTokens stopsequences를 통해 파운데이션 모델 출력의 길이를 제한할 수 있습니다. maxTokens 설정을 사용하여 생성된 응답에서 반환할 최소 또는 최대 토큰 수를 지정할 수 있습니다. 마지막으로 stopsequence 설정을 통해 모델이 추가 토큰 생성을 중지하도록 제어하는 역할을 하는 문자열을 구성할 수 있습니다.
지식 기반 시스템 내의 추론 파라미터 기능은 현재 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(도쿄), 유럽(프랑크푸르트), 미국 동부(버지니아 북부), 미국 서부(오레곤) 리전에서 사용할 수 있습니다. 자세한 내용은 Amazon Bedrock용 지식 기반 시스템 설명서를 참조하세요. 시작하려면 Amazon Bedrock 콘솔로 이동하거나 RetrieveAndGenerate API를 사용하세요.