이제 Amazon Bedrock Intelligent Prompt Routing 평가판 사용 가능
Amazon Bedrock Intelligent Prompt Routing은 모델 패밀리 내의 여러 파운데이션 모델(FM)에 프롬프트를 라우팅하여 비용과 응답 품질을 최적화할 수 있습니다. Intelligent Prompt Routing은 고급 프롬프트 매칭 및 모델 이해 기술을 사용하여 각 요청에 대한 개별 모델의 성능을 예측합니다. 그런 다음 가장 저렴한 비용으로 원하는 응답을 제공할 가능성이 가장 높을 것으로 예측되는 모델에 각 요청을 동적으로 라우팅합니다. 고객은 평가판에서 Claude Sonnet 3.5과 Claude Haiku 또는 Llama 3.1 8B와 Llama 3.1 70B 간에 요청을 라우팅하는 프롬프트 라우터 2개 중 하나를 선택할 수 있습니다.
Amazon Bedrock은 단일 API를 통해 주요 AI 회사의 고성능 파운데이션 모델을 선택할 수 있는 완전관리형 서비스입니다. 또한 Amazon Bedrock은 보안, 개인 정보 보호 및 책임 있는 AI가 기본 제공되는 생성형 AI 애플리케이션을 구축하는 데 필요한 다양한 기능을 제공합니다. 이러한 기능은 다양한 산업 분야의 여러 사용 사례에 맞는 맞춤형 애플리케이션을 구축하여 조직이 고객의 신뢰와 데이터 거버넌스를 보장하면서 생성형 AI를 통해 지속적인 성장을 이루도록 하는 데 도움이 됩니다. Amazon Bedrock의 Intelligent Prompt Routing을 사용하는 고객은 다양한 파운데이션 모델(FM)을 조합하여 비용 효율적인 생성형 AI 애플리케이션을 구축함으로써 단일 파운데이션 모델(FM)을 사용하는 방식에 비해 성능은 높이고 비용은 줄일 수 있습니다.
평가판 제공 기간 동안 고객에게는 요청이 라우팅되는 모델의 일반 온디맨드 요금이 적용됩니다. 자세한 내용은 설명서 및 블로그를 참조하세요.