Amazon Bedrock 지식 기반 시스템, 이제 교차 리전 추론 지원

게시된 날짜: 2024년 9월 13일

Amazon Bedrock 지식 기반 시스템은 개발자가 여러 AWS 리전에서 컴퓨팅을 활용하여 트래픽 버스트를 원활하게 관리할 수 있는 선택적 기능인 교차 리전 추론을 지원한다고 발표했습니다.

교차 리전 추론이 지원됨에 따라 RetrieveAndGenerate API를 사용하는 Amazon Bedrock 지식 기반 시스템 고객은 수요가 폭증하는 기간 동안 더 높은 처리량 한도를 확보하고 복원력을 강화할 수 있습니다. 이 옵션을 선택하면 개발자는 더 이상 수요 변동을 예측하는 데 시간과 노력을 들일 필요가 없습니다. 대신 교차 리전 추론이 여러 리전에 걸쳐 트래픽을 동적으로 라우팅하여 각 요청에 대해 최적의 가용성을 보장하고 사용량이 많은 기간 동안 더 원활한 성능을 보장합니다. 교차 리전 추론을 사용하려면 고객이 RetrieveAndGenerate API 요청에서 추론 프로파일을 ‘modelARN’으로 지정해야 합니다. 교차 리전 추론 기능을 사용하는 데 따른 추가 라우팅 비용은 없으며 요금은 요청을 한 리전(소스 리전)을 기준으로 계산됩니다.

지원되는 모델 및 사전 정의된 지역 목록은 여기에서 확인할 수 있습니다. 기능 및 시작 방법에 대해 자세히 알아보려면 Amazon Bedrock 설명서 또는 이 블로그를 살펴보세요.