Amazon Bedrock, 이제 교차 리전 추론 지원
오늘, Amazon Bedrock은 개발자가 여러 AWS 리전에서 컴퓨팅을 활용하여 트래픽 버스트를 원활하게 관리할 수 있는 선택적 기능인 교차 리전 추론을 지원한다고 발표했습니다. 온디맨드 모드를 사용하는 Bedrock 고객은 교차 리전 추론 기능을 사용하여 더 높은 처리량 제한(할당된 리전 내 할당량의 최대 2배)을 확보하고 수요가 폭증하는 기간 동안 복원력을 강화할 수 있습니다. 이 옵션을 선택하면 개발자는 더 이상 수요 변동을 예측하는 데 시간과 노력을 들일 필요가 없습니다. 대신 교차 리전 추론이 여러 리전에 걸쳐 트래픽을 동적으로 라우팅하여 각 요청에 대해 최적의 가용성을 보장하고 사용량이 많은 기간 동안 더 원활한 성능을 보장합니다.
고객은 사전 정의된 일련의 리전에서 선택하여 추론 데이터의 흐름을 제어할 수 있으므로 해당 데이터 레지던시 요구 사항 및 주권 법률을 준수할 수 있습니다. 또한 이 기능은 가능한 경우 연결된 Bedrock API 소스 리전을 우선적으로 처리하여 지연 시간을 최소화하고 응답성을 개선하는 데 도움이 됩니다. 결과적으로 고객은 애플리케이션의 신뢰성, 성능, 효율성을 향상시킬 수 있습니다.
교차 리전 추론 기능을 사용하는 데 따른 추가 라우팅 비용은 없으며 요금은 요청을 한 리전(소스 리전)을 기준으로 계산됩니다. 지원되는 모델 및 사전 정의된 지역 목록은 여기에서 확인할 수 있습니다. 기능 및 시작 방법에 대해 자세히 알아보려면 Amazon Bedrock 설명서 또는 이 블로그를 살펴보세요.