AgentCore Gateway, 이제 Bedrock InvokeModel API와 모델 폴백 지원
Amazon Bedrock AgentCore Gateway가 이제 추론 트래픽에 대한 모델 폴백 라우팅과 함께 추론 엔드포인트에서 Amazon Bedrock의 InvokeModel 및 InvokeModelWithResponseStream API를 지원합니다. InvokeModel 지원으로, 기존 Amazon Bedrock SDK 통합을 게이트웨이로 지정하고, 관리 중인 단일 엔드포인트를 통해 다양한 모델 제공업체에 도달할 수 있습니다. 제공업체별 클라이언트 코드를 다시 쓸 필요가 없습니다. 모델 폴백 기능을 사용하면, 기본 대상이 스로틀링되거나 용량이 초과되었거나 연결할 수 없는 경우 게이트웨이가 자동으로 요청을 대체 모델이나 제공자로 라우팅하므로, 각 클라이언트가 별도의 재시도 로직을 구현하지 않아도 에이전트를 계속 사용할 수 있습니다.
폴백 라우팅의 경우, 스로틀링, 서버 오류 또는 응답 시간 초과 등 전환을 유발하는 조건과 함께 게이트웨이 규칙에서 대체 대상의 순서가 지정된 체인을 정의합니다. 내장된 회로 차단기는 현재 오류가 발생한 대상을 건너뛰므로, 요청이 정상 대상에 더 빨리 도달하고, 잘못된 재시도로 인해 지연 시간이 늘어나지 않습니다. 폴백 라우팅은 백그라운드에서 이루어지므로, 특정 요청에 대한 내부 시행착오에 관계없이 한 번 요청을 보내고 한 번 응답을 수신할 수 있습니다.
이러한 기능은 Amazon Bedrock AgentCore Gateway가 제공되는 모든 AWS 리전에서 사용할 수 있습니다(중국 제외). 자세히 알아보려면 Amazon BedRock AgentCore Gateway 사용 설명서를 참조하세요.