Guardrails for Amazon Bedrock, 서비스 할당량 한도 상향 조정 발표
Guardrails for Amazon Bedrock은 증가하는 트래픽에 맞춰 생성형 AI 애플리케이션을 확장할 수 있도록 기본 서비스 할당량 한도를 늘린다고 발표했습니다. Guardrails for Amazon Bedrock은 다양한 범주와 프롬프트 공격에서 바람직하지 않은 유해 콘텐츠를 필터링할 수 있는 구성 가능한 가드레일, 특정 주제를 정의하고 불허하는 주제 필터, 개인 식별 정보(PII)를 삭제하기 위한 민감한 정보 필터, 특정 단어를 차단하는 단어 필터를 제공하고, 모델 응답의 근거 및 관련성을 탐지하여 모델 할루시네이션을 탐지하고 자동 추론을 사용하여 모델 응답에서 사실적 주장을 식별, 수정 및 설명합니다. 이러한 정책은 특정 사용 사례와 책임 있는 AI 정책에 맞게 조정할 수 있습니다. Guardrails는 Amazon Bedrock으로 호스팅되는 모델, 자체 호스팅 모델, ApplyGuardRail API를 사용하는 서드 파티 모델 등 모든 파운데이션 모델에 적용할 수 있어 일관된 사용자 경험을 제공하고 안전 및 개인 정보 보호 제어를 표준화할 수 있습니다.
오늘부터 Guardrails for Amazon Bedrock을 사용하면 서비스 할당량 한도 증가를 통해 더 많은 트래픽 로드에 맞춰 생성형 AI 애플리케이션을 확장할 수 있으므로, 더 많은 초당 트랜잭션(TPS)과 초당 텍스트 단위(TUPS)를 처리할 수 있습니다. 이번 증가 덕분에, 이제 ApplyGuardRail API를 사용하여 초당 최대 50건의 직접 호출을 처리할 수 있습니다. 이는 기존 한도인 초당 25건의 직접 호출에서 2배 증가한 수치입니다. 콘텐츠 필터, 민감한 정보 필터 및 워드 필터는 이제 최대 200개의 TUPS까지 처리할 수 있으며, 이는 기존 한도인 25 TUPS에서 8배 증가한 수치입니다.
이러한 한도 증가는 미국 동부(버지니아 북부) 및 미국 서부(오리건) AWS 리전에서 지원됩니다.
자세한 내용은 기술 설명서 및 Guardrails for Amazon Bedrock 제품 페이지에서 확인하세요.