Amazon Bedrock Guardrails 자동 추론 검사 정식 출시 – 최소 AI 환각을 통해 최대 99% 검증 정확도 제공

오늘, AWS re:Invent에서 미리 선보인 새로운 Amazon Bedrock Guardrails 정책인 자동 추론 검사(Automated Reasoning checks)가 정식 버전으로 출시되었습니다. 자동 추론 검사를 통해 파운데이션 모델(FM)이 생성한 콘텐츠의 정확성을 도메인 지식과 비교 검증할 수 있습니다. 이는 AI 할루시네이션으로 인한 사실 오류를 방지하는 데 도움이 될 수 있습니다. 이 정책은 수학 논리 및 형식 검증 기법을 사용하여 정확성을 검증하고 AI 응답의 정확성을 검사하는 데 사용할 결정적 규칙 및 파라미터를 제공합니다.

이 접근 방법은 결과에 확률을 부여하여 불확실성을 다루는 확률론적 추론 방법과 근본적으로 다릅니다. 실제로 자동 추론 검사는 검증 정확도가 최대 99%에 달해, AI 할루시네이션을 탐지하는 데 입증 가능한 확신을 제공하는 동시에 모델 출력에 두 가지 이상의 해석이 가능할 경우 모호성 탐지를 지원합니다.

이번 정식 출시를 통해 다음과 같은 새로운 기능을 사용할 수 있습니다.

• 단일 빌드로 최대 80K 토큰의 대용량 문서 지원 – 광범위한 문서를 처리 가능(최대 100페이지의 콘텐츠를 추가할 수 있는 것을 확인함)
• 간소화된 정책 검증 – 검증 테스트를 저장하고 반복적으로 실행하므로 시간이 지나도 정책 유지 관리 및 검증이 더 용이
• 자동화된 시나리오 생성 – 정의에서 자동으로 테스트 시나리오를 생성하므로 시간과 노력을 절약하면서도 적용 범위를 더욱 확장 가능
• 정책 피드백 개선 – 정책 변경 제안을 자연어로 제공하므로 간편하게 정책 개선 가능
• 사용자 지정 가능한 검증 설정 – 특정 요구 사항에 맞게 신뢰도 점수 임곗값을 조정하여 검증 엄격성을 보다 효과적으로 제어 가능

이제 실제로 어떻게 작동하는지 알아보겠습니다.

Amazon Bedrock Guardrails 자동 추론 검사 시작하기
자동 추론 검사를 사용하려면 먼저 지식 도메인의 규칙을 자동 추론 정책으로 인코딩한 다음, 해당 정책을 사용하여 생성된 콘텐츠를 검증합니다. 다음 시나리오에서는 누가 모기지 대출을 받을 자격이 있는지 평가하는 AI 어시스턴트를 보호하기 위해 모기지 대출 승인 정책을 생성하겠습니다. AI 시스템의 예측이 모기지 대출 승인을 위해 제정된 규칙 및 지침에서 벗어나지 않는 것이 중요합니다. 이러한 규칙 및 지침은 자연어로 작성된 정책 문서에 수록되어 있습니다.

Amazon Bedrock 콘솔의 탐색 창에서 자동 추론을 선택하여 정책을 생성합니다.

정책의 이름 및 설명을 입력하고 정책 문서의 PDF 파일을 업로드합니다. 이름 및 설명은 단지 메타데이터이며 자동 추론 정책을 구축하는 데 도움이 되지 않습니다. 소스 콘텐츠에 대한 설명을 입력하여 형식 논리로 변환하는 방법에 대한 컨텍스트를 추가합니다. 예를 들어 AI 어시스턴트의 샘플 Q&A를 포함하여 애플리케이션에서 어떻게 정책을 사용할 계획인지 설명합니다.

정책이 준비되면 개요 페이지에 정책 세부 정보와 테스트 및 정의의 요약이 표시됩니다. 드롭다운에서 Definitions를 선택하여 자연어 정책을 형식 논리로 변환하기 위해 생성한 규칙, 변수, 유형으로 구성된 자동 추론 정책을 살펴봅니다.

규칙은 정책에서 변수가 어떻게 관련되어 있고 생성된 콘텐츠를 평가할 때 어떻게 사용되는지 설명합니다. 예를 들어, 이 경우에는 “적용할 임곗값은 무엇이고 일부 결정이 내려지는 방법은 무엇인가?”입니다. 추적을 위해 각 규칙마다 고유한 ID가 있습니다.

변수는 원래 자연어 문서에서 사용되는 주요 개념을 나타냅니다. 각 변수는 하나 이상의 규칙에 관련됩니다. 변수를 통해 복잡한 구조를 더 쉽게 이해할 수 있습니다. 이 시나리오에서는 일부 규칙이 계약금 또는 신용 점수를 확인해야 합니다.

사용자 지정 유형은 부울 또는 숫자가 아닌 변수에 대해 생성됩니다. 예를 들어, 제한된 수의 값만 가질 수 있는 변수가 이에 해당합니다. 이 경우, 정책에는 보험 및 일반 모기지 대출의 두 가지 유형이 설명되어 있습니다.

이제 테스트를 통해 초기 자동 추론 정책의 품질을 평가할 수 있습니다. 드롭다운에서 Tests를 선택합니다. 여기에서 입력(선택 사항) 및 출력(예: 고객과 AI 어시스턴트의 상호 작용에서 나오는 질문 및 가능한 답변)으로 구성된 테스트를 수동으로 입력할 수 있습니다. 그런 다음 자동 추론 검사의 예상 결과를 설정합니다. 예상 결과는 유효(답변이 올바름), 유효하지 않음(답변이 올바르지 않음) 또는 만족할 수 있음(답변이 특정 가정에 따라 참 또는 거짓일 수 있음)일 수 있습니다. 또한 쿼리/콘텐츠 쌍을 자연어에서 논리로 변환할 때 적용할 신뢰도 임곗값을 지정할 수도 있습니다.

테스트를 수동으로 입력하기 전에 정의에서 자동으로 시나리오를 생성하는 옵션을 사용합니다. 이는 (논리 전문가가 아니라면) 정책을 검증하는 가장 쉬운 방법이며 정책 생성 이후 첫 번째 단계여야 합니다.

생성된 시나리오 각각에 대해 발생 가능(만족할 수 있음) 또는 불가능(유효하지 않음)을 나타내는 예상 검증을 제공합니다. 발생할 수 없는 시나리오의 경우 정의를 업데이트하는 데 사용할 수 있는 주석을 추가할 수 있습니다. 생성된 시나리오에 대한 보다 심층적 이해를 위해 SMT-LIB 구문을 사용하여 테스트의 형식 논리 표현을 표시할 수 있습니다.

시나리오 생성 옵션을 사용한 후 몇 가지 테스트를 수동으로 입력합니다. 이러한 테스트에 대한 예상 결과를 서로 다르게 설정합니다. 일부는 정책을 준수하기 때문에 유효하고, 일부는 정책을 위반하기 때문에 유효하지 않고, 일부는 결과가 특정 가정에 따라 달라지기 때문에 만족할 수 있기 때문입니다.

그런 다음 Validate all tests를 선택하여 결과를 확인합니다. 이 경우 모든 테스트가 통과했습니다. 이제 정책을 업데이트할 때 이러한 테스트를 사용하여 변경 사항이 오류를 유발하지 않았는지 확인할 수 있습니다.

각 테스트에 대한 검사 결과를 볼 수 있습니다. 테스트가 통과하지 못한 경우 테스트가 실패하게 만든 모순이 포함되어 예상 결과와 반대되는 결과를 생성한 규칙을 살펴볼 수 있습니다. 이 정보를 사용하여 정책을 개선하거나 테스트를 수정하기 위해 주석을 추가해야 하는지 여부를 파악할 수 있습니다.

이제 테스트 결과에 만족하므로 최대 2개의 자동 추론 정책을 사용하여 AI 어시스턴트의 응답 유효성을 확인하기 위한 새 Amazon Bedrock 가드레일을 생성(또는 기존 가드레일을 업데이트)할 수 있습니다. Guardrails에서 제공하는 6개 정책은 모두 모듈식이며 함께 사용할 수도 있고 개별적으로 사용할 수도 있습니다. 예를 들어, 자동 추론 검사는 콘텐츠 필터링 및 컨텍스트 그라운딩 근거 검사와 같은 다른 보호 장치와 함께 사용할 수 있습니다. 가드레일은 ApplyGuardrail API를 통해 Amazon Bedrock에서 제공하는 모델 또는 서드 파티 모델(예: OpenAI 및 Google Gemini)에 적용할 수 있습니다. 또한 Amazon Bedrock AgentCore를 사용하여 배포한 에이전트를 포함하여 Strands Agents와 같은 에이전트 프레임워크에서도 가드레일을 사용할 수 있습니다.

이제 정책을 설정하는 방법을 살펴보았으니, 자동 추론 검사가 실제로 어떻게 사용되는지 살펴보겠습니다.

고객 사례 연구 – 유틸리티 공급 중단 관리 시스템
정전이 발생하면 1분 1초가 중요해집니다. 이것이 바로 전력회사가 정전 관리 시스템을 개선하기 위해 AI 솔루션으로 눈을 돌리는 이유입니다. AWS는 이 분야의 솔루션을 개발하기 위해 PwC와 협력했습니다. 자동 추론 검사를 사용하면 유틸리티 회사가 다음을 통해 운영을 간소화할 수 있습니다.

• 자동 프로토콜 생성 – 규제 요구 사항을 충족하는 표준화된 절차를 생성
• 실시간 계획 검증 – 대응 계획이 수립된 정책을 준수하도록 보장
• 구조화된 워크플로 생성 – 정의된 대응 목표를 사용하여 심각도 기반 워크플로를 개발

이 솔루션의 핵심은 지능형 정책 관리와 최적화된 대응 프로토콜을 결합하는 데 있습니다. 자동 추론 검사는 AI 생성 응답을 평가하는 데 사용됩니다. 응답이 유효하지 않음 또는 만족할 수 있음으로 확인되면 자동 추론 검사 결과를 사용하여 응답을 다시 작성하거나 개선합니다.

이 접근 방식은 AI가 어떻게 기존 유틸리티 회사 운영을 더 효율적이고 안정적이며 고객 요구에 더 효과적으로 대응할 수 있도록 혁신하는지 보여줍니다. 수학적 정밀도를 실제 요구 사항과 결합한 이 솔루션은 유틸리티 부문의 공급 중단 관리에 대한 새로운 표준을 설정합니다. 그 결과, 대응 시간이 단축되고 정확도가 향상되며 유틸리티 회사와 고객 모두의 성과가 개선됩니다.

PwC의 글로벌 및 미국 상업 기술 및 혁신 책임자인 Matt Wood는 이렇게 말합니다.

“PwC에서는 고객이 안심하고 AI 파일럿 단계에서 프로덕션 단계로 전환할 수 있도록 돕고 있습니다. 실수로 인한 비용이 겉으로 드러나는 것 이상으로 측정되는 규제가 엄격한 산업에서는 더욱 그렇습니다. 자동 추론 검사에 대한 AWS와의 협력은 책임 있는 AI의 획기적인 발전입니다. 수학적으로 평가된 보호 장치가 이제 Amazon Bedrock Guardrails에 직접 포함되기 때문입니다. 신뢰가 기능이 아니라 필수인 제약, 유틸리티, 클라우드 규정 준수와 같은 부문에서 이러한 혁신을 실현하는 AWS의 출시 협업기업이 된 것을 자랑스럽게 생각합니다.”

알아야 할 사항
Amazon Bedrock Guardrails의 자동 추론 검사는 현재 미국 동부(오하이오, 버지니아 북부), 미국 서부(오리건) 및 유럽(프랑크푸르트, 아일랜드, 파리) AWS 리전에서 정식 버전으로 사용할 수 있습니다.

자동 추론 검사를 사용하면 처리된 텍스트의 양을 기준으로 비용을 지불합니다. 자세한 내용은 Amazon Bedrock 요금 페이지를 참조하세요.

자세히 알아보고 안전한 AI 애플리케이션을 구축하려면 기술 문서 및 GitHub 코드 샘플을 참조하세요. Amazon Bedrock 콘솔에 직접 액세스하려면 이 링크를 클릭하세요.

이 재생 목록의 동영상에는 자동 추론 검사 소개, 심층 분석 프레젠테이션, 정책 생성, 테스트 및 개선을 위한 실습 자습서가 포함되어 있습니다. 이 동영상은 재생 목록의 두 번째 동영상입니다. 제 동료 Wale이 본 기능에 대한 멋진 소개를 제공합니다.

– Danilo