개요
생성형 AI 기술을 채택하는 조직이 증가함에 따라 보안에 미치는 영향을 이해하는 것이 중요해지고 있습니다. ID 및 액세스 관리, 데이터 보호, 개인 정보 보호 및 규정 준수, 애플리케이션 보안, 위협 모델링과 같은 핵심 보안 분야는 다른 워크로드와 마찬가지로 생성형 AI 워크로드에서도 여전히 매우 중요합니다. 그러나 오랜 보안 관행을 강조하는 것을 넘어, 생성형 AI 워크로드가 야기하는 고유한 리스크와 추가 보안 고려 사항을 이해하는 것이 중요합니다.
생성형 AI 보안 범위 지정 매트릭스는 조직이 AI 수명 주기 전반의 보안 제어를 평가 및 구현할 수 있도록 설계된 포괄적인 프레임워크입니다. 보안 고려 사항을 특정 범주로 분류하므로 AI 애플리케이션 보안에 대한 집중적 접근이 가능합니다.
생성형 AI 보안 범위 지정 매트릭스
사용 사례를 분류하기 위한 멘탈 모델
범위 결정
첫 번째 단계는 사용 사례가 어느 범위에 해당하는지 결정하는 것입니다. 범위는 1번부터 5번까지 있으며 조직이 AI 모델 및 관련 데이터에 대해 보유하는 최소 소유권부터 최대 소유권까지 나타냅니다.
조직이 서드 파티 공개 생성형 AI 서비스를 무료 또는 유료로 사용합니다. 이러한 애플리케이션은 종종 ‘소비자 등급’ 애플리케이션이며 기업 또는 상업적 용도로는 적합하지 않을 수 있습니다. 이 범위에서는 훈련 데이터 또는 모델을 소유하거나 볼 수 없으며 수정하거나 증강할 수 없습니다. 공급업체의 서비스 약관에 따라 API를 간접적으로 호출하거나 애플리케이션을 직접 사용합니다.
예: 직원이 공개 웹 사이트를 통해 생성형 AI 채팅 애플리케이션과 상호 작용하여 예정된 마케팅 캠페인에 대한 아이디어를 구상합니다.
조직이 생성형 AI 기능을 내장한 서드 파티 엔터프라이즈 애플리케이션을 사용하며 조직과 공급업체 간에 비즈니스 관계가 성립합니다. 범위 2 애플리케이션에는 기업 고객을 대상으로 추가 보호 기능을 제공하도록 설계된 약관이 있는 경우가 많습니다.
예: 회의 안건 초안을 작성하는 데 도움이 되는 생성형 AI 기능이 내장된 서드 파티 엔터프라이즈 일정 관리 애플리케이션을 사용합니다.
조직이 기존의 서드 파티 생성형 AI 파운데이션 모델을 사용하여 자체 애플리케이션을 구축합니다. 이 애플리케이션을 애플리케이션 프로그래밍 인터페이스(API)를 통해 워크로드에 직접 통합할 수 있습니다.
예: 검색 증강 생성(RAG)을 사용하여 자체 데이터를 통합하고 Amazon Bedrock API를 통해 Anthropic Claude 파운데이션 모델을 활용하는 고객 지원 챗봇을 구축합니다.
조직이 비즈니스에 적합한 데이터로 기존 서드 파티 생성형 AI 파운데이션 모델을 미세 조정하고 워크로드에 특화된 새롭고 향상된 모델을 생성하여 파운데이션 모델을 개선합니다.
예: 전자 건강 기록(EHR) 시스템에서 환자 기록을 요약하려면 심층적인 의료 분야 전문 지식을 갖춘 모델이 필요합니다. 미세 조정을 통해 의사가 기대하는 스타일에 맞게 시스템 출력을 조정하고 분야별 용어에 대한 시스템 훈련을 제공할 수 있습니다.
조직이 소유 또는 획득한 데이터를 사용하여 처음부터 생성형 AI 모델을 빌드하고 훈련합니다. 사용자는 모델의 모든 측면을 소유합니다.
예: 조직이 슈퍼 슬로 모션 비디오 보간을 위한 사용자 지정 솔루션을 구축하는 등 고품질 비디오 콘텐츠를 생성하기 위한 모델을 빌드하는 것을 목표로 합니다. 모델을 특수 비디오 데이터로 훈련하면 미디어 및 엔터테인먼트 업계의 회사에 이 고급 비디오 제작 기술을 라이선스로 제공할 수 있습니다.
우선 사항
워크로드의 범위는 정해져 있으므로 이제 비즈니스를 빠르고 안전하게 발전시킬 수 있어야 합니다. 생성형 AI 보안 범위 지정 매트릭스에서는 다양한 유형의 생성형 AI 솔루션을 포괄하는 5가지 보안 분야를 식별합니다.
- 거버넌스 및 규정 준수 - 리스크를 최소화하면서 비즈니스 역량을 강화하는 데 필요한 정책, 절차 및 보고
- 법률 및 개인 정보 보호 - 생성형 AI 솔루션을 사용 또는 구축하기 위한 구체적인 규제, 법률 및 개인 정보 보호 요건
- 리스크 관리 - 생성형 AI 솔루션에 대한 잠재적 위협 및 권장 완화 방법을 식별
- 제어 - 리스크를 완화하는 데 사용되는 보안 제어를 구현
- 복원력 - 가용성을 유지하고 비즈니스 SLA를 충족하도록 생성형 AI 솔루션을 설계하는 방법
우선 순위를 정해야 하는 기회의 몇 가지 예를 살펴보겠습니다.
범위 전반의 보안 고려 사항
거버넌스 및 규정 준수
범위 1과 2를 관리할 때는 서비스 약관, 라이선스 계약 및 데이터 주권 요구 사항을 준수하는 것이 중요합니다. 범위 1 애플리케이션의 경우 서비스 제공업체가 제출된 데이터를 모델 또는 서비스를 개선하는 데 사용할 수 있으므로 공개적인 비독점 데이터를 사용하는 데 우선 순위를 둡니다. 범위 2 애플리케이션은 조직의 독점적이고 민감한 데이터를 보호하고 모델 훈련 또는 개선에 활용되지 않도록 하기 위해 강력한 제어, 계약을 통한 보호, 옵트아웃 옵션을 이용하여 개발해야 합니다. 이러한 애플리케이션은 일반적으로 기업 사용 사례에 맞춤화됩니다.
독점적이거나 민감한 비즈니스 데이터를 요약하거나, 고유한 인사이트를 생성하거나, 내부 프로세스를 자동화하는 등 조직 또는 고객의 니즈에 따른 고유한 작업을 위해 범위 3부터 5까지의 자체 애플리케이션을 구축해야 할 수도 있습니다. 이러한 범위에서는 데이터를 훈련하거나 미세 조정하거나 모델 출력으로 사용할 수 있습니다. 예를 들어 범위 3 LLM에서 데이터를 미세 조정하거나 훈련하는 경우가 아니더라도, 모델을 미세 조정하지 않고 검색 증강 생성(RAG), 지식 기반, 에이전트를 사용하여 모델 응답과 상황별 작업을 개선할 수 있습니다.
범위 4와 5에서는 PII와 같은 민감한 데이터를 피하면서 분야별 데이터를 기반으로 모델을 훈련합니다. 결과 모델이 훈련 중에 사용된 최고 수준의 데이터 민감도로 분류되도록 해야 합니다. 모델에서 추론을 실행할 수 있는 권한은 해당 분류 수준에 대해 승인된 사용자로 제한해야 합니다. PII와 같은 데이터나 자주 변경되는 트랜잭션 데이터의 경우, 모델 자체에 통합하기보다는 검색 증강 생성(RAG) 또는 에이전트 기반 워크플로를 사용하여 추론 중에 다시 추가하는 것이 좋습니다.
법률 및 개인 정보 보호
법률적 관점에서 서비스 제공업체의 최종 사용자 라이선스 계약(EULA), 서비스 약관(TOS), 범위 1~4의 서비스를 사용하는 데 필요한 기타 계약 약정을 모두 파악하는 것이 중요합니다. 범위 5의 경우 법무 팀은 모델의 외부 사용에 대한 자체 계약 서비스 약관을 제공해야 합니다. 범위 3과 범위 4의 경우 서비스 사용에 대한 서비스 제공업체의 법적 약관과 해당 서비스 내에서의 모델 사용에 대한 모델 제공업체의 법적 약관도 모두 검증해야 합니다.
또한 유럽 연합의 일반 데이터 보호 규정(GDPR)상 ‘삭제할 권리’ 또는 ‘잊혀질 권리’ 요건이 비즈니스에 적용되는 경우 개인 정보 보호 문제를 고려합니다. 요청 시 삭제해야 할 수 있는 데이터를 사용하여 모델을 훈련하거나 미세 조정할 때 나타날 수 있는 영향을 신중하게 고려합니다. 실질적으로 모델에서 데이터를 제거할 방법은 훈련 세트에서 데이터를 삭제하고 모델의 새 버전을 훈련하는 것뿐입니다. 이는 삭제할 데이터가 전체 훈련 데이터의 일부에 불과하고 모델의 크기로 인해 비용이 매우 많이 발생할 수 있는 경우에는 현실성이 없습니다.
리스크 관리
AI 지원 애플리케이션은 기존 애플리케이션과 비슷하지만 대규모 언어 모델(LLM)과의 상호 작용 특성상 추가적인 감시와 구체적인 가드레일이 필요합니다. 생성형 AI 워크로드와 관련한 리스크를 식별하고 완화 조치를 시작하는 것이 중요합니다.
리스크 식별은 일반적으로 리스크 평가 및 위협 모델링을 통해 수행할 수 있습니다. 범위 1과 2의 경우 서드 파티 제공업체로부터 발생하는 리스크를 평가하고 해당 업체의 리스크 완화 전략을 파악합니다. 또한 서비스 소비자로서의 리스크 관리 책임도 인식해야 합니다.
범위 3, 4, 5의 경우 프롬프트 인젝션과 같은 고유한 LLM 위협에 초점을 맞춰, AI 안전 및 데이터 보안 리스크를 모두 해결하는 위협 모델링을 구현합니다. 이러한 리스크에는 LLM 응답을 조작하여 잠재적으로 데이터 침해나 무단 액세스로 이어질 수 있는 입력 작성이 포함됩니다. NIST, MITRE 및 OWASP의 최근 지침에서는 프롬프트 인젝션을 SQL과 같은 기존 인젝션 공격에 필적하는 주요 위협으로 꼽고 있습니다. LLM에 도달하기 전에 세분화된 권한 부여와 데이터 필터링을 적용하여 이러한 리스크를 완화하고 추가 보호를 위해 Bedrock Guardrails를 사용합니다.
생성형 AI의 새로운 위협에 대해서는 기존의 사이버 보안 조치를 적용하는 한편, 개발 팀과 긴밀하게 협력하여 위협을 효과적으로 모델링하고 맞춤형 모범 사례를 수립해야 합니다.
제어
강력한 제어를 구현하는 것은 규정 준수, 정책 및 보안 요건을 적용하여 생성형 AI 워크로드와 관련한 리스크를 완화하는 데 매우 중요합니다. 주요 고려 사항 중 하나는 모델에 대한 ID 및 액세스를 관리하는 것입니다. 세분화된 보안 제어를 제공하는 기존 데이터베이스와 달리, 파운데이션 모델에는 모델 내에 저장된 데이터 또는 추론 시 제공되는 데이터에 대한 액세스 제어 개념이 없습니다. 따라서 데이터를 추론 요청에 컨텍스트로 추가하기 전에 데이터에 대한 최소 권한 액세스 제어를 구현하는 것이 필수적입니다.
이를 위해 Amazon Bedrock과 같은 엔드포인트를 통해 모델과 상호 작용하는 애플리케이션 계층을 활용할 수 있습니다. 이러한 계층은 Amazon Cognito 또는 AWS IAM Identity Center와 같은 자격 증명 솔루션을 통합하여 사용자를 인증하고 권한을 부여해야 합니다. 역할, 특성 및 사용자 커뮤니티별로 액세스를 맞춤화하면 특정 작업을 제한하고 민감한 데이터를 보호할 수 있습니다.
또한 AI 워크로드가 진화함에 따라 새로운 위협과 데이터 민감도의 변화에 대응할 수 있도록 제어 상태를 지속적으로 평가하고 업데이트하는 것이 중요합니다. 검색 증강 생성(RAG)과 같은 고급 기술을 통합하면 모델의 무결성을 손상시키지 않으면서 실시간 데이터를 제공할 수 있습니다. 이러한 전략은 지속적인 위협 모델링과 결합되어 생성형 AI 애플리케이션을 위한 안전하고 규정에 부합하는 환경을 유지하는 데 도움이 됩니다.
복원력
범위 3, 4, 5의 경우 복잡한 프롬프트와 응답을 고려하여 적절한 제한 시간을 설정해야 합니다. 프롬프트 입력 크기가 모델에 정의된 할당된 문자 제한을 넘지 않는지도 살펴보는 것이 좋습니다. 또한 백오프 및 재시도와 회로 차단기 패턴 같은 복원력이 뛰어난 설계에 대한 기존 모범 사례를 적용하여 원하는 사용자 경험을 구현하는 것도 고려합니다. 벡터 데이터베이스를 사용할 때는 다양한 장애 모드에 대비하여 고가용성 구성과 재해 복구 계획을 세우는 것이 좋습니다.
매우 중요한 워크로드를 위한 잠재적인 컴퓨팅 예약 또는 사전 프로비저닝 외에, 추론 및 훈련 모델 파이프라인 모두를 위한 인스턴스의 유연성도 중요한 아키텍처 고려 사항입니다. Amazon Bedrock 또는 SageMaker와 같은 관리형 서비스를 사용할 때는 다중 리전 배포 전략 구현 시의 AWS 리전 가용성과 기능 패리티를 검증해야 합니다. 마찬가지로 범위 4 및 5 워크로드에 대한 다중 리전 지원의 경우, 여러 리전 전반에서 미세 조정 또는 훈련 데이터의 가용성을 고려해야 합니다. SageMaker를 사용하여 범위 5에서 모델을 훈련하는 경우 체크포인트를 사용하여 모델을 훈련하면서 진행 상태를 저장합니다. 이렇게 하면 필요한 경우 마지막으로 저장한 체크포인트에서 훈련을 재개할 수 있습니다.
AWS Resilience Hub와 Well Architected Framework의 신뢰성 원칙 및 운영 우수성 원칙에 확립되어 있는 기존 애플리케이션 복구 모범 사례를 검토하고 구현해야 합니다.