이커머스 부정 반품 요청, AI로 차단한다: Amazon Nova Fine-tuning으로 산업 특화 가드레일 구성하기

요약: 패션 이커머스에서 급증하는 부정 반품 요청을 사전에 차단하기 위해 Amazon Nova 2 Lite 모델을 미세 조정(Fine-tuning)하여 도메인 특화 Custom Guardrail을 구축한 사례를 소개합니다. Fine-tuning을 통해 부정 의도 탐지 정확도를 73.0%에서 94.6%로 21.6%p 향상시켰으며, 비용 효율적인 소형 모델로도 우수한 성능을 달성했습니다.

서론: 패션 이커머스가 직면한 반품 부정 행위 문제

패션 이커머스 업계는 다른 소매업에 비해 유난히 높은 반품률로 어려움을 겪고 있습니다. 여러 업계 분석을 종합하면 온라인 의류 반품률은 통상 20–30% 수준으로, 오프라인 소매 평균인 8–10%와 큰 차이를 보입니다. 일부 럭셔리 패션이나 신발 카테고리는 이를 훨씬 상회하기도 합니다 [1].

더 주목할 부분은 부정 반품의 규모입니다. NRF와 Appriss Retail의 2023년 보고서에 따르면 전체 반품의 약 13.7%가 사기·남용에 해당하며, 이로 인한 연간 손실은 약 1,000억 달러에 달합니다 [2]. 대표적인 유형이 이른바 ‘워드로빙(Wardrobing)’—행사에 착용 후 반품하는 행위—으로, 조사 대상 소매업체의 약 49%가 경험했다고 응답했습니다 [1]. 예를 들어 “결혼식에 이 원피스 입고 갔어요. 택은 그대로인데 반품할게요.”, “인스타용으로 착용샷만 찍고 반품할게요.” 와 같은 요청을 의미합니다. 소비자 측면에서는 Optoro의 2024년 설문(미국 소비자 573명 대상)에서 응답자의 69%가 워드로빙 경험이 있다는 결과도 있습니다 [3].

주요 부정 반품 유형

이러한 부정 행위를 막기 위해 기업들은 수동 검토 프로세스를 운영하지만, 이는 고객 경험 저하와 운영 비용 증가로 이어집니다. 저희는 이 문제를 AI로 해결하기 위해 단계적으로 접근했습니다. 837개의 데이터셋을 만들고, 이를 바탕으로 모델의 정확도를 개선했습니다. 이 과정에서 얻은 인사이트와 구축 방법을 공유합니다.

왜 Custom Guardrail이 필요한가?

최근 많은 기업들이 고객 서비스에 AI 에이전트를 도입하고 있습니다. 하지만 일반적인 대형 언어 모델(LLM)은 “친절하게 도와주려는” 특성 때문에 부정한 요청도 수용하려는 경향이 있습니다.

참고: Amazon Bedrock에는 기본 제공되는 Guardrails 기능이 있지만, 이는 범용적인 안전 필터입니다. 본 프로젝트에서 구축하는 Custom Guardrail은 패션 이커머스 반품 도메인에 특화된 의도 분류 모델로, Fine-tuning을 통해 도메인 고유의 부정 패턴을 정밀하게 탐지하게 만들 수 있습니다.

저희는 요청을 두 가지로 분류했습니다. “Safe”는 AI 에이전트가 처리해도 되는 정상 문의, “Unsafe”는 AI에이전트에 닿기 전에 차단해야 할 부정 의도 요청입니다. 저희가 테스트한 결과, Claude Sonnet 4.6 같은 우수한 성능의 모델도 부정 의도가 있는 요청(“Unsafe”)은 59.5%만 탐지했으며, Qwen3-32B 같은 오픈 소스 모델은 단 5.4%만 탐지했습니다. 즉, 우수한 모델도 도메인 특화 학습 없이는 부정 요청을 충분히 차단하지 못합니다.

고객 문의 → [대형 LLM만 사용] → 부정 요청도 친절하게 처리 → 정책 위반 발생

이 문제를 해결하기 위해 저희는 Custom Guardrail이라는 개념을 도입했습니다. 고객 문의가 AI 에이전트에 도달하기 전에, Fine-tuning된 분류 모델이 먼저 부정 의도를 탐지하여 차단하는 것입니다.

고객 문의 → [Custom Guardrail] → Safe → AI 에이전트 (정상 처리)
                             → Unsafe → 즉시 거부 (정책 안내)

Safe vs Unsafe: 핵심 구분 기준

Custom Guardrail의 핵심은 “의도”를 파악하는 것입니다. 같은 상황이라도 정직하게 질문하는 것과 속이려는 의도는 완전히 다르게 처리해야 합니다.

솔루션 아키텍처

전체 시스템 구성

저희가 구축한 솔루션은 크게 두 단계로 나뉩니다:

Custom Guardrail 구축 (Fine-tuning Pipeline)

Custom Guardrail 구축 과정

데이터 준비부터 모델 학습, 평가까지의 전체 Fine-tuning 파이프라인입니다. Amazon Bedrock의 Custom Models의 supervised fine-tuning 기능을 활용하여 Nova 2 Lite 모델을 도메인 특화 모델로 변환합니다.

Custom Guardrail 적용 (Inference Pipeline)

Custom Guardrail 사용 과정

고객과 AI 에이전트 사이에 Custom Guardrail이 위치합니다. 부정한 요청은 즉시 차단하고, 정당한 요청만 AI 에이전트에 전달합니다.

왜 Amazon Nova 2 Lite인가?

Custom Guardrail은 모든 고객 문의가 거치는 길목에서 실시간으로 동작하기 때문에, 정확도뿐 아니라 응답 지연과 호출 당 비용이 모델 선택의 핵심 기준이 됩니다. 대형 모델은 범용 정확도가 높더라도 추론 비용과 지연이 크고, 도메인 특화 부정 탐지에는 오히려 소형 모델 Fine-tuning이 더 효과적입니다. 아래 기준으로 Amazon Nova 2 Lite를 선택했습니다.

데이터셋 구성

데이터셋 개요

Fine-tuning을 위해 837개의 한국어 샘플로 구성된 데이터셋을 구축했습니다. 데이터는 템플릿 기반으로 합성 생성되었으며, 상품 카테고리(의류, 신발, 가방, 액세서리), 이벤트, 제조 결함 등의 변수 풀을 조합하여 다양한 시나리오를 자동으로 생성했습니다.

데이터 생성 스크립트는 GitHub에서 확인할 수 있습니다.

데이터셋 진화 과정

데이터셋은 한 번에 구축된 것이 아니라, 3단계에 걸쳐 점진적으로 확장되었습니다:

각 단계에서 모델을 재학습하고 평가한 결과, 데이터셋 확장에 비례하여 정확도가 점진적으로 향상되었습니다. 이는 소량 데이터에서 시작하더라도 체계적인 확장을 통해 충분한 성능을 달성할 수 있음을 보여줍니다.

카테고리 분류

Unsafe 카테고리 (8가지, 402 샘플)

부정 의도는 하나의 형태가 아니라 다양한 방식으로 나타나므로, 402개의 Unsafe 샘플을 8개 카테고리로 세분화했습니다. 워드로빙(135개)과 워드로빙 전략(79개)이 전체 Unsafe의 절반 이상을 차지하고, 그 외 시스템 우회·계정 우회·택 조작·허위 불량/손상 주장·정책 남용이 포함됩니다. 이렇게 세분화하면 학습 데이터의 다양성을 확보하고 카테고리별 탐지 성능을 개별적으로 추적할 수 있습니다.

Fine-tuning 파이프라인

이제 만든 데이터셋을 바탕으로 Bedrock의 Custom Models의 supervised fine-tuning 기능을 활용하여 Nova 2 Lite 모델을 미세 조정하는 방법에 대해 소개드리겠습니다. Github의 스크립트를 바탕으로 순차적으로 실행하실 수 있습니다.

실행 단계

환경 설정

# AWS 자격 증명 설정
aws configure

# 의존성 설치
pip install boto3 tqdm python-dotenv

데이터 검증 및 변환

# 데이터셋 무결성 검증
python data-preparation/validate_dataset.py

# Nova 형식으로 변환
python data-preparation/convert_to_nova_format.py

Fine-tuning 실행

python fine-tuning/run_fine_tuning.py

이 스크립트는 다음 작업을 자동으로 수행합니다:

• Amazon Simple Storage Service (Amazon S3) 버킷 생성 및 Bedrock 접근 정책 설정
• 훈련 데이터를 S3에 업로드
• AWS Identity and Access Management (IAM) 역할 확인/생성
• Bedrock Custom Model 작업 시작
• 완료까지 상태 모니터링

하이퍼파라미터

데이터셋이 837개로 비교적 작기 때문에 과적합을 피하기 위해 에포크는 3회로 제한했습니다. 배치 크기 1과 1e-5의 낮은 학습률은 사전학습된 Nova 2 Lite의 일반 언어 능력을 유지하면서 도메인 특화 패턴만 안정적으로 학습시키기 위한 설정이며, Amazon Bedrock Fine-tuning의 권장 기본값을 따릅니다.

프로덕션 적용 가이드

Custom Model 배포

Fine-tuning 완료 후, 추론을 위해 Custom Model Deployment를 생성해야 합니다.

Fine-tuning이 완료되면 학습된 가중치가 별도의 커스텀 모델로 생성되며, 추론에 사용하려면 배포(Deployment)가 필요합니다. 배포 방식은 Provisioned Throughput과 On-Demand 두 가지입니다. Provisioned Throughput은 처리량(Model Unit)을 사전에 예약해 일정 비용이 지속적으로 발생하므로 대규모·고정 트래픽에 적합한 반면, On-Demand는 호출량 기반으로 과금되어 트래픽이 가변적인 가드레일 용도에 더 경제적입니다. 따라서 본 예제에서는 On-Demand 배포를 권장합니다.

AWS Console에서 생성:

1. Amazon Bedrock 콘솔 접속
2. Custom models → 생성된 모델 선택
3. “Setup Inference” 선택 후 “Deploy for on-demand” 선택 (Provisioned Throughput도 가능하나, Nova는 On-demand가 권장됨)
4. 배포 완료 후 Deployment ARN 확인

평가 실행

평가는 학습에 전혀 사용하지 않은 84개 테스트셋(Unsafe 37개, Safe 47개)으로 진행합니다. 모델의 응답 텍스트를 규칙 기반으로 분류하는데, ‘죄송하지만’, ‘불가합니다’, ‘허용되지 않’, ‘금지’ 같은 거부 표현이 우세하면 Unsafe(차단)로, ‘도움을 드리겠습니다’, ‘반품 가능합니다’ 같은 처리 표현이 우세하면 Safe(통과)로 판정합니다. Base 모델과 Fine-tuned 모델을 동일한 기준으로 비교하여 전체 정확도, 레이블별(Safe/Unsafe) 정확도, 그리고 13개 카테고리별 정확도를 측정합니다.

# Base 모델 평가
python evaluation/evaluate_nova.py

# Fine-tuned 모델 평가
python evaluation/evaluate_nova.py --finetuned --deployment-arn <DEPLOYMENT_ARN>

비용 고려사항

비용은 크게 두 시점에서 발생합니다. Fine-tuning은 학습에 사용된 토큰 수에 비례해 1회성으로 과금되고, 배포 후 추론 비용은 방식에 따라 달라집니다. On-Demand는 실제 호출한 입력·출력 토큰만큼만 과금되어 유휴 비용이 없으므로 트래픽이 가변적인 가드레일에 경제적이고, Provisioned Throughput은 처리량을 예약해 시간당 고정 비용이 발생하므로 대량·고정 트래픽에 적합합니다. 소형 모델인 Nova 2 Lite를 사용하면 대형 모델 대비 학습과 추론 비용을 모두 크게 낮출 수 있습니다.

성능 평가 결과

모델별 성능 비교

84개의 테스트 샘플로 평가한 결과입니다:

* Base 대비 Fine-tuned 향상폭 — 전체 정확도 +8.3%p, Unsafe 탐지 +21.6%p (Safe 정확도는 -2.1%p). 위 표의 Base·Fine-tuned 행에서 직접 도출됩니다.

카테고리별 성능

Fine-tuning 후 100% 탐지율을 달성한 카테고리:

• Wardrobing Strategy (일시적 사용 계획)
• Tag Manipulation (택 조작 요청)
• False Damage Claim (허위 손상 주장)
• Policy Abuse (과도한 브래킷팅)
• Fraud Bypass (계정 제한 해제)
• Wardrobing (행사 착용 후 반품 시도)
• False Defect Claim (허위 불량 주장)

특히 Base 모델이 자주 놓치던 핵심 부정 패턴을 Fine-tuning이 완벽히 탐지하게 되었습니다(워드로빙 60%→100%, 워드로빙 전략 71.4%→100%, 택 조작 33.3%→100%). 반면 정책 문의 같은 일부 Safe 카테고리는 모델이 더 보수적으로 판단해 차단하는 경향이 생기면서 Safe 정확도가 소폭 하락했는데(85.1%), 가드레일에서는 부정 요청을 놓치지 않는 것이 더 중요하므로 수용 가능한 트레이드오프입니다.

이 결과가 의미하는 바는 명확합니다: 작은 모델 + Fine-tuning이 Claude Sonnet 4.6 같은 대형 모델을 그대로 사용하는 것보다 훨씬 효과적입니다.

핵심 인사이트

기존 모델의 한계

Nova 2 Lite (Base)나 Qwen3-32B, Claude Sonnet 4.6와 같은 기존 모델은 정당한 요청은 잘 처리하지만(Safe 87.2~100%), 부정 의도는 충분히 탐지하지 못하는 경우가 있는 것을 확인했습니다. Qwen3-32B은 5.4%, Claude Sonnet 4.6도 59.5%에 그쳤습니다. 이는 기존 모델이 “도움을 주려는” 특성 때문에 도메인 특이적인 부정 요청도 수용하려 하기 때문입니다. 우수한 성능을 갖는 모델이라도 도메인 특화 학습 없이는 Custom Guardrail 용도에서 충분한 탐지 성능을 발휘하기 어려운 것을 확인했습니다.

Fine-tuning의 가치

837개의 도메인 특화 샘플로 Fine-tuning한 결과, Fine-tuning 한 모델이 기존 모델을 크게 능가했습니다. 특히 Unsafe 탐지에서 21.6%p 향상은 실제 비즈니스에서 상당한 성능 향상을 가져옵니다. Claude Sonnet 4.6(59.5%)보다도 35%p 높은 Unsafe 탐지율(94.6%)을 달성하여, 작은 모델 + Fine-tuning로도 대형 모델보다 특정 도메인에 특화된 Guardrail 용도로는 더 효과적으로 사용될 수 있음을 확인했습니다.

결론 및 향후 계획

주요 성과

Amazon Nova 2 Lite Fine-tuning을 통해 다음의 효과를 확인했습니다.

• Unsafe 탐지 94.6%: 부정 반품 요청의 대부분을 사전 차단
• 핵심 사기 패턴 완벽 탐지: 7개 카테고리에서 100% 탐지율
• 소형 모델로 성능 향상: 소형 모델 Nova 2 Lite를 Fine-tuning해 Unsafe 탐지에서 다른 우수한 모델들보다 더 높은 성능을 보이게 할 수 있는 것을 확인했습니다.

프로덕션 권장 사항

패션 이커머스에서 반품 부정 행위 차단을 위한 Custom Guardrail로 Nova 2 Lite Fine-tuned 모델을 활용하실 수 있습니다.

향후 성능 개선 및 적용 방향

1. 데이터셋 확장: 더 다양한 부정 패턴 추가
2. 멀티모달 탐지: 이미지 기반 불량 신고 검증
3. 실시간 학습: 새로운 부정 패턴 탐지 시 모델 업데이트
4. A/B 테스트: 실제 트래픽에서 Custom Guardrail 효과 측정

산업별 패턴 적용

이번 프로젝트에서 핵심적으로 검증된 것은 단순한 반품 탐지 기술이 아닙니다. “소량의 도메인 특화 데이터 + Fine-tuning = 비용 효율적이고 정밀한 의도 분류 모델” 이라는 패턴 자체입니다. 이 접근법은 다음과 같이 다양한 산업에 직접 적용할 수 있습니다.

공통적으로 필요한 것은 해당 도메인의 정상/비정상 요청 패턴에 대한 수백 개 수준의 레이블 데이터뿐입니다. 전문적인 ML 엔지니어링 없이도 Amazon Bedrock의 Fine-tuning 기능을 활용해 수 일 내에 도메인 특화 가드레일을 구축할 수 있습니다.

AI 에이전트가 고객과 직접 상호작용하는 시대에, “무엇을 할 수 있는가” 못지않게 “무엇을 막아야 하는가” 를 모델에 학습시키는 것이 신뢰 있는 AI 서비스의 핵심 조건이 될 것입니다. 이번 사례가 그 첫걸음을 내딛으려는 팀들에게 실질적인 참고가 되기를 바랍니다.

관련 리소스

• Amazon Bedrock Custom Models 문서
• Nova 모델 Fine-tuning 가이드
• 프로젝트 GitHub 저장소

이 블로그 게시물은 Amazon Nova를 활용한 도메인 특화 Custom Guardrail 구축 사례를 다룹니다. 비슷한 사례를 구축하고 싶으시다면 AWS 담당자에게 문의해 주세요.