매경AX의 생성형 AI 기반 오디오 팟캐스트 자동 생성 시스템 도입 여정

개요

매경AX는 매일경제신문사의 자회사로, 매경미디어그룹의 디지털 부문을 총괄하는 핵심 조직입니다. 2025년 디지털 전환(DX)을 넘어 ‘AI 전환(AI Transformation, AX)‘을 지향하며 사명을 ‘매경닷컴’에서 ‘매경AX’로 변경했습니다. 매경 AX는 단순한 뉴스 웹사이트를 넘어, AI 기술을 통해 콘텐츠의 가치를 극대화하고 개인 맞춤형 정보를 제공하는 ‘AI 지식 플랫폼’으로 발전 중입니다.

현재 매경AX는 독자가 질문을 입력하면 AI가 매경 콘텐츠를 기반으로 답변, 참고 기사 및 추가 질문 제안을 줄 수 있는 ‘AI 지식 검색‘, 장문의 기사를 AI를 활용해 3문장으로 요약 제공하는 ‘뉴스 요약‘, 독자가 기사를 본 뒤 궁금할 만한 질문을 AI 기반으로 자동 생성하는 ‘기사 추천 질문‘, 매경 기사를 영어, 일본어, 중국어 3개 국어로 변환하는 ‘다국어 변환‘, 주요 뉴스를 AI 음성으로 서비스하는 ‘AI 오디오‘ 등의 AI를 활용한 다양한 서비스를 제공하고 있습니다.

그러나 매경AX는 기존 서비스의 한계를 느끼고 있었습니다. 전통적인 지면 신문 구독자 수는 점차 감소하는 추세인 반면, 스마트폰과 무선 이어폰의 보편화로 출퇴근길이나 이동 중에 정보를 소비하는 ‘멀티태스킹’ 이용자는 증가하는 미디어 소비 패러다임의 변화로 기존의 서비스로는 독자의 욕구를 충족시키기 어려워졌습니다.

따라서 매경AX는 변화하는 미디어 소비 패러다임을 극복하고, 투자 결정과 경영 판단을 위해 누구보다 빠르고 정확한 정보를 필요로 하는 매경 핵심 독자들의 욕구를 충족시키기 위해 AWS와의 협업으로 AI 기반의 팟캐스트 시스템을 구축했습니다.

본 기술 블로그에서는 매경AX가 AWS의 서비스를 활용해 AI 기반의 팟캐스트 시스템을 구축하기까지의 여정을 소개드리고 이를 통해 어떤 성과를 얻을 수 있었는지 알아보고자 합니다.

배경

매경AX는 기존 AI기반 팟캐스트를 구현하기 위해 자체 LLM을 개발하는 등의 여러 대안을 검토했었습니다. 하지만 자체 LLM을 개발하는 것은 막대한 시간과 비용, 그리고 고도의 전문 인력이 필요하여 현실적으로 불가능하다는 결론에 도달하였습니다.

따라서 위의 문제를 해결하기 위해 매경AX는 대안을 위한 새로운 기준을 정립했습니다.

탄력성 : 서비스 수요에 따라 인프라를 유연하게 확장 및 축소할 수 있는가?
경제성 : 초기 투자 비용 부담이 적고, 사용한 만큼만 지불하는 합리적인 비용 구조인가?
단순함 : 복잡한 인프라 관리 없이 핵심 서비스 개발에만 집중할 수 있는가?
신뢰성 : 사실에 기반한 정확하고 일관된 결과물을 생성하는가? (환각 현상 최소화)

위 기준에 따라 매경AX가 선택한 솔루션은 Amazon Bedrock이었습니다. Amazon Bedrock은 수요에 따라 인프라가 유연하게 확장 및 축소되는 탄력성을 지니고 있으며, 사전 약정 없이 사용한 만큼만 지불하는 온디맨드 요금제를 제공해 경제성을 충족할 수 있었습니다. 또한 Amazon Bedrock은 완전관리형 서비스로, 인프라 관리 없이 핵심 서비스 개발에만 집중할 수 있도록 제공되며, AWS Lambda, AWS Step Functions과 같은 Serverless 서비스와 결합하여 일관된 결과물을 생성할 수 있었습니다.

솔루션 아키텍처

AI 기반 팟캐스트 시스템은 크게 LLM을 이용하기 위한 Amazon Bedrock과 콘텐츠 생성을 위한 단계별 로직을 수행하는 Amazon Step Functions로 이루어져 있습니다.
컨텐츠를 생성하기 위한 단계별 로직은 아래와 같이 이루어져 있습니다.

콘텐츠를 위한 뉴스 기사 선정
팟캐스트를 위한 대본 생성
환각 방지를 위한 대본 재생성
TTS 기반의 음성 생성

위 단계별 로직을 어떻게 구현했는지 더 구체적으로 알아보겠습니다.

1. 팟캐스트 콘텐츠를 위한 뉴스 기사 선정 시스템

팟캐스트 제작 과정에서 매일 쏟아지는 뉴스 중 어떤 기사를 다룰지 선정하는 과정을 자동화하기 위해 AI 기반으로 기사 중요도 평가 시스템을 설계했습니다. 시스템 설계 목표는 단순히 조회수가 높은 기사가 아닌, 팟캐스트에서 깊이 있게 다룰 가치가 있는 기사를 선별하는 것이었습니다.

1-1. AI 기반 기사 중요도 분석

AI 기반의 기사 중요도 평가 시스템은 100점 만점의 평가 체계를 구축했으며, 희소성과 중요도 등을 분석합니다. 기사의 키워드 뿐만 아니라 주제와 글의 상세함과 같은 정성적 평가를 AI가 수행합니다. 평가 항목을 간단히 정리하면 다음과 같습니다.

제목의 키워드를 확인합니다.

평가 항목: 기사의 시의성 및 희소성 (35점)
- [단독] 포함: 35점

정치, 경제, 사회, IT/과학, 국제는 영향력이 크고 중요하기 때문에 카테고리와 글의 주제를 복합적으로 평가하여 산정합니다.

평가 항목: 주제의 중요도 (30점)
- 주요 분야 (정치/경제/사회/IT/국제): 30점
- 기타 분야 (문화/연예/스포츠): 10점

분석의 깊이는 20점으로, 팟캐스트의 심층 토론에 필요한 충분한 맥락을 기사가 제공하는지를 본문 길이로 측정했습니다. 3000자 이상은 20점부터 500자 미만은 2점까지 단계적으로 구분했습니다.

평가 항목: 분석의 깊이와 상세함 (20점)
- 3000자 이상: 20점 / 2000자 이상: 16점 / 1500자 이상: 12점
  - 1000자 이상: 8점 / 500자 이상: 4점 / 500자 미만: 2점

점수와 함께 3~5개의 핵심 키워드를 추출하여 제작진의 배경 조사와 에피소드 태그 생성에 활용합니다. 모든 결과는 JSON 형식으로 출력되어 자동 처리가 가능하며, 각 점수마다 판단 근거를 함께 제공합니다.

{
  "total_score": 85,
  "score_breakdown": {
    "timeliness_and_rarity": {"score": 35, "reason": "이유"},
    "topic_significance": {"score": 30, "reason": "이유"},
    "in_depth_analysis": {"score": 12, "reason": "이유"},
    "social_impact": {"score": 15, "reason": "이유"}
  },
  "keywords": ["키워드1", "키워드2", "키워드3"]
}

1-2. 중복 기사 제거 & 유사도 정렬

중요도 평가만으로는 부족합니다. 점수가 높은 기사라도 같은 주제를 다룬 유사한 기사가 여러 개 선정되면 팟캐스트의 다양성이 떨어지기 때문입니다. 예를 들어, 한 날짜에 “금리 인상” 관련 기사가 5개 모두 상위권에 올라올 수 있지만, 청취자에게는 1~2개만 다루고 다른 주제도 다루는 것이 더 좋은 콘텐츠가 됩니다.

따라서 임베딩 기반 중복 제거 시스템을 추가로 구현했습니다. 이 시스템은 점수 순으로 정렬된 기사를 순차적으로 확인하면서, 이미 선택된 기사와 주제가 유사한 기사는 자동으로 제외합니다.

주제와 기사의 핵심 내용을 요약하여 벡터화한 후 유사도를 계산합니다. 계산된 유사도가 0.75(75%)를 초과하면 해당 기사를 “중복”으로 간주하고 선택 목록에서 제외합니다.

중복을 제거한 후에는 선택된 기사들을 주제 유사도 순으로 재정렬합니다. 이는 팟캐스트에서 관련 있는 주제끼리 연속해서 다룰 수 있도록 하여 청취 흐름을 자연스럽게 만들기 위함입니다.

이후 카테고리 기반으로 주제 유사도 순으로 재정렬하여 같은 카테고리의 기사들이 인접하게 배치하도록 수정합니다. 이를 통해 진행자가 자연스럽게 “이번엔 경제 소식 두 가지를 이어서 전해드리겠습니다”처럼 연결할 수 있습니다.

이러한 시스템을 통해 매일 수백 개의 기사를 자동 평가하고 상위 10~15개를 큐레이션하여 자동화된 TTS 생성에 활용하고 있습니다.

2. 팟캐스트 콘텐츠를 위한 뉴스 기사 선정 시스템

팟캐스트 콘텐츠 제작의 핵심은 자연스러운 대화형 대본 생성입니다. 선정된 뉴스 기사를 호스트와 리포터가 주고받는 대화 형식의 대본으로 자동 변환하는 시스템을 구축했습니다.

2-1. 1차 대본 생성 시스템

대본 생성에서 가장 중요하게 다룬 문제는 AI의 환각 현상 방지와 자연스러운 구어체 전환이었습니다.

환각 방지를 위해 생성 모델과 평가 모델을 분리하는 이중 검증 구조를 설계했습니다. 먼저 생성 모델이 기사를 바탕으로 대본을 작성하면, 별도의 평가 모델이 생성된 스크립트를 원본 기사와 대조하여 사실 확인을 수행합니다. 이 과정에서 기사에 없는 정보가 추가되거나 왜곡된 내용이 발견되면 해당 부분만 재생성합니다. 최대 2회까지 재시도하며, 그 이후에도 환각이 지속되면 SNS 기반 알람을 통해 담당자에게 수동 검토를 안내합니다.

구어체 전환에서 가장 까다로운 부분은 숫자와 단위의 정규화였습니다. 한국어는 고유어 수사와 한자어 수사를 상황에 따라 다르게 사용하기 때문에 단위별, 맥락별 변환 규칙을 상세하게 정의했습니다.

숫자 발음 규칙:

- 고유어: 명, 개, 곳 등 일반 단위 (예: 1명 → 한 명)
- 한자어: 원, 조, 퍼센트, 년월일 등 (예: 2조 → 이조)
- 복합명사: 항상 한자어 (예: 4인 가구 → 사인 가구)

대본 생성 프롬프트는 호스트와 리포터 간의 자연스러운 대화를 설계하는 데 초점을 맞췄습니다. 호스트는 대화의 흐름을 만들고 논의를 심화시키며, 리포터는 구체적인 사실과 데이터를 체계적으로 전달합니다.

역할 설정:

- host: 답변 요약 후 다음 질문 연결, 상반된 관점 제시
- reporter: 사실, 데이터, 전문가 인용 등 체계적 설명

가장 중요한 원칙은 명시적 사실 기반 생성입니다. 대본의 모든 내용은 원본 기사에 명시된 사실만 사용하며, 기사 내 정보의 논리적 재구성은 허용하되 새로운 정보 추가는 엄격히 금지합니다.

콘텐츠 생성 원칙:

- 원본 기사 명시 내용만 사용 (추측, 외부 정보 금지)
- 기사 내 사실의 인과관계/시간순 재구성은 허용

대본은 1분 30초~2분 분량으로 4~6턴의 대화로 구성되며 핵심 내용 기반의 대본을 생성합니다. 모든 출력은 JSON 형식으로 구조화되어 출력하도록 설정했습니다.

{
  "script_segments": [
    {"role": "host", "text": "대사"},
    {"role": "reporter", "text": "대사"}
  ]
}

2-2. 대본 사실 검증/평가 시스템

생성된 대본이 원본 기사의 내용을 정확하게 반영하는지 확인하는 것은 팟캐스트 품질 관리의 핵심입니다. AI가 생성한 대본에서 가장 경계해야 할 문제는 환각 현상, 즉 원본 기사에 없는 정보를 추가하거나 사실을 왜곡하는 것입니다. 이를 방지하기 위해 별도의 평가 모델을 구축했습니다.

평가 프로세스는 세 단계로 진행됩니다. 먼저 생성된 대본의 모든 대사를 검토하여 의미 있는 사실 단위의 주장으로 최대한 잘게 분해합니다. 단순 추임새나 연결어는 제외하고 실질적인 정보를 담은 문장만 추출합니다. 다음으로 분해된 각 주장이 원본 기사에서 명시적으로 뒷받침되는지 또는 허용되는 추론인지 교차 확인합니다. 마지막으로 각 주장을 Supported 또는 Contradicted로 판정합니다.

평가 절차:

1. 주장 분해: 대본의 모든 대사를 사실 단위로 분해
2. 개별 검증: 각 주장이 원본 기사에서 뒷받침되는지 확인
3. 판정: Supported (지지됨) vs Contradicted (모순됨)

Contradicted로 판정되는 경우는 세 가지입니다. 원본 기사에 존재하지 않는 새로운 정보를 추가한 경우, 허용 범위를 벗어나는 추론이나 해석을 덧붙인 경우, 그리고 원본 기사의 사실 관계와 명백히 모순되는 경우입니다.

환각 뿐만 아니라 평가에서 가장 중요한 원칙은 대본이 원본 기사와 문자 그대로 일치하지 않더라도 구어체 변환 규칙을 준수했거나 허용되는 사실 연결을 한 경우는 Supported로 판정해야 한다는 것입니다. 이는 자연스러운 팟캐스트 대본을 만들기 위한 필수적인 변환 과정이기 때문입니다.

구어체 변환에서 가장 중요한 것은 고유어 수사와 한자어 수사의 올바른 사용입니다. “3시간”을 “세 시간”으로 변환하는 것은 올바른 구어체이므로 Supported이지만, “삼 시간”으로 변환하면 부자연스럽기 때문에 Contradicted입니다. 반대로 “2025년”은 “이천이십오년”으로, “21일”은 “이십일일”로 변환해야 합니다.

고유어 vs 한자어 수사 판정:

- "3시간" → "세 시간" (Supported) / "삼 시간" (Contradicted)
- "2025년 8월 21일" → "이천이십오년 팔월 이십일일" (Supported)

특히 까다로운 부분은 고유 명사와 식별 번호의 판정입니다. 지하철 노선, 건물 층수, 도로 번호 등은 수량을 세는 것이 아니라 특정 대상을 지칭하는 고유한 번호이므로 반드시 한자어 수사로 변환해야 합니다. “2호선”을 “이호선”으로 변환하는 것은 Supported이지만, “두 호선”으로 변환하면 “two subway lines”라는 의미로 왜곡되므로 Contradicted입니다.

고유 명사 및 식별 번호 판정:

- "2호선" → "이호선" (Supported) / "두 호선" (Contradicted)
- "3층" → "삼층" (Supported) / "세 층" (Contradicted)
- "7번 국도" → "칠번 국도" (Supported)

근사치 변환은 청취자의 이해를 돕기 위해 복잡한 숫자를 “약”을 사용해 변환하는 것을 허용하지만, 금융 핵심 지표나 법률 기준 수치는 예외입니다. “9,949,808가구”를 “약 구백구십오만 가구”로 변환하는 것은 Supported이지만, “금리 0.25%p”를 “약 0.3 퍼센트포인트”로 변환하면 의미가 왜곡되므로 Contradicted입니다.

근사치 변환 판정:

- 일반 수치: "9,949,808가구" → "약 구백구십오만 가구" (Supported)
- 금융 지표: "0.25%p" → "약 0.3%p" (Contradicted)
- 법률 기준: "15% 세율" → "약 10% 중반 세율" (Contradicted)

허용되는 사실 연결은 기사 내에 명시적으로 존재하는 둘 이상의 사실을 인과관계나 시간 순서에 따라 논리적으로 재구성하는 것입니다. 예를 들어 기사에 “A 회사가 신제품을 출시했다”와 “A 회사의 주가가 10% 상승했다”는 내용이 따로 있을 때, 이를 “신제품 출시 후 주가가 10% 상승했다”로 연결하는 것은 Supported입니다. 하지만 기사에 없는 “혁신적이라는 평가”를 추가하면 Contradicted입니다.

사실 연결 판정:

- 기사 내 사실의 논리적 재구성: Supported
- 기사에 없는 평가나 해석 추가: Contradicted

모든 평가 결과는 JSON 형식으로 출력되어 재생성이 필요한 부분을 자동으로 식별하고 처리할 수 있도록 구조화됩니다.

{
  "claims": [
    {
       "text": "주장 내용",
       "verdict": "Supported",
       "reason": "이유"
    },
    {
        "text": "주장 내용",
        "verdict": "Contradicted",
        "reason": "이유"
    }
  ]
}

이 검증 시스템을 통해 환각이 발견된 대본만 선별하여 재생성하고, 최종적으로 사실에 기반한 신뢰할 수 있는 팟캐스트 콘텐츠를 제작할 수 있습니다.

2-3. 환각 대본 재생성 시스템

대본 검증 과정에서 환각이나 작성 규칙 미준수가 발견되면, 전체 대본을 처음부터 다시 생성하는 것이 아니라 문제가 발생한 특정 대사만 선별하여 재생성하는 시스템이 필요합니다. 전체 재생성은 시간과 비용 측면에서 비효율적일 뿐만 아니라, 이미 검증을 통과한 정상적인 대사까지 불필요하게 변경될 위험이 있기 때문입니다.

해당 프롬프트는 초기 생성 프롬프트와 다릅니다. 검증 단계와 모순이 발생한 이유를 기반으로 스크립트를 다시 생성합니다. 즉 원본 기사, 1차 생성된 스크립트, 문장 분석을 통해 모순이 발생한 스크립트를 판단하고 재생성합니다.

{
  "evaluation": {
    "hallucination_metric": 0.0,
    "contradicted_contexts_count": 0,
    "total_contexts": 9,
    "details": [
      {
        "claim": "주장 내용",
        "verdict": "Supported",
        "reasoning": "판정 근거"
      }
    ]
  }
}

최대 2회까지 재생성을 시도하며, 그 이후에도 환각이 지속되면 해당 기사는 자동 생성에서 제외하고 담당자에게 수동 검토를 요청합니다. 이러한 다층 검증 구조를 통해 팟캐스트의 신뢰성을 보장하고 있습니다.

3. 통합 대본 생성 시스템

개별 기사 대본을 생성한 후에는 이를 하나의 완결된 팟캐스트 에피소드로 엮어내는 통합 대본 생성 과정이 필요합니다. 이 단계에서는 오프닝 멘트, 기사 간 연결 브릿지, 클로징 멘트, 그리고 요약을 생성하여 전체 콘텐츠의 일관성과 자연스러운 흐름을 만들어냅니다.

3-1. 정보 기반 생성

통합 대본 생성의 가장 중요한 공통 원칙은 정보 기반 생성입니다. 모든 멘트는 프롬프트로 주어진 정보만을 기반으로 작성되어야 하며, 환각이나 추측성 표현은 절대 금지됩니다.

역할도 명확히 구분되어 호스트는 진행과 질문을, 리포터는 사실 전달만 담당합니다. 외래어와 숫자는 모두 한글로 표기합니다.

공통 원칙:

- 정보 기반 생성: 주어진 정보만 사용, 외부 지식 추가 금지
- 환각 절대 금지: 추측성 표현 불가
- 역할 분리: host(진행/질문), reporter(사실 전달)
- 표기: 외래어/숫자 한글 표기 (AI→에이아이, 100억→백억)
- 톤: 격식 존댓말, 신뢰감 있는 뉴스룸 톤

3-2. 오프닝 멘트 생성

오프닝 멘트는 호스트와 리포터가 2턴의 간결한 대화로 방송을 시작합니다. 호스트가 날짜를 정확히 언급하며 청취자에게 인사하고, 리포터가 오늘의 뉴스를 전하겠다는 응답으로 활기차게 시작합니다. 예를 들어 “안녕하세요, 청취자 여러분. 이천이십오년 구월 사일 목요일 매일경제 팟캐스트입니다” 다음에 “네, 안녕하세요 오늘도 매일경제의 주요 뉴스 전해드리겠습니다”와 같은 형식입니다.

오프닝 구조 (2턴):

턴 1 (host): 날짜 언급 + 방송 시작 인사
턴 2 (reporter): 뉴스 전달 의지 표명

예시:
host: "이천이십오년 구월 사일 목요일 팟캐스트입니다."
reporter: "오늘도 주요 뉴스 전해드리겠습니다."

3-3. 브릿지 멘트 생성

브릿지 멘트는 통합 대본에서 가장 정교한 부분으로, 네 가지 정보를 활용하여 3단계 전략으로 구성됩니다. 이전 뉴스 마지막 대사, 이전 뉴스 요약, 다음 뉴스 요약, 다음 뉴스 첫 대사를 모두 고려합니다. 첫 번째 단계는 자연스러운 응답으로 이전 대사에 대한 가벼운 코멘트로 시작합니다. 두 번째는 주제 전환으로 두 뉴스의 연결고리를 찾아 화제를 전환하며, 마지막 뉴스인 경우를 추가합니다. 세 번째는 질문 던지기로 반드시 다음 뉴스의 첫 대사 문장을 그대로 사용하여 완벽하게 연결합니다.

브릿지 전략 (3단계):

1. 자연스러운 응답: 이전 대사에 대한 가벼운 정리
   "네, 결국 ~라는 말씀이시군요."

2. 주제 전환: 두 뉴스의 연결고리 찾기
   "이런 상황은 비단 ~ 분야만의 이야기는 아닐 텐데요."
   (마지막 뉴스면 "오늘 준비한 마지막 소식이네요" 추가)

3. 질문 던지기: 다음 뉴스 첫 대사를 그대로 사용
   "정부가 발표한 지원책의 구체적인 내용은 무엇인가요?"

3-4. 클로징 멘트 생성

클로징 멘트는 호스트와 리포터가 3턴의 대화로 방송을 마무리합니다. 첫 번째 턴에서 호스트가 마지막 뉴스를 언급하고 오늘 다룬 전체 내용을 1~2문장으로 총정리합니다. 두 번째 턴에서 리포터가 자신의 생각이나 추가 분석을 덧붙이되, 내일 방송 언급은 절대 하지 않습니다. 세 번째 턴에서 호스트가 리포터의 코멘트를 받아 최종 생각을 정리하고 반드시 “오늘의 팟캐스트는 여기까지입니다. 감사합니다”라는 문장으로 정확하게 끝냅니다.

클로징 구조 (3턴):

턴 1 (host): 마지막 뉴스 언급 + 전체 내용 총정리 (1~2문장)
턴 2 (reporter): 추가 분석/생각 (내일 방송 언급 금지)
턴 3 (host): 최종 정리 + 반드시 "오늘의 팟캐스트는 여기까지입니다. 감사합니다."

3-5. 기사 요약 생성

요약 시스템은 두 가지로 나뉩니다. 개별 기사 요약은 각 뉴스의 제목과 팟캐스트 대본을 참고하여 핵심을 담은 한 문장을 생성합니다. 이는 브릿지 멘트 생성 시 사용됩니다. 전체 일일 요약은 모든 기사의 제목, 부제목, 키워드를 종합 분석하여 가장 빈번하게 언급되는 핵심 주제를 중심으로 2~3문장으로 정리합니다. 개별 기사를 나열하지 않고 전체적인 흐름과 공통 주제를 바탕으로 작성하며, 주요 빈도 키워드를 우선적으로 반영합니다.

요약 시스템:

1. 개별 기사 요약
   - 제목 + 대본 참고
   - 핵심 한 문장 생성
   - 용도: 브릿지 멘트 생성

2. 전체 일일 요약
   - 모든 기사의 제목/부제목/키워드 분석
   - 주요 빈도 키워드 중심
   - 공통 주제와 흐름 파악 (2~3문장)
   - 용도: 클로징 멘트 생성

예시: "오늘은 [주요 키워드]를 중심으로 한 [공통 주제]가 화두였습니다."

모든 구성요소는 JSON 형식으로 출력되어 개별 기사 대본과 함께 최종 팟캐스트 스크립트로 통합됩니다. 이를 통해 처음부터 끝까지 일관된 흐름과 자연스럽고 완결성 있는 팟캐스트를 생성할 수 있습니다.

  "opening": [
    {
       "role": "host",
       "text": "오프닝 멘트",
       "turn_type": "Opening"
    },
    {
       "role": "reporter",
       "text": "응답",
       "turn_type": "Opening"
    }
  ],
  "bridge": {
     "role": "host",
     "text": "브릿지 멘트",
     "turn_type": "Bridge"
  },
  "closing": [
    {
       "role": "host",
       "text": "총정리",
       "turn_type": "Closing"
    },
    {
       "role": "reporter",
       "text": "추가 분석",
       "turn_type": "Closing"
    },
    {
       "role": "host",
       "text": "마무리 인사",
       "turn_type": "Closing"
     }
  ]
}

4. TTS 음성 생성 시스템

완성된 통합 대본을 실제 음성으로 변환하는 마지막 단계는 TTS(Text-to-Speech) 생성입니다. ElevenLabs의 생성형 AI 기반 TTS 엔진을 활용하여 자연스러운 한국어 팟캐스트 음성을 생성했습니다. 이 시스템은 단순히 텍스트를 읽어주는 수준을 넘어, 한국어의 억양과 스타일을 담은 음성을 생성합니다.

TTS 생성 과정은 역할별 음성 생성과 순차적 통합으로 진행됩니다. 호스트와 리포터 각각에게 구분되는 음성 스타일을 부여하여 청취자가 두 화자를 명확히 구분할 수 있도록 했습니다.

최종적으로 호스트와 리포터의 대사를 각각 해당 음성 모델로 전송하여 개별 음성 파일을 생성합니다. 마지막으로 대본의 순서대로 오프닝부터 클로징까지 모든 음성 파일을 연결하여 하나의 완성된 팟캐스트 오디오 파일을 만듭니다.

4-1. TTS 환각 방지 시스템

환각 방지를 위해 LLM as a Judge 방식의 이중 검증 구조를 도입했습니다. 생성 모델과 평가 모델을 분리하여 대본의 모든 주장을 원본 기사와 교차 검증하고, 환각 발견 시 최대 2회 재생성을 시도합니다. 이후에도 문제가 지속되면 Human in the Loop 방식으로 제작진에게 알림을 보내 수동 검토를 요청합니다.

4-2. TTS 품질 개선

TTS 품질 개선을 위해 Typecast, ElevenLabs, AWS Polly 등 다양한 엔진을 체계적으로 테스트했습니다. 발음 정확도, 억양 자연스러움, 감정 표현 능력 등을 정량적으로 평가하여 최적의 엔진을 선택했으며, TTS 기술의 빠른 발전 속도를 고려해 버전 관리 시스템을 구축하여 지속적으로 품질을 개선하고 있습니다.

콘텐츠 품질 향상을 위해 호스트의 역할을 단순 질문자에서 대화 설계자로 재정의했습니다. 리포터의 답변을 요약하고 상반된 관점을 제시하여 논의를 심화시키는 능동적인 구조로 개선했으며, 이전 팟캐스트 기사나 관련 참조 기사를 활용한 데이터 보강을 통해 맥락과 깊이를 더했습니다.

성과

1. 도입 성과

1-1. 높은 수준의 자동화 달성

AI기반 팟캐스트 제작 시스템을 구축해 팟캐스트 제작의 전 과정을 자동화함으로써, 높은 수준, 환각이 최소화 된 팟캐스트를 제작할 수 있었습니다.
팟캐스트 제작은 1단계 기사 선정 → 2단계 대본 작성 → 3단계 품질 검수 → 4단계 음성 녹음의 4단계로 이루어져 있으며, 모든 단계는 생성형 AI를 활용하여 높은 수준의 자동화를 달성할 수 있었습니다.
최종적으로 하나의 완결된 팟캐스트 컨텐츠를 생성하는데 약 30분 내외가 소요되었습니다.

1-2. 비용 최적화 달성

AI기반 팟캐스트 제작 시스템은 AWS의 Serverless 아키텍처 기반으로 구축되었습니다.
따라서 별도의 서버 운영 및 관리 비용 없이 트래픽에 따라 자원이 자동 할당되도록 함으로써 비용 효율적인 시스템을 완성할 수 있었습니다.

2. 핵심 교훈

2-1. 운영을 통해 얻은 인사이트

이러한 해결 과정을 거치며 몇 가지 중요한 인사이트를 얻었습니다.
첫번째, 가장 중요한 발견은 완전 자동화보다 적절한 수준의 인간 개입이 더 효과적이라는 점입니다. 초기에는 100% 자동화를 목표로 했지만, 실제로는 환각 검증, 최종 품질 확인 등 핵심 지점에 사람이 개입하는 하이브리드 방식이 신뢰성과 효율성을 모두 확보할 수 있었습니다.

두 번째는 프롬프트 엔지니어링의 중요성입니다. 단순히 “대본을 생성해줘”가 아니라, 역할 정의, 평가 원칙, 예외 케이스, 출력 형식 등을 수백 줄에 걸쳐 상세히 명시한 프롬프트가 결과물의 품질을 결정했습니다. 특히 한국어 특성상 고유어와 한자어 수사 구분, 복합 명사 처리 등 언어적 세부사항을 프롬프트에 명시하는 것이 필수적이었습니다.

세 번째는 평가 지표의 구체화입니다. 환각을 방지하기 위해서는 “사실과 일치한다”는 모호한 기준이 아니라, 어떤 변환은 허용되고 어떤 추가는 금지되는지를 명확히 정의해야 했습니다. “1308억에서 3609억으로 증가”를 “세 배 가까이 급증”으로 표현하는 것은 허용하지만, “충격적인 실적”이라는 주관적 평가를 추가하는 것은 금지하는 식의 구체적인 경계선 설정이 필요했습니다.

2-2. 기술 파트너십의 가치

매일경제 AI 팟캐스트 프로젝트는 단 4주 만에 아이디어에서 프로덕션까지 구현하며 빠른 PoC를 통해 AI 활용 가능성을 입증했습니다. 처음 시도하는 AI 팟캐스트 자동 생성이라는 도전적 과제를 AWS Serverless 아키텍처와 생성형 AI 기술로 해결하며, 매일경제가 보유한 핵심 자산인 뉴스 기사 데이터를 새로운 오디오 콘텐츠로 전환하여 비즈니스 가치를 창출했습니다.

이 프로젝트의 성공은 전문 영역별 협업의 시너지에서 비롯되었습니다. 파트너사 스마일샤크는 AWS 클라우드 내 인프라 설계, 프롬프트 엔지니어링, 자동화 파이프라인 구축 등 기술적 전문성을 제공했습니다. 스마일샤크는 프로젝트 수행 과정에서 자연스러운 한국어 TTS 모델을 선정하기 위해 다양한 TTS 엔진을 비교·검증, ‘LLM as a Judge’ 방식의 팟캐스트 대본 평가, 구어체 변환 규칙 세분화, 환각 발생 시 Human-in-the-Loop를 통한 품질 보정 등의 기술을 적용해 신뢰도 높은 AI 팟캐스트를 완성했습니다.

2-3. 변화 관리의 중요성

AI 프로젝트는 종종 기술적 기대감만으로 접근하거나 서비스 복잡성을 과소평가하여 실패하는 경우가 있습니다. 이번 프로젝트에서는 이러한 위험을 피하기 위해 4주간의 신속한 PoC를 통해 기획부터 데이터 준비, 구현까지 실제 작동하는 최소 기능 제품(MVP)을 완성했습니다.

이를 통해 기술적 타당성과 비즈니스 가치를 동시에 검증할 수 있었고, AI의 가능성과 한계를 현실적으로 이해하며 데이터 기반의 의사결정을 내릴 수 있었습니다. AI 서비스의 품질과 비즈니스 가치는 데이터 신뢰성과 운영 안정성에 달려 있다고 생각합니다.

스마일샤크는 완전 자동화의 함정을 피하기 위해 Human-in-the-Loop 기반 평가 체계를 운영하고, AI와 사람의 전문성을 결합한 하이브리드 접근으로 콘텐츠 품질을 보장했습니다. 단순한 기술 도입을 넘어, 최소 비용으로도 실제 서비스 운영이 가능한 품질 수준을 확보할 수 있도록 설계했습니다.

마무리

향후 계획

앞으로는 AI 기반 팟캐스트 제작 시스템을 아래와 같은 항목으로 더 발전시켜나갈 예정입니다.

최대한 자연스러운 발음 및 대본 생성을 위한 지속적인 개선
자체 플랫폼의 고도화 (플레이어 등 UX 개선)

또한 이번 시스템을 구축하는데 기여했던 AWS 파트너사 스마일샤크는 단순한 기술 구현을 넘어, 고객의 장기적인 AI 혁신 여정을 함께하는 확장 가능한 플랫폼과 운영 전략을 제공하며 앞으로도 지속적인 혁신을 지원할 예정입니다.

결론

매경AX의 AI 기반 팟캐스트 시스템은 AWS와 스마일샤크의 협업으로

AWS Serverless 구조로 운영 효율성
다층 검증 구조로 콘텐츠 신뢰성
LLM 자동화를 통한 생산성 향상을 동시에 달성할 수 있었습니다.

이 사례는 전통 미디어가 AI 전환을 통해 새로운 형식의 저널리즘을 창출할 수 있음을 보여줍니다.
이와 같은 경험을 통해 매경AX는 앞으로도 AI와 사람의 협업으로 콘텐츠 가치를 극대화하는 지식 플랫폼으로 발전해 나갈 예정입니다.

AWS 기술 블로그