Amazon Bedrock을 활용한 피처링의 소셜 미디어 콘텐츠 분석 시스템

배경

피처링은 소셜 미디어 크리에이터 및 인플루언서의 콘텐츠 영향력과 오디언스 반응 데이터를 AI로 정밀하게 분석하여, 브랜드의 마케팅 전략에 최적화된 인플루언서와의 협업을 설계할 수 있도록 지원하는 B2B SaaS(Software as a Service) 기반 마케팅 솔루션 기업입니다. 방대한 소셜 미디어 데이터의 분석을 통하여 인플루언서 마케팅을 집행하려는 고객들이 성공적으로 광고를 집행할 수 있도록 인사이트를 제공하는 것을 목표로 합니다.

인플루언서 마케팅의 성공은 방대한 소셜 미디어 데이터를 얼마나 깊이 있게 분석하고 인사이트를 얻어내는지에 달려있습니다. 소셜 미디어 데이터는 인플루언서들이 생산하는 콘텐츠를 중심으로 구성되어 있기 때문에, 소셜 미디어 콘텐츠에 대한 체계적이고 정확한 분석 시스템을 구축하는 것이 인플루언서 마케팅의 핵심입니다. 이를 위해서는 방대한 데이터를 확보하는 플랫폼을 갖추는 것과 동시에, 지속적인 분석을 통해 소셜 미디어 데이터를 효과적으로 분석할 수 있는 시스템을 구축하는 것이 필수적이었습니다.

피처링은 수 년간 끊임없이 생성되는 소셜 미디어 콘텐츠를 AWS 환경에서 효과적으로 분석하기 위한 시스템을 구축했습니다. 이 글에서는 피처링이 멀티모달 LLM과 멀티 에이전트 아키텍처를 활용하여 소셜 미디어 콘텐츠를 분석하는 과정과 시스템 구성을 소개하고자 합니다.

소셜 미디어 콘텐츠의 특징

소셜 미디어 콘텐츠를 분석하는 시스템을 구성하기 위해서는 먼저 소셜 미디어 콘텐츠 데이터가 어떠한 특성을 가지고 있는지 이해해야 합니다.

소셜 미디어 콘텐츠는 일반적으로 다음과 같은 특징을 가집니다.

다양한 형태의 데이터: 위의 예시와 같이 이미지, 영상, 텍스트가 혼합된 형태로 콘텐츠가 구성되어 있습니다.
메타데이터: 해시태그, 장소태그 등 다양한 부가 정보들을 가지고 있습니다.
콘텐츠 반응: 댓글, 좋아요를 통해 콘텐츠에 대한 사용자 반응을 알 수 있습니다.

소셜 미디어 콘텐츠는 보기엔 단순할 수 있지만, 방대한 양의 콘텐츠 속에서 브랜드 이미지나 제품과 부합하는 인플루언서를 찾고, 각 콘텐츠의 반응과 효과를 비교 분석하는 과정에는 여전히 많은 시간과 노력이 요구됩니다. 또한, 아래와 같은 소셜 미디어 콘텐츠의 특성으로 소셜 미디어 콘텐츠 분석을 자동화하는 것에도 어려움이 따릅니다.

비정형 데이터: 정해진 규격 없이 자유로운 형태로 데이터가 생성됩니다.
비언어적 요소: 감정 표현, 시각적 스타일 등의 암묵적 정보가 중요한 의미를 가집니다.
의도적 맥락성: 숨겨진 광고 의도나 특정 메시지 등 명시적이지 않은 맥락을 파악해야 합니다.
빠른 변화: 수많은 콘텐츠들이 쏟아져 나오기에 생명주기가 짧으며, 트렌드에 민감해 유행성 콘텐츠가 자주 등장합니다.

여러 특성들이 서로 얽혀 하나의 콘텐츠를 형성하기 때문에, 단순한 수치나 규칙 기반 분석만으로는 콘텐츠의 의미와 영향력을 정확하게 파악하기 어렵습니다. 예를 들어 멀티모달 데이터인 이미지와 텍스트는 각각 다른 정보를 담고 있으면서도, 동시에 서로의 의미를 보완하거나 반전시키는 ‘의도적 맥락성’을 가집니다. “오늘 기분 최고!”라는 텍스트에 활짝 웃는 사진이 더해지면 긍정적 의미로 해석할 수 있지만, 찡그린 사진이 붙으면 이는 반어적 표현이 됩니다. 이러한 복합적 관계를 정밀하게 포착하기 위해서는, 멀티모달 데이터를 통합적으로 처리하고 맥락적 상호작용을 이해할 수 있는 분석 시스템의 설계가 필요합니다.

주요 도전 과제

피처링이 소셜 미디어 데이터 분석 시스템을 구축하는 과정에서 직면하였던 주요 과제들은 다음과 같습니다.

소셜 미디어 콘텐츠 요구사항: 소셜 미디어 콘텐츠의 다양한 특징을 반영할 수 있는 분석 자동화가 이루어져야 합니다. 특히 이미지와 텍스트의 맥락을 연결해 분석할 필요가 있었고, 빠르게 변화하는 유행성 콘텐츠에도 안정적으로 대응해야 했습니다. 이를 위해 이미지와 텍스트를 함께 처리하며 방대한 데이터 학습을 통해 숨겨진 맥락까지 파악할 수 있는 멀티모달 LLM을 분석 엔진으로 채택했습니다.
높은 처리량 요구사항: 소셜 미디어 데이터는 굉장히 방대하면서도 시시각각 변화하기 때문에, 콘텐츠 분석에 대한 통계적 근거를 확보하기까지 요구되는 시간당 처리량이 매우 높습니다. 이에 따라 Amazon Kinesis Data Streams를 메시지 버퍼로 활용한 메시지 스트림 기반의 멀티 에이전트 구조를 구성하여, 트래픽 변동에 유연하게 대응하면서도 필요 시 수평 확장이 가능한 시스템을 구축했습니다.
다양한 종류의 분석 요구사항: 소셜 미디어 내에서의 분석 요구사항이 굉장히 다양합니다. 콘텐츠가 광고인지 아닌지 판별하는 것부터 시작해서, 광고라고 한다면 어느 브랜드의 광고인지, 패션 관련 콘텐츠인지 뷰티 관련 콘텐츠인지 등 인플루언서 마케팅의 필요에 따라 분석 요구사항이 지속적으로 달라질 수 있습니다. 각 분석 에이전트가 담당 스트림을 독립적으로 처리하도록 설계하여, 기존 시스템을 멈추지 않고도 새로운 분석 모듈을 신속하게 추가할 수 있는 유연한 구조를 마련했습니다.

이와 같이 피처링에서는 Amazon Bedrock을 활용하여 멀티모달 LLM을 기반으로 한 멀티 에이전트 스트리밍 시스템을 구축했습니다. 이 시스템은 텍스트, 이미지, 영상 등 다양한 형태의 콘텐츠를 동시에 이해하고, 각 콘텐츠의 의미와 맥락을 실시간으로 분석합니다. 또한 여러 에이전트가 병렬로 협업하며 콘텐츠의 비언어적 요소, 의도적 맥락성, 사용자 반응 데이터를 통합적으로 평가함으로써, 브랜드와 마케팅 목표에 부합하는 인플루언서를 빠르게 탐색하고, 콘텐츠의 정성적 · 정량적 지표를 정확히 비교할 수 있도록 지원합니다.

Amazon Bedrock 기반의 멀티 에이전트 분석 시스템

솔루션 아키텍처

데이터 스트리밍: 데이터 파이프라인을 통해 콘텐츠 데이터가 지속적으로 수집되면, 분석이 필요한 콘텐츠는 Amazon Kinesis Data Streams로 전송됩니다. 하나의 콘텐츠에 대해 여러 분석 에이전트가 동시에 추론을 수행해야 하므로, 병렬 처리에 용이한 Kinesis Data Streams를 활용합니다. 스트리밍 시스템으로 구성하였기 때문에, 데이터 수집량에 따른 시간당 처리량의 스케일을 쉽게 조절할 수 있습니다.
멀티 에이전트 기반 추론: Amazon Kinesis Data Streams에 전달된 콘텐츠는 AWS Lambda로 구성된 각각의 분석 에이전트에 의해 처리됩니다. 각 에이전트는 특정 목적을 가지고 콘텐츠의 특징(feature)을 추론하며, 필요에 따라 여러 단계로 작업을 수행할 수 있습니다. 예를 들어, 특정 에이전트가 콘텐츠를 광고로 판단하면, 다음 단계의 에이전트가 해당 광고에 포함된 브랜드를 추론하는 방식입니다. 주요 콘텐츠별 특징 분석 예시는 다음과 같습니다.
- 카테고리 분류: 멀티모달 모델을 통해 패션, 뷰티, F&B 등 피처링에서 정의한 콘텐츠의 카테고리를 나누고, 필요시 세부 정보까지 분석합니다.
- 광고 콘텐츠 분석: 콘텐츠의 광고 여부를 판단하고, 광고일 경우 관련된 브랜드를 특정합니다.
- 노이즈 분류: 스팸성 콘텐츠, 중복 게시물 등 분석 가치가 낮은 데이터를 필터링합니다.
- 감성 분석: 콘텐츠에 대한 긍정, 부정 등 감성적인 톤을 분석합니다.
만약 새로운 분석 요구사항이 생길 경우, 해당 기능을 수행하는 새로운 에이전트를 구성하여 배포하기만 하면 손쉽게 분석 파이프라인을 확장할 수 있습니다. 전체 에이전트 호출에 사용되는 LLM은 Amazon Bedrock에 의해 관리되어 안정적이고 확장 가능한 구조로 서빙됩니다.
데이터 적재 및 분석: 에이전트들이 추론한 결과 데이터는 데이터 적재 파이프라인을 거쳐 Amazon S3와 데이터 웨어하우스에 저장됩니다. 최종적으로 데이터 웨어하우스에 쌓인 정제된 데이터를 기반으로 소셜 미디어 콘텐츠에 대한 깊이있는 분석을 수행하고 유의미한 인사이트를 도출합니다.

주요 에이전트

피처링에서는 다양한 에이전트를 통하여 콘텐츠의 특징을 추론하고 있습니다. 그중 가장 많이 활용되고 있는 콘텐츠 분류 에이전트와 광고 분석 에이전트에 대해서 소개드리고자 합니다.

콘텐츠 분류 에이전트

콘텐츠 분류 에이전트를 통해 다양한 분석을 수행하기 위해서 피처링에서는 사전에 정의된 분류 체계를 구축하였습니다. 이 에이전트는 콘텐츠의 주제, 형식, 목적 등 여러 관점에서 주요 특징을 추출하고, 이를 기준으로 각 콘텐츠를 해당 분류 체계에 맞게 자동으로 분류하도록 설계되었습니다. 이를 통해 분석 과정에서 일관된 기준으로 콘텐츠를 비교·평가할 수 있으며, 이후의 광고 분석이나 트렌드 분석 등 다른 에이전트들의 입력 데이터로도 활용될 수 있습니다.

정확한 분류를 위해 피처링에서는 인플루언서의 프로필 정보, 콘텐츠의 텍스트, 이미지, 썸네일, 해시태그 등 다양한 요소를 종합적으로 분석할 수 있도록 프롬프트를 구성하였습니다. Anthropic의 Claude Sonnet 4 모델을 활용하여 이미지와 텍스트를 동시에 입력받고, 인플루언서의 특성을 반영한 페르소나를 컨텍스트로 프롬프트에 추가함으로써 콘텐츠 내 텍스트·이미지·해시태그 등의 맥락을 종합적으로 이해하도록 설계하였습니다. 이를 기반으로 콘텐츠가 속하는 카테고리, 콘텐츠 유형 및 스타일, 톤앤매너, 핵심 키워드 등을 세분화하여 분류하며, 이러한 다차원적 분류 결과는 후속 분석 및 추천 모델의 정확도와 해석력을 높이는 데 기여합니다.

광고 분석 에이전트

특정 인플루언서와 함께 협업하여 광고를 집행하고자 할 때, 고객들은 이전 광고 성과를 기반으로 향후 광고 성과를 예측하려는 요구가 높습니다. 하지만 콘텐츠 데이터는 대부분 비정형 데이터이기 때문에, 어떤 콘텐츠가 광고인지, 어떤 브랜드와 관련된 광고인지 구분하기 어려운 경우가 많습니다. 이를 해결하기 위해 피처링은 콘텐츠의 광고 여부를 추정하고, 광고 유형과 해당 브랜드를 식별할 수 있도록 분석 에이전트를 설계하였습니다. 이를 기반으로 인플루언서별 광고 효율성을 보다 정확하게 평가하고, 향후 협업 전략 수립에 활용할 수 있습니다.

광고 분석 에이전트는 광고 분류와 브랜드 정규화를 위한 서브 에이전트로 구성되어 있으며, 각 서브 에이전트의 구조와 기능은 아래에서 자세히 설명드리겠습니다.

광고 분류 서브 에이전트

광고 분류 과정은 입력받은 콘텐츠가 광고 콘텐츠인지, 광고 콘텐츠가 맞다면 어떤 유형의 광고인지, 광고하는 제품이 무엇인지 등의 정보를 추정합니다. 인플루언서의 콘텐츠 본문, 캡션, 인플루언서가 단 댓글, 이미지/썸네일, 해시태그, 업로드 시간, 플랫폼 등 메타데이터를 입력으로 받아, Claude Sonnet 4 모델이 추정을 수행합니다. 규칙 기반 신호로 “광고”, “#ad”, “협찬”, “Sponsored” 같은 명시적 태그와 고유한 쿠폰 코드 포맷, 링크/트래킹 파라미터 등이 높은 가중치의 규칙 신호로 처리됩니다. 브랜드 추정 등의 여러 추정이 정확히 이뤄지지 않을 수 있기 때문에 각 예측에 대해 신뢰도 점수(Confidence Score)를 반환하고 이를 적재하여 후속 처리에서 임계값 기반 필터링이나 인간 개입(Human-in-the-loop) 검증에 활용합니다. 어떤 근거(예: “이미지에서 로고 X 검출, 캡션에 ‘협찬’ 단어 존재, CTA 포함”)로 광고 판별·식별이 이루어졌는지 간단한 근거 텍스트를 함께 제공합니다. 추론 결과는 다음과 같은 형태로 반환됩니다.

{
    "is_ad": true,
    "detected_dm_bot_pattern": null,
    "reason": "Includes discount code and product features for a skincare item",
    "ad_type": "product",
    "content_category": "Beauty",
    "content_category_confidence": 0.97,
    "ad_products": [
      {
        "product_name": "GlowFix Moisturizing Cream",
        "brand_name": "GlowFix",
        "brand_name_confidence": 0.99,
        "manufacturer": "GlowLab Inc.",
        "category": "Beauty",
        "category_confidence": 0.82
      }, 
      ...
    ]
}

추론 데이터가 validator를 통과한다면, Amazon Simple Queue Service (SQS)에 해당 정보를 전송하고 브랜드 정규화 에이전트가 이를 받아 정규화된 브랜드명을 추정합니다.

브랜드 정규화 서브 에이전트

브랜드 정규화 과정은 공식 브랜드 명칭과 로고를 일관되게 확보하는 것을 목표로 합니다. 에이전트는 먼저 추출된 브랜드명을 텍스트 기준에서 전처리하고, 정규화된 브랜드명이 적재되어 있는 내부 데이터베이스에 접근해 매칭이 되는 브랜드가 있는지 탐색합니다. 매칭 결과가 없을 경우, Amazon Bedrock을 통해 LLM을 호출하여 브랜드명을 정규화합니다. 이 과정에서 Wikipedia, DuckDuckGo 등의 MCP(Model Context Protocol) 서버를 활용하여 외부 출처를 검색하여 공식 브랜드명과 로고를 확보합니다. 예를 들어 “스타벅스코리아”가 탐지된 경우, 이 과정을 통해 최종적으로는 “Starbucks”라는 글로벌 표준 명칭으로 정규화할 수 있습니다. 이렇게 정규화된 결과는 데이터베이스에 반영되고, 이후 동일 브랜드가 다시 탐지될 경우 자동으로 표준 명칭으로 매핑됩니다. 전체 과정은 모니터링 및 2차 검증 절차를 통해 사람이 결과를 확인하고, 필요 시 피드백을 반영하여 지속적으로 정제됩니다.

전체 과정은 위와 같이 LangGraph 기반으로 설계되어 각 분석 단계를 노드로 정의하고, 에이전트 간 호출 및 도구 사용을 일관된 패턴으로 관리하였으며, 처리량 확보를 위해 프로덕션 단계에서는 프롬프트를 단계별로 단일화시켜 정확도에 큰 차이가 없도록 하였습니다. JSON 출력을 보장하기 위해 Pydantic 스키마를 적용했으며, 모든 결과와 로그는 Amazon S3 및 Amazon CloudWatch에 기록됩니다. 이를 통해 처리량, 분석 정확도, 오류율 등의 지표를 지속적으로 모니터링할 수 있습니다.

서비스 가치 및 성과

이러한 콘텐츠 분석 과정을 통해 피처링 서비스는 다음과 같은 기능들을 제공하고 있습니다.

광고 콘텐츠 분석: 인플루언서의 광고 활동 패턴과 브랜드 협업 현황 파악
인플루언서 카테고리 분류: 각 인플루언서의 전문 분야와 영향력 영역 식별
맞춤형 분석 서비스: 엔터프라이즈 고객사의 요구사항에 맞는 인플루언서 분석 및 관리 서비스
트렌드 분석 리포트: 지속적인 콘텐츠 분석을 통한 소셜 미디어 트렌드 분석 제공

이를 통해 고객들은 보다 효과적이며, 데이터 기반의 인플루언서 마케팅 전략을 수립할 수 있게 되었습니다. 광고 콘텐츠 분석 기능이 추가된 이후, 피처링 서비스의 리포트 조회율과 콘텐츠 성과 지표 확인율이 크게 향상되었습니다. 기존 대비 리포트 조회율은 약 60%, 광고 콘텐츠를 포함하여 콘텐츠 지표를 확인하는 고객 수는 약 65% 증가하였습니다. 이로 인해 고객사들은 단순 보고서 열람을 넘어, 캠페인별 성과를 실시간으로 모니터링하고 비교 분석하는 사용 패턴을 보이고 있습니다.

또한, 내부 캠페인 운영팀의 업무 효율성 역시 뚜렷하게 개선되었습니다. 광고주 맞춤 리포트 자동화와 인플루언서별 광고 이력 분석 기능이 통합되면서, 기존 수작업으로 평균 6~8시간 소요되던 캠페인 성과 분석 작업이 평균 2시간 이내로 약 70% 단축되었습니다. 이로써 운영팀은 보다 전략적인 캠페인 설계와 인사이트 도출에 집중할 수 있게 되었습니다.

Lessons Learned

피처링에서는 Amazon Bedrock 기반 소셜 미디어 콘텐츠 분석 시스템을 구축하면서 다음과 같은 핵심 교훈을 얻을 수 있었습니다.

1. Amazon Bedrock을 통한 멀티 모달 LLM 활용

Amazon Bedrock을 활용함으로써 인프라의 관리 부담 없이 콘텐츠 분석에만 집중할 수 있었습니다. 분석해야 할 콘텐츠가 급증하는 상황에서도 안정적인 처리가 가능했으며, 통합된 API를 통해 다양한 모델을 손쉽게 테스트하고 비교할 수 있었습니다. 특히 Amazon Bedrock의 표준화된 응답 형식 덕분에 여러 에이전트 간 일관된 출력 처리가 가능했고, 이는 멀티 에이전트 시스템 구축에 핵심적인 요소가 될 수 있었습니다.

2. 스트리밍 아키텍처로 확장성 확보

Amazon Kinesis Data Streams를 메시지 버퍼로 활용하여 하나의 콘텐츠를 여러 에이전트가 독립적으로 소비할 수 있는 구조를 구현했습니다. 샤드 단위로 처리량을 유연하게 조절할 수 있었고, 필요 시 데이터 재처리도 용이했습니다. AWS Lambda를 소비자로 구성하여 콘텐츠 유입량에 따라 자동으로 확장되면서도 비용을 최적화할 수 있었으며, 이를 통해 대량의 소셜 미디어 콘텐츠를 효율적으로 분석할 수 있었습니다.

3. 모니터링과 지속적 개선

Amazon CloudWatch를 통해 각 에이전트의 처리량, 지연시간, 오류율 등 핵심 지표를 실시간으로 모니터링했습니다. 모든 LLM 추론 결과와 입력 데이터는 Amazon S3에 구조화된 형태로 저장하여, 정기적인 품질 검증과 프롬프트 개선의 기반 데이터로 활용했습니다. 특히 신뢰도 점수를 성능 지표로 추적하여 성능 저하를 조기에 감지하고 대응할 수 있었으며, 이는 프로덕션 환경에서 안정적인 품질을 유지하는 데 필수적이었습니다.

향후 계획

피처링에서는 소셜 미디어 데이터의 핵심인 콘텐츠 데이터를 확장성 있게 분석할 수 있는 시스템을 AWS 인프라 내에 성공적으로 구축했습니다. 단기적으로는 이 기반 위에 다음과 같은 고도화를 추진하고 있습니다.

분석 정확도 및 성능 개선: 각 분석 에이전트를 고도화하여 더욱 정확하고 빠른 분석을 제공
유연한 시스템 확장: 지속적으로 변화하는 분석 요구사항에 맞춰 새로운 분석 에이전트들을 신속하게 개발하고 배포
전방위적 데이터 분석: 소셜 미디어 전반의 모든 데이터를 분석할 수 있도록 시스템을 확장하여, 인플루언서 마케팅에 필요한 모든 인사이트를 피처링 플랫폼을 통해 제공

피처링은 중장기적으로는 AWS와 협력하여 글로벌 소셜 미디어 데이터 거버넌스 플랫폼으로 발전하는 것을 목표로 하고 있습니다. 단순한 데이터 분석 플랫폼을 넘어, 소셜 미디어 전반의 데이터를 신뢰성 있고 투명하게 다룰 수 있는 글로벌 거버넌스 체계로 발전하고자 합니다. 브랜드, 플랫폼, 크리에이터 간에 오가는 모든 데이터를 정합성 있게 관리하고 표준화된 방식으로 운영해, 데이터에 기반한 마케팅 의사결정의 신뢰도를 높일 계획입니다. 분석부터 인사이트 도출, 실행, 성과 리포팅에 이르는 전 과정을 하나의 체계 안에서 자동화해, 마케팅 전체 프로세스를 효율적으로 운영할 수 있는 생태계를 만들고자 합니다. 이를 통해 피처링은 “인플루언서 마케팅을 위한 데이터 분석 플랫폼”을 넘어, “글로벌 소셜 미디어 마케팅 데이터의 거버넌스 허브”로 자리매김할 계획입니다.

AWS 기술 블로그