블루닷(BLUEDOT)의 AWS Elemental과 EC2 GPU AMI를 이용한 실시간 4K AI 비디오 업스케일링 아키텍처

블루닷(BLUEDOT)은 미디어 AI 혁신을 선도하는 기술 기업으로, 영상 품질 개선 및 인코딩 최적화 솔루션을 전문적으로 제공하고 있습니다. 블루닷은 콘텐츠 업스케일링, 초고해상도 영상 변환, 실시간 스트리밍 최적화 등 광범위한 영역에서 차별화된 기술을 제공해 왔으며, 글로벌 미디어 기업, 방송사, OTT 플랫폼을 주요 고객으로 확보하고 있습니다.

특히, 블루닷의 핵심 기술인 AI 기반 업스케일링 솔루션은 기존 저해상도 영상의 해상도와 화질을 획기적으로 향상시켜 4K/8K급 초고화질 콘텐츠 제작을 가능하게 합니다. 이는 제작비 절감, 아카이브 콘텐츠의 재활용성 강화, 그리고 궁극적으로 시청자 경험 개선이라는 핵심적인 비즈니스 이점을 고객에게 제공하고 있습니다.

프로젝트의 배경

스포츠, 콘서트 등 다양한 영상 콘텐츠의 품질은 시청자의 몰입도를 결정짓는 핵심 요소입니다. 4K TV 보급률이 빠르게 증가함에 따라 콘텐츠 화질에 대한 시청자의 기대치도 높아졌으며, 저해상도 콘텐츠는 구독 이탈률을 높이는 요인으로 작용하고 있습니다.

이러한 문제에 대응하여 인공지능(AI) 기반 영상 품질 개선 기술이 주목받고 있습니다. 블루닷은 이미 VOD(주문형 비디오) 콘텐츠 분야에서 AI 업스케일링을 성공적으로 적용하여 비용 효율적으로 고품질을 구현하는 대안으로 자리 잡았으며, 기존 필터 방식보다 정교한 결과를 제공하고 있습니다.

그러나 실시간 라이브 스트리밍 환경에 AI 모델을 적용하는 것은 여전히 극복해야 할 기술적 난제입니다. 라이브 환경에서는 AI 모델이 즉각적이면서 저지연(Ultra-low latency)으로 작동해야 하지만, 기존 모델들은 과도한 연산량으로 인해 처리 시간 제약을 극복하기 어렵습니다.

블루닷은 이 한계를 돌파하기 위해 경량화된 AI 모델 개발과 함께 최적화된 하드웨어 기술을 제공하고 있습니다. 실시간 프로세싱에 최적화된 AI 모델인 Bluewhale-SR은 라이브 스트리밍 환경에서도 지연 없이 4K 업스케일링을 제공하는 혁신적인 솔루션으로, AWS Elemental Services를 비롯한 클라우드 기반으로 구축되었습니다.

Bluewhale-SR

블루닷의 Bluewhale-SR은 실시간 프로세싱과 4K 업스케일링을 지원하며, 영상 화질 개선에 특화되어 있습니다. 라이브 스포츠나 콘서트처럼 현장감 있는 콘텐츠를 포함하여 SD, FHD급 저화질의 원본 영상을 고품질 영상으로 변환하는 것이 주요 역할입니다.

차별점

1. CNN 기반의 화질 개선 및 업스케일링
   • 영상 처리에 특화된 CNN(Convolutional Neural Network) 기반으로 설계되었습니다. 이를 통해 영상 데이터에서 패턴과 엣지, 질감을 효과적으로 인식하고, 저해상도에서 손실된 디테일을 정확하게 복원하고 노이즈를 제거합니다.
2. GAN 학습
   • GAN(Generative Adversarial Network) 학습으로, AI 모델은 자연스럽게 데이터를 생성합니다. 생성한 데이터를 바탕으로 업스케일된 영상의 정밀도와 선명도를 모두 향상시킬 수 있습니다.
   • 영상의 정보로부터 불필요한 노이즈를 제거하고 텍스처 생성을 효과적으로 함으로써 원본 디테일을 보다 정밀하게 보존할 수 있습니다.
3. 실시간 AI 비디오 프로세싱에 최적화
   • Bluewhale-SR은 실시간 영상 처리에 최적화된 경량화 모델을 기반으로 하고 있습니다. FFMpeg에 쉽게 통합되며, 여러 인코더와도 호환되어 기존 미디어 워크플로우에 자연스럽게 통합될 수 있도록 설계되었습니다.

AWS 클라우드 인프라 채택 배경

Bluewhale-SR이 혁신적인 AI 모델을 기반으로 하지만, 기존의 온프레미스 미디어 워크플로우는 빠르게 변화하는 콘텐츠 소비환경과 고성능 AI 모델의 요구사항을 충족시키는데 다음과 같은 근본적인 한계가 존재했습니다.

1. 대규모 연산 리소스의 물리적/비용적 제약
2. 트래픽 급증 대비 확장성의 한계
3. 고연산 부하로 인한 비효율성

이러한 문제를 해결하기 위해 블루닷은 AWS 클라우드를 채택했습니다. AWS는 전 세계에 분산된 인프라로 글로벌 확장성을 제공하며, EC2 GPU 인스턴스(g4dn.*, g6e.* 계열)를 기반으로 한 온디맨드 컴퓨팅 리소스를 통해 초기 투자 비용 없이 효율적인 환경을 구축할 수 있습니다. 또한, AWS Elemental MediaConnect, AWS Elemental MediaLive, AWS Elemental MediaConvert와 같은 미디어 전용 관리형 서비스는 스트리밍 파이프라인의 안정성과 품질을 보장하고, Bluewhale-SR이 기존 방송사와 OTT 플랫폼의 워크플로우에 완전히 통합될 수 있도록 지원합니다.

상세 아키텍처

Bluewhale-SR은 현재 2가지 방식의 업스케일링 파이프라인을 제공합니다.

1. 저장된 저화질 영상의 AI 업스케일링 파이프라인
2. 실시간 스트리밍 영상의 AI 업스케일링 파이프라인

저장된 저화질 영상의 AI 업스케일링 파이프라인

위 아키텍처의 주요 흐름은 다음과 같습니다.

1. 파일 인제스트
   • 저화질의 원본 파일을 Amazon S3 버킷에 업로드합니다.
2. 워크플로우 트리거
   • 파일 업로드 시 발생한 S3 이벤트가 AWS Lambda 함수를 호출하고 Step Functions 상태 머신을 실행합니다.
3. AI 업스케일링
   • Systems Manager가 Run Command로 EC2에서 스크립트를 실행하고 업스케일링 작업을 시작합니다.
   • 업스케일링이 완료된 파일은 Upscaled 버킷에 저장됩니다.
4. 트랜스코딩
   • AWS Elemental MediaConvert의 작업을 생성합니다.
   • ABR 포맷인 Apple HLS 또는 DASH ISO 그룹을 선택해 트랜스코딩합니다.
   • 완료된 비디오 세그먼트 파일과 매니페스트 파일은 최종 Output 버킷에 저장됩니다.
5. 콘텐츠 전달
   • 최종 Output 버킷에 저장된 영상 자원들(.m3u8, .mpd, 세그먼트)은 Amazon CloudFront의 원본으로 설정됩니다.
   • CloudFront의 엣지 로케이션을 통해 저지연으로 비디오를 전달합니다.

실시간 스트리밍 영상의 AI 업스케일링 파이프라인

위 아키텍처의 주요 흐름은 다음과 같습니다.

1. 라이브 소스 수신
   • AWS Elemental MediaConnect가 외부 라이브 소스를 수신합니다.
2. AI 업스케일링 전처리
   • 라이브 스트림이 GPU 기반 EC2로 전달되어 AI 업스케일링 전처리를 진행합니다.
3. 스트림 인코딩
   • AI 업스케일링이 완료된 스트림을 AWS Elemental MediaLive가 ABR 스트림 세트로 인코딩합니다.
4. 실시간 패키징
   • AWS Elemental MediaPackage가 인코딩된 스트림을 HLS 또는 DASH의 포맷으로 패키징합니다.
5. 콘텐츠 배포
   • MediaPackage의 엔드포인트가 CloudFront의 원본으로 설정되어 저지연 배포를 준비합니다.
6. 딜리버리
   • 최종 사용자가 CloudFront를 통해 라이브 스트림에 접근하며, 고화질과 낮은 지연 시간으로 콘텐츠를 소비합니다.

업스케일링 결과

아래 예시 사진을 통해 Bluewhale-SR이 어떻게 화질을 개선할 수 있는지 확인할 수 있습니다.

Formula 1

1. 배경 노이즈 제거: 선명하게 살아난 텍스트와 로고
   • 경계가 흐릿했던 차량 전면의 유리와 후드에 새겨진 로고나 번호가 GAN 모델을 통해 날카롭게 복원됩니다. 광고 식별성과 영상 정보 전달력을 극대화할 수 있습니다.
2. 정교한 엣지 복원: 깨끗하고 명료한 원거리 표현
   • 관중석 구조물이나 트랙 표면에서 보이던 저화질의 노이즈가 CNN 필터를 통해 효과적으로 개선됩니다. 복잡한 배경에서도 노이즈 없이 선명한 고화질을 유지하여 현장감을 제공합니다.
3. 재질감 복원
   • 차량의 도장면에서 빛을 받아 반사되는 하이라이트와 어두운 부분의 명암 대비가 획기적으로 개선됩니다.

Classic Concert

1. 어두운 영역의 디테일 확보와 노이즈 억제
   • 저화질에서 뭉개지기 쉬운 연주자들의 검은색 의상 주름이나 머리카락 디테일이 명료하게 살아납니다. 동시에 CNN 필터가 어두운 배경에서 발생하는 노이즈를 제거하여 인물의 피부톤과 주변 환경을 깨끗하고 자연스럽게 유지할 수 있습니다.
2. 악기 재질감의 사실적인 복원
   • GAN 기반의 텍스처 생성 능력이 바이올린과 첼로와 같은 나무 재질과 광택을 사실적으로 복원합니다. 플루트와 같은 금속 악기의 반사광과 세부 구조 또한 원본 대비 훨씬 선명해집니다.

성능 검증

블루닷의 Bluewhale-SR은 단순히 고화질을 구현하는 것을 넘어, 저지연 요구 사항과 비용 효율성을 모두 해결합니다.

4K 업스케일링 성능 지표

1080p의 스포츠 영상(1시간)을 4K로 업스케일링 시 AWS EC2 g6e.2xlarge 인스턴스 1개를 사용하여 측정한 성능 데이터는 다음과 같습니다.

비용 정보

Bluewhale-SR의 비용 정보는 AWS Marketplace에서 확인하실 수 있습니다.

마무리

블루닷(BLUEDOT)은 VOD와 라이브 스트리밍 환경 모두에서 저해상도 영상을 4K 초고화질로 실시간 개선하는 혁신적인 솔루션을 제공합니다. 기존 온프레미스의 한계를 극복하기 위해 AWS 클라우드로 전환하여, 온디맨드 GPU 자원과 AWS Elemental 미디어 서비스를 활용해 뛰어난 확장성과 안정성을 확보했습니다. 이를 통해 방송사와 OTT 플랫폼 워크플로우에 완벽히 통합되며, 비용 효율성을 유지하면서 고품질 영상 서비스를 지원합니다. 블루닷의 기술은 단순히 영상의 화질 향상을 넘어, 미디어 산업 전반의 혁신을 가속화하며 앞으로도 AI기반 영상 처리의 새로운 가능성을 지속적으로 확장해 나갈 것입니다.