NBCU, AWS를 사용하여 One Platform 기술 스택 내에 자사 데이터 솔루션 구축

빅 데이터 워크로드를 더욱 효과적으로 관리하기 위해 NBCU는 4PB의 데이터를 AWS의 데이터 레이크로 마이그레이션했습니다. NBCU의 광고 기술 부문 수석 부사장 Jeff Pinard는 이렇게 설명합니다. “우리는 AWS 팀과 협력하여 이 빅 데이터에 대한 데이터 파이프라이닝 활동을 재구성하고 이를 선형 및 디지털 환경 전반에 걸친 예측에 통합하여 종합적인 미디어 계획 전반의 계획 수립을 지원했습니다.”

One Platform은 클라우드에서의 페타바이트급 데이터 처리, 대화형 분석, 기계 학습을 위한 빅 데이터 솔루션인 Amazon EMR과 같은 AWS의 휘발성 컴퓨팅 솔루션을 활용합니다. NBCU는 기계 학습을 활용하여 200개의 작업을 거의 모든 워크로드에 대해 안전하고 크기 조정이 가능한 컴퓨팅 용량을 제공하는 Amazon Elastic Compute Cloud(Amazon EC2)를 기반으로 구축한 비용 효율성 모델과 8,000대의 서버에 맞춰 조정합니다.

15.4TB의 대화형 보고 데이터를 거의 실시간으로 가져오는 파이프라인의 효율성을 높이기 위해 NBCU는 AWS Lambda를 사용합니다. AWS Lambda는 기업이 서버를 프로비저닝하거나 관리할 필요 없이 거의 모든 유형의 애플리케이션 또는 백엔드 서비스에 코드를 실행할 수 있도록 지원하는 이벤트 기반 서버리스 컴퓨팅 서비스입니다.

NBCU는 AWS에 구축된 데이터 솔루션을 사용하여 비즈니스 요구 사항에 보다 민첩하고 빠르게 반응할 수 있었습니다. 예를 들어 2021년 도쿄 올림픽 기간에 올림픽 관련 데이터 볼륨이 7GB로 증가했지만, AWS 데이터 인프라를 갖춘 덕분에 규모 조정을 통해 지연 시간 없이 고객의 요구 사항을 충족할 수 있었습니다. 또한 거의 실시간으로 보고 및 제공 분석을 수행하여, 구매 패턴을 신속하게 관리, 리디렉션하고 하루 단위로 제공 현황을 분석할 수 있었습니다. “모든 온프레미스 환경에서 이러한 작업을 수행할 수 있는 서버 성능을 확보하려면 막대한 비용이 발생했을 것입니다”라며 Pinard가 설명을 이어갑니다. “앞으로도 AWS에서 비용 효율이 높은 방식으로 작업하고, 매년 기하급수적으로 증가하는 데이터를 거의 실시간으로 제공할 것입니다.”