OneFootball, AWS Lake Formation을 통해 며칠 만에 데이터 레이크를 구축하여 7천만 명의 팬들에게 서비스 제공

Apple App Store에서 판매된 첫 1,000개 애플리케이션 중 하나로 시작한 OneFootball은 전 세계적으로 축구 애호가들에게 가장 인기 있는 디지털 미디어 플랫폼으로 성장했습니다. 이 회사는 전 세계 축구 경기 뉴스, 스코어, 통계, 실시간 스트리밍 및 하이라이트를 통해 매달 7천만 명의 팬들을 확보하고 있습니다. 이러한 사용자에게 성공적으로 서비스를 제공하려면 OneFootball의 다양한 팀이 백엔드 데이터베이스에 쉽게 액세스하여 정보에 입각한 비즈니스 결정을 내리고 고객 경험 개선을 목표로 기계 학습 모델을 구축 및 테스트해야 했습니다.

그러나 데이터 인사이트에 대한 회사의 요구에 부응하고 결과를 제공하기 위해 직원 6명으로 구성된 작은 규모의 분석 팀은 회사 전체의 독립적인 데이터 사일로에 대한 다양한 ETL(Extract Transform Load) 워크로드를 실행하고 관리해야 했습니다. 이 복잡하고 시간이 많이 걸리는 프로세스에서 데이터를 추출하여 영업 및 마케팅 팀, 비즈니스 분석가, 뉴스 편집자, 데이터 과학자를 위한 시기 적절하고 실행 가능한 정보로 변환하는 작업에는 4~6주가 소요되었습니다. 데이터를 더 잘 사용하여 회사와 축구 팬 모두에게 이득을 주기 위해 OneFootball은 Amazon Web Services(AWS)를 기반으로 하는 더 빠른 솔루션을 모색했습니다.

이 회사는 2019년에 출시된 서비스인 AWS Lake Formation을 사용하여 안전한 클라우드 기반 데이터 레이크를 며칠 만에 쉽게 설정했습니다. 백엔드 데이터베이스의 데이터를 데이터 레이크에 통합한 이후 OneFootball은 중앙 집중식 데이터 레이크로 데이터 모으기를 단순화하고 레거시 ETL 워크로드를 제거했습니다. 이제 요청을 받고, 데이터를 추출하고, 인사이트를 제공하는 작업이 이틀도 채 걸리지 않습니다. 데이터 가용성이 향상되고 셀프 서비스 분석이 가능해짐에 따라 내부 팀과 최종 사용자는 더 짧은 시간에 더 풍부한 정보를 얻을 수 있게 되었습니다. 새로운 인프라는 5개국에 분산된 220명의 직원이 근무하는 회사의 기술 업무도 줄이고 직원 생산성을 최적화함으로써
직원들이 핵심 비즈니스에 집중하는 데 도움을 줍니다.

2008년에 설립된 OneFootball은 축구 팬들을 위한 미디어 플랫폼입니다. 매달 독립 콘텐츠 제작자, 클럽, 연합회, 기업, 방송사 등 3,500개의 능동적인 콘텐츠 제공업체가 제공하는 180,000개 이상의 기사를 12개 언어가 지원되는 웹사이트와 기본 iPhone 및 Android 앱을 통해 매일 사용자에게 전달합니다. 이 회사는 고객 기반이 크게 성장함에 따라 워크로드의 확장성, 안정성 및 효율성을 개선하기 위해 2014년에 AWS를 처음 사용했습니다. 수년에 걸쳐 OneFootball은 전체 플랫폼을 AWS로 전환했습니다.

이해 관계자가 백엔드 데이터를 더 많이 사용할 수 있도록 OneFootball은 데이터 레이크를 구축하기로 결정했습니다. 이 회사는 가장 널리 사용되는 매우 빠른 속도의 클라우드 데이터 웨어하우스인 Amazon Redshift를
이미 사용하고 있었습니다. 하지만 빠르게 시작하고 운영하기 위해 기존 프레임워크를 사용하여 자체적으로 데이터 추출 시스템을 만들기로 결정했습니다. API를 통해 노출된 모든 백엔드 데이터는 데이터를 샅샅이 뒤져 매일 밤 Amazon Redshift에 드롭하는 스크립트를 통해 추출되었습니다. OneFootball 팀은 다양한 청사진을 사용하여 ETL 프레임워크를 개별적으로 관리하기로 결정했습니다. 이로 인해 결국 기술 부채가 늘어나고 팀이 관리해야 하는 유지 보수 작업량도 늘어났습니다. OneFootball의 데이터 및 인사이트 부문 책임자인 Stephan Durry는 “엉망이었습니다”라고
말했습니다. “각 서비스마다 알림 및 모니터링이 다르게 처리되었습니다. 때때로 우리가 즉시 알아차리지 못한 채 추출이 실패하여 비즈니스 사용자에게 데이터가 누락되는 경우가 있었습니다.” OneFootball 팀은 바로 이때 AWS Lake Formation으로 눈을 돌렸습니다.

OneFootball의 데이터 엔지니어인 Rodrigo Del Monte는 “단순히 데이터를 추출하는 것이 전부가 아닙니다”라고 설명합니다. “데이터를 압축하고 분할해야 하는데, AWS Lake Formation이 바로 이 과정에서 빛을 발했습니다.” AWS Lake Formation의 사전 제작된 청사진을 사용함으로써 OneFootball은 매우 낮은 제반 비용으로 Amazon Redshift에서 사용할 수 있도록 데이터를 올바른 형태로 배치할 수 있었습니다. 그러면 다양한 회사 이해 관계자가 필요한 정보를 즉시 수집하고 데이터 레이크에서 복제할 테이블을 직접 선택할 수 있으므로 회사 전체에서 데이터에 더 쉽게 액세스할 수 있고 OneFootball의 데이터 엔지니어가 혁신에 더 많은 시간을 할애할 수 있습니다.

OneFootball의 데이터 레이크는 업계 최고의 확장성과 데이터 가용성, 보안 및 성능을 제공하는 객체 스토리지 서비스인 Amazon Simple Storage Service(Amazon S3)를 기반으로 분석을 수행하는 데 필요한 모든 백엔드 데이터베이스 세트로 구성됩니다. OneFootball은 매일 AWS Lake Formation을 사용하여 데이터 레이크에서 데이터를 추출하여 데이터 인사이트 팀 사이트로 가져옵니다. 데이터가 Amazon S3로 로드되면 Amazon Redshift는 데이터를 로드하거나 변환하지 않고도 Amazon Redshift Spectrum을 사용하여 Amazon S3에 있는 페타바이트 규모의 데이터에서 쿼리를 실행할 수 있습니다. Durry는 “AWS Lake Formation을 통해 Amazon S3를 컴퓨팅 계층 상단의 스토리지 계층으로 즉시 사용하고 이를 기존 인프라에 원활하게 통합할 수 있었습니다” 라고 말합니다. “이런 걸 직접 만들었으면 시간이 많이 걸리고 골치 아픈 일이 생겼을 거예요. 팀이 새 데이터를 수집해야 하는 경우, 복잡한 프로젝트를 만드는 대신 데이터 레이크에서 필요한 데이터를 매일 사용할 수 있도록 청사진을 설정하고 일정을 잡았습니다.”

다음 단계에서 OneFootball은 ELT(Extract Load Transform) 시스템을 사용하여 분석 데이터를 매일 새로 고치거나 기계 학습 모델을 구축하는 데 사용되는 데이터 세트를 생성합니다. 비즈니스 사용자를 위한 인터페이스를 제공하기 위해 OneFootball 팀은 사용자가 AWS Lake Formation에서 Amazon S3에 저장한 모든 데이터를 사용할 수 있는 오픈 소스 비즈니스 인사이트 도구인 Metabase를 유지 관리합니다.

AWS Lake Formation을 구현한 이후 OneFootball은 운영 데이터베이스에서 중앙 집중식 데이터 레이크로 데이터를 로드하는 데 걸리는 리드 타임을 3~5일로 단축했습니다. 데이터 레이크의 일부인 관련 백엔드 서비스의 적용 범위도 30%에서 60%로 증가했습니다. 이를 통해 팀의 내부 핵심 성과 지표인 능동적인 주간 분석 사용자가 크게 증가하여 분석 플랫폼 사용량이 40% 증가했습니다.

셀프 서비스 분석 기능을 사용하면 내부 이해 관계자가 필요에 따라 분석을 사용하고 보고 및 성과 측정을 위한 데이터 세트를 더 빠르게 반복하고 선별할 수 있습니다. 이로 인해 데이터 분석가가 분석 쿼리를 실행하는 대신에 탐구적 분석 및 인사이트 탐색과 분석에 소비할 수 있는 시간이 크게 늘어났습니다. 그리고 데이터 인사이트를 요청하고 수신하는 프로세스에 필요한 시간이 평균 4~6주에서 최대 2일로 단축되었습니다. Durry는 “궁극적으로 우리는 OneFootball에 근무하는 220여 명의 직원을 지원하는 소규모 데이터 팀이지만 이제는 다양한 유형의 데이터베이스 추출을 유지 관리하는 대신 비즈니스 문제를 이해하는 데 더 많은 시간을 할애할 수 있게 되었습니다”라고 말합니다. “조직 전체에서 점점 더 많은 사람들이 매일 분석을 사용하는 것을 볼 때 큰 성취감을 느낍니다. 모든 관련 데이터 소스를 안정적으로 통합하는 것이 전제 조건이었습니다.”

OneFootball은 고도로 확장 가능하고 내구력 있는 실시간 데이터 스트리밍 서비스인 Amazon Kinesis Data Streams를 사용하여 데이터 분석 시스템을 강화할 계획입니다. Del Monte는 “Amazon Kinesis Data Streams를 사용하면 일일 ETL 작업이 실행될 때까지 기다리는 대신 분석가 및 기계 학습 모델을 위한 데이터 레이크에 데이터를 로드하거나, 백엔드 애플리케이션이 거의 실시간으로 데이터를 소비하도록 할 수 있습니다”라고 설명합니다. “그리고 출시 시간도 훨씬 빨라졌습니다.”

현재 OneFootball은 거의 실시간으로 데이터를 제공할 수 있도록 데이터 레이크 인프라로 이벤트를 스트리밍하는 작업을 진행하고 있습니다. Amazon Kinesis Data Streams에서 Amazon
Elasticsearch Service로 데이터를 로드함으로써 최종 사용자는 관심 있는 정보를 거의 즉시 찾아서 볼 수 있습니다.

OneFootball은 AWS Lake Formation을 사용하여 데이터 레이크 및 데이터 분석 시스템을 구축했으며, 이는 회사에 큰 성과를 안겨준 것으로 입증되었습니다. 팀은 셀프 서비스 분석을 사용하여 데이터 인사이트를 신속하게 도출한 다음 이러한 인사이트를 현명한 비즈니스 의사 결정으로 전환하는 데 집중할 수 있게 되었습니다. Durry는 “이제 데이터 레이크에 대해 실행되는 쿼리 수를 기준으로 모든 것이 잘 관리되고 있습니다”라고 말합니다. “OneFootball은 데이터 레이크와 데이터 웨어하우스를 개방하여 사용자 스스로 의사 결정을 내리도록 맡겨 두었습니다.”