AWS를 이용해 인사이트 생성용 통합형 데이터 플랫폼을 구축한 Nykaa

Nykaa는 지난 십 년 동안 뷰티 및 퍼스널 케어만 다루던 전자 상거래 플랫폼에서 남성 그루밍, 패션, eB2B 등을 포함한 다양한 부문을 아우르며 성장하여 해외로도 활동 영역을 확장해 왔는데, 이에 따라 데이터 문제가 발생했습니다. 각 부문이 서로 다른 데이터베이스를 이용해 운영되면서 회사가 판매, 고객, 제품 인벤토리 데이터를 활용하기 위한 단일한 소스에 액세스할 수 없게 된 것입니다.

Nykaa는 사일로화된 시스템 때문에 효과적으로 데이터 분석을 수행하지 못하고, 자사 고객에 대한 비즈니스 인사이트를 생성하는 데 차질을 빚고 있었습니다. 또한 서로 다른 데이터베이스가 여러 개이다 보니 관리에 시간이 오래 걸리고 모순되는 데이터가 존재할 위험이 커졌습니다. 게다가 같은 데이터를 여러 위치에 복제하면서 전반적인 스토리지 풋프린트가 늘어나고, 결국 리소스를 비효율적으로 활용하게 된다는 사실을 깨닫기도 했습니다.

뿐만 아니라, 성능을 모니터링하려면 다양한 부문의 클릭스트림과 트랜잭션 데이터를 정기적으로 수집하고 분석해야 했습니다. 이 때문에 여러 데이터베이스에서 데이터가 조각나는 결과를 초래했습니다. 회사에서 관련 비즈니스 보고서를 생성하려면 직원 2~4명으로 구성된 팀이 3~4주를 할애해야 했습니다. 이렇게 시간이 오래 걸리는 프로세스 때문에 특정 시점에 특정 고객 집단에 도달할 기회를 놓치는 상황도 때때로 발생했습니다.

Nykaa는 2022년 “One Nykaa, One Data” 이니셔티브를 개시해 통합형 데이터 수집, 거버넌스, 쿼리 프레임워크를 만들기로 했습니다. Nykaa는 자사 운영을 규모 조정 가능하고 안정적이며 비용 효과적인 단일 데이터 레이크로 간소화하고자 AWS에 도움을 청했습니다. 목표는 다양한 소스에서 유입된 데이터를 통합하고, 모든 이해관계자에 대하여 투명성을 강화하고, 교차 판매 및 상향 판매 기회를 창출하는 것이었습니다.

Nykaa에서는 2022년 9월, 오픈 소스 프레임워크를 사용해 처리, 분석, 기계 학습을 수행하는 클라우드 기반 빅 데이터 솔루션인 Amazon EMR의 비용 효율성을 다른 여러 클라우드 기반 분석 솔루션과 비교하여 개념 증명(POC)을 구축했습니다. 3~4주가 지난 뒤, Nykaa는 Amazon EMR의 탄력적 스케일링 기능과 종량제 요금 모델 덕분에 코어 소프트웨어 경비가 30% 감소한 사실을 확인했습니다.

Nykaa는 2023년 3월부터 Amazon EMR, Amazon Simple Storage Solution(Amazon S3)과 객체 스토리지 서비스 겸 클라우드 데이터 웨어하우징 서비스 Amazon Redshift를 사용해 데이터 레이크의 수집 계층을 빌드하고 배포하기 시작했습니다. 이 데이터 레이크는 이제 “One Nykaa, One Data” 이니셔티브의 초석 구실을 하며, 다양한 소스에서 입수했으며, 보관되지 않은 데이터 400TB를 단일 데이터 레이크로 통합합니다.

이 회사는 현재 Amazon EMR의 기본 제공 오토 스케일링을 통해 데이터 처리 워크로드 규모를 자동으로 조정하여 최대 1만 건의 데이터 수집 작업을 지원하고 있습니다. 그 결과 Nykaa 비즈니스 분석팀은 이전에 비즈니스 보고서를 생성하려면 최대 2주가 걸렸는데, 이제 단 5시간이면 해결될 정도로 속도가 빨라졌습니다. 현재 이 팀은 데이터 처리 플랫폼을 확장해 1,500세트를 넘는 고객 데이터를 생성합니다. 또한 매일이 아니라 매 시간 데이터를 수집하기 때문에 시장 트렌드나 떠오르는 고객 취향에 신속하게 대응할 수 있습니다.

Nykaa는 거버넌스 계층에서 새 데이터 레이크를 빌드, 관리, 보호하는 데 AWS Lake Formation을 이용합니다. 고객 행동과 선호 사항에 대한 심층 인사이트를 얻을 안전한 방법이 확보되어서, 개인화된 마케팅 전략을 수립하고 다양한 고객 세그먼트에 따라 제품 추천을 맞춤 조정할 수 있습니다.

마지막으로, Nykaa는 Amazon Redshift와 함께 서버리스 분석 서비스인 Amazon Athena도 사용해 쿼리 계층에서 페타바이트급 데이터를 분석합니다. 두 서비스 모두 완전관리형이기 때문에 Nykaa 개발자는 데이터 웨어하우징 및 쿼리 서비스를 운영하고 유지 관리하는 데 시간을 할애할 필요가 없습니다.

Nykaa는 앞으로 실시간 피드를 비롯한 더 많은 데이터 소스를 통합하고자 하며, 이를 통해 지금보다도 더 표적화된 인사이트를 생성하고 고도의 맞춤형 고객 경험을 제공하려 합니다.

통합된 데이터 레이크를 확보한 Nykaa는 기계 학습 기능을 통합하는 데까지 비전을 확장하고 있습니다. 이를 통해 검색 및 추천 기능을 강화하고, 인벤토리 관리를 최적화하고, 백엔드 운영을 개선하여 궁극적으로 고객 경험을 향상하는 것이 목표입니다.

“갈수록 시장 참여자가 늘어나고 있는 인도 전자 상거래 시장에서는 아주 사소한 경쟁 우위도 큰 의미가 있습니다. 우리는 이제 AWS를 기반으로 안전하고 관리하기 간편하며, 확장성이 우수하고 비용 효과적인 데이터 레이크를 보유하게 되었습니다. 덕분에 전에는 접할 수 없었던 의미 있는 고객 인사이트를 발굴할 수 있었습니다.” Nykaa의 Head of Data Platform인 Rajat Kumar의 말입니다.