대부분 경쟁사의 데이터 웨어하우징 솔루션은 연간 비용이 최대 100만 달러에 이릅니다. 하지만 Amazon Redshift는 모든 비용을 합쳐도 10만 달러에 그쳐 약 90%의 총 비용 절감 효과가 있습니다. 
Joel Cumming 데이터 부문 책임자

Kik Interactive는 2009년 캐나다의 워털루 대학에 다니는 뛰어난 재능의 학생들이 모여 설립한 회사입니다. 이 회사의 메시징 서비스인 Kik Messenger는 현재 주로 미국에서만 2억 7,500만 명이 넘는 가입자 수를 자랑합니다. 이 서비스는 텍스트, 이미지 및 동영상 메시징 기능을 무료로 지원하는 것 외에도 웹 콘텐츠 검색 및 액세스가 가능한 통합 브라우저도 제공합니다. 또한 개발자 도구를 통해 조직이 자사의 웹 콘텐츠를 최적화하여 기업 플랫폼 가입자에게 배포할 수 있도록 돕고 있습니다.  

Kik은 기존 가입자를 유지하고 지속 가능한 성장을 모색하기 위해 빠르고 응답성이 높을 뿐만 아니라 가입자가 지속적으로 이용할 수 있는 메시징 서비스가 필요했습니다. Kik DevOps 팀장인 Chris Fairles는 "언제든지 실시간으로 메시지를 전송할 수 있다는 믿음을 보여 주고 있는 가입자들에게 우리는 막중한 책임을 느끼고 있습니다. 최대한 효과적인 서비스를 제공하기 위해 안정성과 안전성, 그리고 유연성을 모두 갖춰 변화하는 가입자 요건을 만족할 수 있는 기술에 투자하고 있습니다."라고 말합니다.

그 밖에도 Kik은 가입자의 목소리에 귀를 기울이고 최신 제품 개선을 통해 가입자 요건을 충족해야 한다는 또 하나의 과제를 안고 있습니다. "우리는 고객과 고객의 서비스 사용 방식에 대한 엄청난 양의 데이터를 보유하고 있지만 로그 파일이나 그 밖의 회사 시스템에 묵힐 뿐 전혀 활용하지 못하는 경우가 많습니다. 현재 최신 빅 데이터 기술이나 혁신 기술에 막대한 투자를 진행하고 있는 이유도 이러한 데이터를 실제 비즈니스 가치로 전환하고, 신뢰할 수 있는 사례를 바탕으로 모든 개발 관련 의사결정을 내리기 위해서입니다."라고 Fairles가 말합니다.

Kik은 최고의 가입자 환경을 제공할 목적으로 사내 서버와 Amazon Web Services(AWS) 클라우드 기반 호스팅 인프라를 함께 사용하고 있습니다. "우리는 프로필 사진 및 이미지 메시징부터 동영상 메시징 및 계정 관리에 이르기까지 AWS를 통해 광범위한 기능을 사용자에게 지원하고 있습니다."라고 Fairles는 말합니다.

Kik의 AWS 아키텍처는 Amazon Elastic Compute Cloud(Amazon EC2), Amazon Simple Storage Service(Amazon S3) 및 Amazon Virtual Private Cloud(Amazon VPC)로 구성되어 있으며, 여기에 필요에 따라 클라우드 기반 인프라를 프로비저닝하고 배포할 수 있는 Amazon CloudFormation이 추가됩니다. “우리는 AWS CloudFormation을 사용하면서 모든 AWS 인프라가 코드 하나로 정의되는 '마이크로서비스' 아키텍처를 도입하였습니다. 가까운 미래에는 Amazon CodeDeploy를 도입할 계획도 갖고 있습니다. 그렇게 되면 사실상 인력의 도움 없이도 표준화된 IT 스택을 빠르고 쉽게 배포할 수 있을 것입니다.”라고 Fairles가 밝혔습니다.

Kik이 빠르고 응답성 높은 서비스 환경을 가입자에게 제공할 수 있는 이유도 AWS에서 비롯됩니다. “우리는 Amazon Direct Connect를 사용하여 내부 서버 팜과 AWS 클라우드 사이의 데이터 송수신 속도를 높임으로써 지연 시간과 지터를 최소화합니다. 또한 Amazon CloudFrontAmazon Route 53을 통해 가입자와 가장 가까운 엣지 영역까지 콘텐츠를 전송함으로써 Kik Messenger는 사용자 위치에 상관없이 가장 빠른 속도와 응답성을 보장할 수 있는 애플리케이션으로 거듭날 수 있었습니다."라고 Fairles는 강조하였습니다.

그 밖에도 Kik은 마이크로서비스 아키텍처를 사용하여 AWS를 기반으로 정교한 데이터 분석 플랫폼을 개발하였습니다. 이로써 가치를 한층 높여주는 새로운 통찰력을 기업에게 제공할 뿐만 아니라 가입자 환경을 최적화하는 토대가 마련된 셈입니다. 이 플랫폼은 Amazon EC2, Amazon S3 및 Amazon VPC를 기반으로 하지만 여기에 주요 데이터 웨어하우징 기능을 지원하는 Amazon Redshift가 추가되었습니다.

분석 작업에 필요한 소스 데이터는 이전에 Amazon S3 버킷에 저장되어 있던 수백 테라바이트의 로그 파일에서 처음 가져왔습니다. 이후 가져온 로그 파일을 압축 및 처리하는 데 Amazon Elastic Map Reduce(Amazon EMR) 및 Hadoop Pig 스크립트가 사용되었으며, 그런 다음 Amazon Redshift로 로그 파일을 불러올 때도 여전히 압축된 상태로 로드되었습니다. "처음에는 500TB부터 시작하였지만 지금은 관리 중인 데이터가 50TB로 줄어들어 작업도 훨씬 쉬워졌습니다.”  

Kik의 AWS 인프라는 Auto Scaling 기능이 탑재되어 메시징 서비스를 비롯한 기타 콘텐츠를 더욱 비용 효율적으로 전송할 뿐만 아니라 사용한 컴퓨팅 및 스토리지 리소스에 대해서만 비용을 지불할 수 있습니다. Fairles는 "우리의 AWS 아키텍처는 트래픽 피크 시간에는 자동으로 리소스가 확장되었다가 트래픽 수요가 줄어들면 다시 축소됩니다. 이 말은 컴퓨팅 및 스토리지 리소스를 사용한 만큼만 지불함으로써 그 무엇보다 비즈니스 수익성이 높다는 것을 의미합니다."라고 말합니다.

또한 Kik은 AWS를 이용해 가입자의 서비스 가용성을 최적화하는 데 성공하였습니다. Fairles는 이렇게 덧붙입니다. "AWS 아키텍처의 구성요소는 완벽하게 이중화되어 있습니다. 즉, 기술에 따른 주요 시스템 중단이 발생하더라도 온라인을 통한 서비스는 멈추지 않습니다. 그뿐만 아니라 전체 AWS 데이터 센터가 중단되더라도 가입자들이 애플리케이션을 계속해서 사용할 수 있도록 AWS의 가용 영역을 다수 사용하고 있습니다."  

Kik Interactive가 고객 및 운영 데이터를 통해 소중한 통찰력을 발굴할 수 있는 이유는 Amazon Redshift에서 찾아볼 수 있습니다. Kik의 데이터 팀장인 Joel Cumming은 이렇게 말합니다. "우리는 서비스를 이용하는 사용자들의 다양성은 물론이고 이들의 요건과 선호도까지 알 수 있습니다. 이러한 통찰력은 새로운 개발 프로젝트를 홍보하거나, 서비스 문제를 해결하거나, 새로운 시장을 개척하거나, 개인화 서비스를 제공하거나, 고객 이탈을 최소화하는 데 사용됩니다."

Amazon Redshift는 사내 하드웨어, 소프트웨어 및 지원 요건을 배제함으로써 이러한 통찰력을 얻는 데 드는 비용을 크게 줄일 수 있습니다. "구매부터 이후 지속적인 유지보수 및 지원까지 감안했을 때 대부분 경쟁사의 데이터 웨어하우징 솔루션은 연간 비용이 최대 100만 달러에 이릅니다. 하지만 Amazon Redshift는 모든 비용을 합쳐도 10만 달러에 그쳐 약 90%의 총 비용 절감 효과가 있습니다."라고 Cumming은 말합니다.

최근에는 비용이 전혀 들지 않는 Redshift 하드웨어 업그레이드를 통해 데이터 웨어하우징 성능을 30% 높이는 데 성공하였습니다. "AWS는 현재 플랫폼 업그레이드를 진행 중입니다. 그 덕분에 우리는 그 어느 때보다도 빠르게 더욱 많은 비즈니스 통찰력을 구현할 수 있게 되었습니다. 그 결과 이제는 필요한 리소스는 줄이면서 다양한 소스에서 방대한 양의 데이터를 수집하는 동시에 고객 요건에 대한 새로운 통찰력을 발굴할 수 있는 능력을 갖추었습니다."라고 Cumming은 덧붙입니다.

최근 Kik은 AWS Lambda를 배포하였습니다. Cumming은 이를 두고 데이터 분석을 위한 "차세대 프런티어"라고 얘기합니다. "정말로 기대가 큽니다. AWS Lambda는 필요한 인프라를 자동으로 프로비저닝하여 데이터 사이언스 애플리케이션을 실행하기 때문에 걱정할 필요가 없습니다. 오히려 서버 관리에 시간을 투자하지 않고 비즈니스 통찰력을 구현하여 사용자 경험을 개선하는 등 고객을 위한 최상의 서비스에 더욱 집중할 수 있습니다."

Kik은 AWS Lambda에서 그치지 않고 Amazon API GatewayAmazon DynamoDB까지 도입하고 있습니다. 이 두 솔루션은 기업 내에서 필요한 데이터에 즉시 액세스할 수 있도록 서비스를 제공합니다. Cumming은 이렇게 말합니다. "API Gateway를 도입하면서 우리는 회사 제품을 이용해 복잡한 통계 모델 및 개인화를 빠르게 구현할 수 있게 되었습니다. 또한 DynamoDB, Lambda 및 API Gateway를 기반으로 짧은 시간 내에 첫 번째 내부 Data API를 개발하는 데 성공하였습니다. 이제 Kik은 과거에는 상상도 못했던 방법으로 서비스를 개인화하거나 확장할 수 있는 위치까지 올랐습니다."

AWS를 통한 기업의 데이터 관리 비용 절감에 대한 자세한 내용은 빅 데이터 세부 정보 페이지를 참조하십시오.