6sense Insights Inc. Amazon EKS로 마이그레이션하여 확장성을 개선하고 출시 기간을 단축

캘리포니아주 샌프란시스코에 본사를 둔 6sense는 B2B 매출 팀이 구매자와 고객을 보다 효과적으로 파악할 수 있도록 데이터 분석, 영업 인사이트 및 기타 예측 데이터를 제공합니다. 2014년, 이 회사는 컴퓨팅 클러스터를 관리하는 오픈 소스 솔루션인 Apache Mesos를 사용하여 데이터 파이프라인 프레임워크를 오케스트레이션하기 시작했습니다. 6sense의 인프라 엔지니어링 담당 이사 George Liaw는 “회사가 성장하면서 Apache Mesos에서는 몇 가지 한계에 부딪히게 되었습니다. 한 번에 하나의 프레임워크에만 컴퓨팅 리소스를 제공할 수 있었기 때문에 프로세스 속도가 느렸습니다. 게다가 확장 문제도 있었습니다”라고 말합니다. 

확장성이 더 뛰어난 솔루션을 찾던 6sense는 데이터 파이프라인을 개선할 솔루션으로 오픈 소스 컨테이너 오케스트레이션 시스템인 Kubernetes에 주목하기 시작했습니다. 2018년에 이 회사는 애플리케이션과 API 서비스를 두 개의 Kubernetes 클러스터로 마이그레이션하고, 클라우드에서 Kubernetes 클러스터를 설치, 운영 및 삭제하기 위한 도구 모음인 kOps를 사용하기 시작했습니다. 6sense는 컨테이너화된 아키텍처 덕분에 민첩성을 높일 수 있었지만, kOps는 완전관리형 서비스가 아니었기 때문에 6sense 팀이 상당한 양의 일상적인 운영 및 관리 작업을 수행해야 했습니다. Liaw는 “kOps를 사용하면서 유지 관리 작업 부담이 너무 커졌습니다. 이러한 수작업을 줄인다면, 우리 팀이 Kubernetes를 관리하는 대신 고객에게 서비스를 제공하는 데 시간을 집중적으로 할애할 수 있다는 것을 깨달았습니다”라고 말합니다.

2019년, 6sense는 컨시어지 형태의 서비스를 통해 기업이 성과를 실현하고 클라우드를 성공적으로 활용할 수 있도록 지원하는 AWS Enterprise Support에 투자하기로 결정했습니다. AWS Enterprise Support 팀은 이 회사가 완전관리형 Amazon EKS로 마이그레이션함으로써 당면한 문제를 완화할 수 있다는 사실을 깨닫도록 도왔습니다. Liaw는 “6sense에게 Amazon EKS는 기존 솔루션을 즉시 완벽하게 대체하며 더 나은 성능을 제공한 마법과도 같은 솔루션이었습니다”라고 말합니다.

2021년 9월, 6sense는 Apache Mesos 및 kOps를 기반으로 실행되던 레거시 솔루션에서 Amazon EKS로 나머지 워크로드를 마이그레이션하기 시작했습니다. 이 회사는 첫 주에 애플리케이션 및 API 서비스 워크로드의 대부분을 Amazon EKS로 마이그레이션했고, 2021년 말에는 안정적이고 편리한 파이프라인 오케스트레이션 솔루션을 개발했습니다. Liaw는 “Amazon EKS 클러스터를 실행하기 시작하면서 중요한 기능을 활용할 수 있게 되었습니다. 안정성에 대한 걱정 없이 보다 유연한 구성으로 클러스터를 테스트할 수 있었습니다”라고 말합니다. 2021년 12월에 이 회사는 Amazon EKS에서 7~8개의 클러스터를 운영하게 되었고 마이그레이션을 80% 완료했습니다. 

Amazon EKS를 사용하면서 6sense의 워크로드 처리량이 400% 향상되어 하루 1~2TB의 데이터를 처리할 수 있게 되었으며 이 수치는 계속 증가하고 있습니다. 이러한 빠른 속도를 바탕으로 6sense는 매우 복잡한 워크로드를 지원하고 고객에게 중요한 인사이트를 65% 더 빠르게 제공할 수 있게 되었습니다. 

6sense의 AWS 기반 솔루션은 속도가 매우 빠를 뿐만 아니라 확장성도 뛰어납니다. 6sense의 엔지니어링 및 인프라 담당 수석 부사장인 Premal Shah는 “Amazon EKS에서는 클러스터를 거의 무한대로 확장하여 최대한 많은 작업을 병렬로 실행할 수 있습니다. 더 이상 시간당 얼마나 많은 작업을 실행할 수 있을지 걱정할 필요가 없습니다”라고 말합니다. 또한 이 회사는 대폭 절감된 비용으로 대규모 워크로드를 실행하고 병렬 작업을 실행하여 워크로드를 가속화하는 데 사용되는 Amazon Elastic Compute Cloud(Amazon EC2) 스팟 인스턴스를 이용하고 있습니다. 6sense는 Amazon EC2 스팟 인스턴스를 사용하여 향후 확장을 지원하는 데 필요한 용량을 프로비저닝하는 동시에, 비용을 최적화할 수 있습니다. 

또한 6sense는 AWS로 마이그레이션하여 개발에 소요되는 시간을 크게 단축했습니다. Apache Mesos에서는 컨테이너 처리량의 제한으로 인해 새로운 데이터 파이프라인을 구축, 테스트 및 배포하는 데 한계가 있었습니다. 반면 Amazon EKS에서 6sense는 시간당 최대 300% 더 많은 컨테이너를 실행할 수 있습니다. 또한 Amazon EKS에서는 이전 솔루션에서 소요되던 시간보다 약 50% 더 빠르게 동일한 수의 Docker 컨테이너를 실행할 수 있습니다. 6sense는 이렇게 높은 수준의 속도와 확장성을 실현함으로써 개발자 생산성을 높이고 새로운 애플리케이션과 기능의 출시를 가속화했습니다. 

Amazon EKS는 완전관리형 Kubernetes 서비스이므로, 6sense가 더 이상 Kubernetes 클러스터를 관리하거나 운영하는 데 집중할 필요가 없습니다. 이 회사의 팀은 이렇게 절약된 시간을 고객 경험을 개선하는 데 할애할 수 있게 되었습니다. Liaw는 “AWS에서는 개발자의 작업 속도를 높이고, 불필요한 형식적 절차를 줄이며, 최대한 효과적으로 고객에게 서비스를 제공할 수 있습니다. 그리고 새로운 기능, 인사이트 및 제품을 최대한 빠르게 고객에게 제공할 수 있습니다. 고객에게 제공되는 서비스를 더 빠르게 혁신할수록 우리 팀을 비롯한 모든 사람들에게 더 나은 경험을 제공할 수 있습니다”라고 말합니다.

Amazon EKS 클러스터로 마이그레이션한 결과, 6sense는 데이터 파이프라인을 효과적으로 확장하고 관리할 수 있게 되었으며 궁극적으로 고객에게 인사이트를 제공하는 속도가 빨라졌습니다. 이 회사는 AWS 솔루션과 함께 구축한 오픈 소스 Kubernetes 클러스터 자동 스케일러인 Karpenter를 사용하여 확장 능력을 더욱 강화할 계획입니다. 

AWS에서 6sense는 직원들이 혁신에 집중할 수 있도록 작업 부담을 줄였으며, 앞으로도 AWS 서비스를 이용하여 가치를 창출하는 새로운 솔루션을 개발해나갈 예정입니다. Liaw는 “AWS에서 6sense는 발목을 잡히는 일 없이 변화에 빠르게 대응하고 혁신을 실현할 수 있습니다”라고 말합니다.