Ogury, 그리고 비용을 최적화하면서 증가되는 분석 요구 사항을 충족해야 하는 과제

인프라 비용을 늘리지 않고 더 많은 데이터를 분석해야 하는 문제를 해결하기 위해 Ogury는 스팟 EC2 인스턴스를 사용하여 빅 데이터 EMR 클러스터의 비용을 57 % 절감했습니다.

팀은 비즈니스의 매우 빠른 개발 속도에 맞추면서 기본적인 인프라 관리에서 벗어나고 비용을 제어하도록 인프라를 확장하길 원했습니다.

확장과 비용 최적화가 서로 연결된 경우

Ogury는 전 세계적으로 데이터 공유에 동의한 4억 개의 프로필로부터 수십 테라바이트를 분석합니다. 이러한 데이터는 데이터 레이크에서 필터링, 정규화 및 분석됩니다. 이 분석을 통해 학습한 교훈은 광고 활성화에 사용됩니다. 확장하면서 이러한 작업의 비용을 최적화해야 하는 과제에 직면한 Ogury는 AWS를 선택하였습니다. 2015년 여름까지, Ogury는 AWS로의 마이그레이션을 모두 마쳤습니다.

AWS를 사용하면, 이미 모든 것이 준비되었습니다. 예를 들면, 우리는 Amazon EMR을 매우 빠르게 사용했습니다. 우리는 대량의 데이터를 분석하기 시작했고, 빅 데이터 클러스터를 직접 관리하지 않고 시간을 절약하기 위해 이 서비스가 필요했습니다.”라고 Olivier Bazoud는 설명합니다.
AWS로 전환하면서 Ogury는 비용을 비례적으로 늘리지 않고도 속도와 볼륨 면에서 더 많은 것을 처리하길 원했습니다. 사용된 서비스를 최적화하는 많은 노력 덕분에 이 목표를 달성할 수 있었습니다.

인프라 비용을 늘리지 않고 더 많은 데이터 분석

Amazon EMR을 사용하여 Ogury는 데이터 정리의 첫 단계(데이터 정리, 중복 제거, 데이터 정규화 및 집계)를 시작으로 데이터를 분석할 수 있습니다. 두 번째로, 기계 학습 또는 통계를 통해 Ogury는 캠페인 타켓팅에 도움이 되는 연령 그룹과 같은 상위 정보를 추론하였습니다.

수 페타바이트에 달하는 모든 데이터는 Amazon S3의 관리형 서비스에 저장됩니다. 덕분에 Ogury에 신뢰할 수 있는 서비스를 제공해주었고, Amazon EMR이 이 스토리지 공간에서 직접 읽기 때문에 사용하기도 쉽니다. 제품은 Amazon EC2 인스턴스에 마이크로서비스 또는 백오피스로 설치됩니다. "Amazon EC2 스팟 인스턴스를 사용하면서 상당한 비용 절감 효과를 거두었고, 빅 데이터 EMR 클러스터 비용도 57%나 줄였습니다! » Olivier Bazoud의 말을 기억해보세요.

Ogury는 동의를 위해 Amazon DynamoDB noSQL 데이터베이스와 결합하여 사용자의 고객 여정 데이터를 수집하고 분석합니다. Olivier Bazoud는 “우리는 시간을 절약해 주는 관리형 데이터베이스로 사용합니다. 데이터베이스를 최적화하지 않고도 개발자를 돕는 데 집중할 수 있습니다. 트래픽과 결합되어 로드를 유지하도록 확장 할 수 있습니다.” 라고 설명했습니다.

Amazon Redshift는 Ogury의 데이터웨어하우스로, 이를 통해 이 데이터를 쿼리하거나 사례를 적용하거나 특정 사용자(익명화됨)에 대한 캠페인 타겟팅을 확인할 수 있습니다.

마지막으로, Ogury는 Amazon S3 Glacier에서 데이터를 아카이브하고 Amazon EC2 예약 인스턴스를 사용하여 다시 한 번 비용을 절감합니다. "Amazon Cloudfront에서 비용을 최적화하기 위해 AWS와 함께 많은 노력을 기울였습니다. 저희가 분석한 데이터는 Ogury에 도달하는 데 많은 대역폭을 사용하며, 이는 그 과정에서 상당한 비용을 발생시킵니다."

시장 출시 기간 개선 및 응답성

"AWS는 Ogury의 수준에 맞추어 지원해 주었습니다. AWS가 없었다면 그 과정은 정말 복잡했을 것이고, 예를 들어, 온프레미스이었다면 더욱 심했을 것입니다. 저희만으로는 그만한 속도로 구현하지 못했을 것입니다. 하지만 회사의 개발은 아주 빨리 진행되었고 저희도 인프라에 속도를 맞추어야 했습니다. 그 속도를 맞출 수 있는 회사는 AWS뿐입니다"라고 Olivier Bazoud는 말했습니다.

Ogury는 시장 출시 기간도 개선하고 있습니다. 연구 및 개발 팀에서 약 100명의 직원이 근무하고 있고, 제품의 핵심은 기술에 기반합니다. "AWS를 사용하면서 경쟁업체보다 더 빠르게 나아갈 수 있습니다. 지속적인 개선을 이루고 있고 Ogury는 애자일 모드로 운영됩니다. 개발 팀은 거의 2주마다 새로운 기능을 출시하고 있습니다. " Olivier Bazoud는 Ogury에 AWS 서비스의 응답성이 필요하다고 생각합니다.

견고한 인프라를 통해 성장 목표 유지
"4개 지역에서 이 인프라를 관리하려면 방대한 트래픽이 발생하지만 팀은 비교적 작은 편입니다. Ogury의 성장과 규모를 지원해주었고, 이는 AWS와 함께 믿음을 갖고 해낼 수 있는 일입니다. 인프라가 비즈니스 성장의 발목을 잡는 경우는 생기지 않았습니다. 배포에 수개월이 걸리고 클라우드 도입 이전에 또는 예전 모델을 이용할 때처럼 더 이상 회사 개발의 장애물이 되지 않습니다. Ogury가 오늘날 보여주는 확장과 성장을 이룬 것은, 이러한 기하급수적인 성장을 인프라가 뒷받침하고 있기 때문입니다."