JustGiving은 세계적으로 가장 규모가 큰 자선 모금을 위한 온라인 소셜 플랫폼 중 하나입니다. 런던에 본사를 둔 이 조직에 등록된 2,400만 명의 사용자는 알츠하이머 연구, 아이티 섬 지진 구호, 인신매매 근절을 위한 이니셔티브 등 13,000건 이상의 다양한 목적을 위해 35억 달러를 모금하도록 지원하였습니다. 2001년에 설립된 JustGiving은 기부금의 5%를 거래 수수료로 청구하고 수익금은 플랫폼의 개발과 혁신에 재투자됩니다.

JustGiving Creates New Big-Data Platform on the AWS Cloud (3:35)

thumb_justgiving

JustGiving의 성장 원동력은 소셜 네트워크와의 통합, 모바일 기부 지원, 소셜 피드, 캠페인 및 크라우드 펀딩 제품 출시로서, 이를 통해 JustGiving 사용자가 기금 모금을 확대하고, 더 많은 사람에게 다가가며, 좋은 목적으로 더 많은 돈을 모금할 수 있었습니다. 또한, 이러한 성장으로 비용과 오버헤드는 가능한 한 낮게 유지하면서 모든 플랫폼에서 매력적이고 사용자 친화적인 환경을 제공한다는 회사의 미션을 수행해야 하는 조직의 기술 및 운영 팀은 문제에 직면하게 되었습니다.

"지난 몇 년간 우리는 사람들이 다양한 네트워크와 채널을 통해 기금 모금 활동을 공유하는 것을 지켜보았습니다."라고 JustGiving의 CIO인 Richard Atkinson은 말합니다. "갑자기 입소문을 통한 사회 현상이 여기저기서 일어나고 이에 따라 급증한 트래픽이 더 급격히 증가하게 됩니다. 우리는 코로케이션된 데이터 센터 환경을 사용했으므로 추가 비용과 복잡성으로 인해 확장하기가 어려웠고 하더라도 비용이 많이 들고 실용적이지 못했을 것입니다."

그뿐만 아니라 데이터의 급증은 조직의 내부 분석 프로세스를 마비시켰다고 JustGiving의 솔루션스 아키텍트 겸 데이터 과학자인 Richard Freeman은 말합니다. "분석 팀과 기능이 빠르게 확장되면서 Microsoft SQL Server 데이터 웨어하우스가 데이터 과학자 및 애널리스트가 요구하는 새로운 데이터 볼륨, 속도 및 쿼리 복잡성을 처리할 수 없게 되었습니다."라고 Freeman은 말합니다.

이러한 문제를 해결하기 위해 이 기업은 일반적인 운영을 클라우드로 이전하고, 기존 데이터 웨어하우스와 함께 실행되는 RAVEN(보고, 분석, 시각화, 실험, 네트워크)이라는 새로운 빅 데이터 분석 플랫폼을 호스팅하기로 했습니다. JustGiving의 데이터 애널리스트에게 클릭스트림, 로그, 트랜잭션 및 외부 데이터 소스를 실행할 도구를 제공하는 것이 목표였습니다. 또한, 분석 팀은 서로 다른 Extract, Transform and Load(ETL) 프로세스를 계속 반복할 필요 없이 기존 보고를 실행하고 주요 성과 지표(KPI)를 검토할 수 있길 원했습니다.

JustGiving이 Amazon Web Services를 선택한 이유는 특히 분석 기능에 중점을 둔 AWS의 테스트 및 프로덕션 환경 때문입니다. Atkinson은 "우리는 2,400만 명의 사용자가 13,000건의 목적을 위해 기금을 모금하는 데 사용하는 신뢰 받는 브랜드입니다."라고 하면서 선택의 핵심은 신뢰라고 말합니다. "이러한 신뢰받는 네트워크에 사용할 수 있는 클라우드 서비스용 솔루션을 찾고 있었습니다. AWS가 유일하게 이 조건에 맞는 공급업체였습니다."

JustGiving은 자사 소프트웨어를 자동화된 지속적 전달 파이프라인을 통해 배포되는 마이크로 서비스로 다시 설계하고, 다양한 AWS 서비스를 사용하여 JustGiving 직원이 인프라를 지원 및 유지 관리할 필요를 줄이고 AWS 플랫폼의 확장성과 복원력을 활용했습니다. 사용한 서비스에는 Amazon Elastic Compute Cloud(EC2), Auto Scaling, Elastic Load Balancing, Amazon ElastiCache, Amazon Relational Database Service(RDS) 및 Amazon Simple Storage Service(S3)가 있습니다.

또한, 이 조직은 RAVEN 분석 플랫폼에도 AWS를 사용했으며, Amazon Redshift, Amazon Elastic MapReduce(EMR), Amazon Kinesis, AWS Lambda, Amazon DynamoDB, Amazon Simple Queue Service(SQS) 및 Amazon Simple Notification Service(SNS)를 비롯한 여러 AWS 서비스를 적용했습니다.

"많은 공급업체에서 빅 데이터 통합에 그래픽 인터페이스를 제안했지만, 우리는 실제 상황에서는 데이터 과학 실험을 위해 필요에 따라 트리거되거나 KPI 대시보드 및 보고서에 맞춰 자동화된 실제 SQL 코드로 데이터를 로드 및 쿼리하는 것이 좀 더 효율적임을 확인했습니다."라고 Freeman은 말합니다. "AWS를 사용하여 호스팅된 강력한 SNS 및 SQS 기반 메시징 프로세스를 통해 통신하는 시스템과 함께 이벤트 중심의 ETL 파이프라인을 구축했습니다. 우리는 기존 오픈 소스 워크플로 프레임워크도 살펴보았지만, 이를 위해서는 설정 및 지원해야 하는 전용 시스템이 필요했습니다. 우리의 사용 사례에 맞추기에는 너무 복잡했습니다."

JustGiving-AWS-diagram-overview-091815

JustGiving의 AWS 기반 RAVEN(보고, 분석, 시각화, 실험, 네트워크) 플랫폼 아키텍처

Freeman은 AWS 플랫폼으로 인해 활성화된 기능을 높이 평가합니다. "AWS는 신속한 프로토타입 생성, 데이터 과학 실험, 지표 계산, 빅 데이터 분석 플랫폼에서 보고서 실행 등을 위해 필요한 모든 것을 제공했습니다."라고 Freeman은 말합니다.

JustGiving 분석 팀의 경우 Freeman은 Amazon Redshift가 데이터 탐색과 여러 클러스터에서 수십억 개의 데이터 요소를 포함하는 대규모의 구조화된 데이터 세트 쿼리에 효율적인 제품으로 인정받고 있다고 합니다. "이벤트 중심의 ETL 작업을 실행하고 내부 및 외부 API와 통합하기 위한 도구 제품군 일체를 구축했습니다."라고 Freeman은 말합니다. "SQL Server에서 30분이 걸리던 쿼리가 이제 몇 초 만에 실행됩니다. 이전에는 불가능했던 더 복잡한 쿼리도 실행할 수 있을 뿐만 아니라, 전용 그래프 데이터베이스를 사용해 자선 단체 및 이벤트와 사용자 간의 관계 등 좀 더 간단한 그래프 유형의 쿼리도 더 빠르게 실행할 수 있습니다. 그리고 처음으로 비즈니스 사용자에게 페이지 방문, 기부금, 공유 퍼널과 같은 트랜잭션과 트랜잭션 외 데이터에 대한 통합된 보기를 제공할 수 있게 되었습니다. Redshift는 더 빠르고, 사용이 더 간편하며, 기존에 가지고 있던 것보다 프로덕션 환경을 지원하는 데 도움이 되는 더 유용한 도구를 제공합니다."

JustGiving은 AWS EMR을 사용하여 테라바이트 규모의 데이터에 대규모 자동 ETL 및 분석 프로세스를 실행하므로, 클러스터 인프라 설정과 유지 관리를 수행할 필요가 없습니다. "Amazon EMR을 사용하기 전에는 데이터 과학자들이 단일 시스템에서 실행할 수 있는 알고리즘으로 제한을 받았고 샘플 데이터 세트 작업만 할 수 있었습니다. 이보다 큰 작업은 컴퓨팅에 며칠씩 걸렸습니다."라고 Freeman은 말합니다. "이제 하둡 또는 Spark 클러스터에서 실행되는 Amazon EMR을 통해 손쉽게 수백 개의 Amazon EC2 인스턴스로 구성된 클러스터를 시작하여 확장 가능한 그래프 처리, 자연어 처리, 기계 학습 및 스트리밍 분석 알고리즘을 컴퓨팅할 수 있습니다. 예를 들어 이를 크라우드 펀딩 프로젝트 추천, 사용자 네트워크 이해, 자선 단체 태깅 자동화, 사용자 참여 확대에 사용합니다."

분석 팀은 Amazon Kinesis, AWS Lambda 및 Amazon DynamoDB를 동시에 사용하여 이전에는 구현하기 복잡했던 작업을 수행합니다. 예를 들어 웹 사이트 클릭스트림 이벤트가 거의 실시간으로 Amazon Kinesis에 작성됩니다. AWS Lambda 함수가 이벤트에 응답하여 코드를 실행하고 이를 처리하여 Amazon DynamoDB에 작성합니다. 또한, Lambda는 테스트, 이벤트 모니터링 및 활성 알림에 사용되고, DynamoDB는 Kinesis 이벤트용 영구 데이터 스토어와 시각화 모니터링 도구로 사용됩니다.

Atkinson은 새로운 분석 플랫폼이 JustGiving에게 도움이 되는 새로운 IT 접근 방식의 일부라고 합니다. 또한, "JustGiving이 AWS를 사용하기 전에는 단일 고수준 데이터 소스를 기반으로 의사 결정을 내렸습니다."라고 말합니다. "이제 새로운 AWS 도구를 사용하여 수백만 건의 기부와 수십억 건의 이벤트를 기반으로 다양한 소스에서 훨씬 더 세분화된 데이터를 추출하고 이러한 정보를 사용하여 방문자에게 더 좋은 플랫폼을 제공할 수 있습니다."

AWS 플랫폼의 확장성과 비용 효율성, 특히 사용량에 따라 지불하는 비즈니스 모델은 조직의 지속적인 성장에 핵심적인 역할을 합니다. "우리는 항상 비용을 운영 주기와 가치 창출에 맞춰왔습니다."라고 Atkinson은 말합니다. "이전에 많은 자금이 하드웨어에 묶여있을 때는 많은 돈을 지불한 자산이 사용률이 낮은 상태로 방치되곤 했습니다. AWS를 통해 파이프라인을 자동화했고, 새로운 분석 플랫폼에서는 JustGiving을 방문하는 모든 사용자를 위해 통찰력을 창출하고, 가치를 더하며, 실시간으로 의사 결정을 지원하는 도구와 데이터에만 자금을 지출하고 있습니다."

귀사가 빅 데이터를 처리 및 분석하는 데 AWS가 어떻게 도움을 줄 수 있는지 자세히 알아보려면 빅 데이터 세부 정보 페이지(http://aws.amazon.com/big-data/)를 참조하십시오.