Amazon Redshift Serverless를 사용하여 데이터 처리 속도를 10배 높인 BlocPower

브루클린을 거점으로 2014년에 설립된 BlocPower는 미국 도시를 더욱 친환경적이고, 스마트하고, 건강하게 만드는 데 중점을 둔 선도업체입니다. 소수민족 60%, 여성 30%를 포함해 다양하고 포용적인 인력을 보유한 BlocPower 팀은 10여 개 도시의 건물 관리자와 부동산 소유주에게 에너지 분석을 제공하여 재생에너지원을 사용하도록 건물을 개조할 수 있는 가능성에 대해 이해를 돕고 있습니다. 2022년 기준으로 BlocPower는 4,000개 이상의 건물에서 전기화, 태양 및 기타 에너지 효율화 조치를 성공적으로 실행했습니다.

2016년 이래로 BlocPower는 거의 모든 워크로드에 대해 안전하고 규모 조정이 가능한 컴퓨팅 용량을 제공하는 Amazon Elastic Compute Cloud(Amazon EC2)를 비롯해 여러 클라우드 기반 컴퓨팅 솔루션을 채택하는 등 AWS에 데이터 처리 파이프라인을 구축해 왔습니다. 처음에 회사의 DevOps 팀은 완료하는 데 2~3시간이 걸리던 클러스터 실행에 대해 Amazon EC2 인스턴스를 선택하여 데이터 처리 파이프라인을 확장했습니다. BlocPower의 Data Architecture 및 Analytics부문 Director인 Ankur Garg는 “BlockMaps에 고객이 늘어나고 더 많은 데이터를 처리하게 되면서 클러스터를 수평적으로 확장해야 했다”고 밝혔습니다.

또한 빠르고 간단하며 널리 사용되는 클라우드 데이터 웨어하우스인 Amazon Redshift를 포함해 여러 클라우드 기반 데이터 스토리지 솔루션에 데이터를 마이그레이션했습니다. BlocPower는 1억 개의 건물 프로필에서 수집한 데이터를 Amazon Simple Storage Service(S3)에 저장하는데, 이 서비스는 어디서나 원하는 만큼 데이터를 검색할 수 있도록 구축된 객체 스토리지를 제공합니다. BlocPower의 데이터 프로필이 더욱 복잡해짐에 따라 팀을 위해 추가적인 컴퓨팅 리소스와 리소스 관리 옵션의 이용을 늘리고자 했습니다. 이 스타트업은 Amazon Redshift Serverless의 이점에 관심을 갖고 AWS 팀과 협력했습니다. BlocPower의 Data Architect인 Sean Davis는 “AWS 팀에서 Amazon Redshift Serverless에 대한 소개를 해주었는데 매우 유용했고, 이후 이 서비스를 사용할 때 겪었던 모든 종류의 염려를 해결해 주었다”고 했습니다.

BlocPower 팀은 AWS 팀과 협력하여 Amazon Redshift Serverless가 BlocMaps의 증가된 데이터 볼륨의 성능 및 처리에 어떤 영향을 미치는지 알아보기 위한 개념 증명을 작성했습니다. Davis는 “BlockMaps로 벤치마크 테스트를 수행했는데, 대단히 놀라운 결과가 나왔다”고 말합니다. “애플리케이션 성능은 훨씬 좋아졌고 Amazon Redshift Serverless로 인해 비용도 줄었습니다.” 특히 이 스타트업은 몇 분 만에 데이터를 처리하고 쿼리할 수 있었는데, 이전 아키텍처에 비해 10배 빠른 속도였습니다.

이후 BlocPower는 Amazon Redshift Serverless를 채택하기로 결정했습니다. 이를 통해 DevOps 엔지니어가 클러스터를 확장하는 데 소요되는 시간을 단축했습니다. 또한 Amazon S3 및 Amazon Redshift와 함께 Amazon Redshift Serverless를 구현함으로써 BlocPower는 Amazon S3 버킷 등 수많은 데이터 소스에 있는 데이터는 물론, 거의 모든 규모의 각 회사 데이터를 검색, 준비, 통합할 수 있는 AWS Glue를 통해 원격 API를 사용하여 가져온 데이터도 쿼리할 수 있게 되었습니다. BlocPower는 데이터 소스를 병합하고 데이터 변환을 수행하는 프로세스를 간헐적으로 실행합니다. 그런 다음 결과를 Amazon Redshift에 로드합니다. BlocPower는 사용량 급증에 맞춰 자동으로 규모를 조정하는 Amazon Redshift Serverless 클러스터를 도입한 후 런타임 성능이 10배 향상되었습니다. Davis는 “거의 실시간으로 데이터를 쿼리할 수 있다”고 말합니다. “API에도 개선이 있었습니다. 이 두 가지 요소로 인해 Amazon Redshift Serverless를 쉽게 사용할 수 있었습니다.”

BlocMaps 애플리케이션 백엔드의 이러한 성능 향상은 BlocPower 고객에게 더 원활한 사용자 경험을 제공했습니다. 이 스타트업은 Amazon Redshift를 이용하면서 애플리케이션 프런트엔드의 지연 시간도 줄였습니다. 이는 신규 고객에게 애플리케이션을 시연할 때 매우 중요합니다. 고객은 특정 지리적 위치에 있는 건물의 탈탄소화 지표를 전보다 빠르게 표시하고, 필터링하고, 시각화할 수 있습니다. 이전 모델에서는 BlocMaps 애플리케이션이 고객의 건물 프로필을 로드하는 데 20~30초가 걸렸습니다. 이제 이와 같은 유용한 정보가 5초 이내에 제공됩니다. 이러한 개선 사항은 긍정적인 고객 피드백으로 이어졌습니다. “BlockMaps 애플리케이션의 성능은 매출 관점에서 볼 때 최우선 과제 중 하나입니다”라고 Garg는 말합니다. “좋은 입소문은 새로운 시장과 새로운 도시에 진출하는 데 도움이 됩니다.”

BlocPower는 매출 기회를 늘렸을 뿐만 아니라 컴퓨팅 비용도 최적화했습니다. Amazon Redshift Serverless를 채택한 BlocPower는 더 이상 클러스터의 유휴 시간에 대한 비용을 지불하지 않습니다. “서버리스 모델은 우리에게 완벽했다”고 Davis는 말합니다. “프로세스 비용을 절감하고 필요할 때 더 많은 컴퓨팅 리소스를 확보합니다. 전반적으로 매우 긍정적인 경험이었습니다.”

BlocPower는 제품의 성능을 개선하기 위해 AWS 서버리스 솔루션을 계속해서 면밀히 살펴볼 것입니다. 이 프로젝트를 통해 쌓은 경험을 바탕으로 수집한 사물 인터넷 데이터를 Amazon Redshift Serverless에도 마이그레이션할 계획입니다. Garg는 “온프레미스에 인프라를 구축하려 했다면 원시 데이터로부터 인사이트를 제공하는 데 걸리는 시간이 상상을 초월한 수준으로 길었을 것”이라 말합니다. “AWS를 활용한 것은 우리에게 큰 이득이었습니다. 절약한 시간과 돈은 더 많은 저소득 및 중간소득 가구에 에너지 정보를 제공하는 데 도움이 되고 있습니다.”