Amazon EC2 스팟 인스턴스와 Amazon EMR을 사용하여 컴퓨팅 비용을 60% 절감한 Bendigo

금융 서비스 제공업체인 Bendigo and Adelaide Bank(Bendigo)는 호주의 오픈 뱅킹 규정을 준수하기 위해 Amazon Web Services(AWS)를 기반으로 디지털 트랜스포메이션 여정에 착수했습니다. 2020년 3월, Bendigo는 거의 모든 워크로드에 대해 안전하고 조절 가능한 컴퓨팅 파워를 제공하는 Amazon Elastic Compute Cloud(Amazon EC2)를 기반으로, 30개의 비실물 워크로드를 클라우드로 신속하게 마이그레이션했습니다.

초기 클라우드 마이그레이션을 완료한 후, Bendigo는 비용을 더욱 절감하고 디지털 오퍼링의 성능과 가용성을 개선할 수 있도록 아키텍처를 최적화하는 데 집중했습니다. 성능과 비용 절감이라는 목표를 균형 있게 달성하기 위해 Bendigo는 Amazon EC2 스팟 인스턴스에서 비프로덕션 워크로드를 실행하기 시작했고, 그 결과 고객은 클라우드에서 미사용 Amazon EC2 용량을 활용할 수 있게 되었습니다. 아울러 이 은행은 내결함성 워크로드를 위한 다른 AWS 기능을 구현하여 복원력과 확장성을 더욱 높일 수 있었습니다. 이 새로운 인프라에서 Bendigo는 컴퓨팅 비용을 약 60% 절감하고 워크로드의 복원력을 30% 가까이 높였으며 뱅킹 시스템의 성능을 약 20% 개선했습니다.

Bendigo는 210만 고객에게 데이터 투명성과 간편한 뱅킹 솔루션을 제공함으로써 호주에서 가장 사랑받는 은행이 되겠다는 비전을 갖고 있습니다. 이 은행의 목적은 고객과 지역 사회의 번영을 도모하는 것이지, 그들을 통해 회사의 이익을 추구하는 것이 아닙니다. Bendigo는 834억 USD 이상의 예금을 보유한 은행으로, 11만 명 이상의 주주에게 서비스를 제공하며 317개 지점에서 7,000명 이상의 직원을 고용하고 있습니다.

2018년 5월, 호주 정부는 2020년 7월까지 모든 주요 금융 기관이 오픈 뱅킹 모범 사례를 준수하도록 요구하는 소비자 데이터 권리에 관한 법률을 통과시켰습니다. 이 법률이 시행됨에 따라, 금융 기관은 고객에게 개인 데이터에 대한 액세스와 제어 권한을 의무적으로 제공해야 합니다. 이 같은 업계의 변화에 직면한 Bendigo는 자사 온프레미스 인프라에 대한 수요가 증가할 것으로 예상했습니다. 이에 대비하기 위해 이 은행은 AWS를 활용하여 디지털 트랜스포메이션을 진행하기로 결정했습니다.

Bendigo는 높은 서비스 성숙도를 높게 평가하여 AWS를 클라우드 서비스 제공업체로 선정했고, 2020년 3월에 AWS를 활용하여 클라우드 마이그레이션에 착수했습니다. 또한 이 은행은 오픈 소스 분석 프레임워크를 사용하여 대규모 분산 데이터 처리 작업, 대화형 SQL 쿼리 및 기계 학습 애플리케이션을 실행하기 위한 클라우드 빅 데이터 솔루션인 Amazon EMR을 사용하여 워크로드를 실행하기 시작했습니다. 이 회사는 오픈 뱅킹 요건을 충족하기 위해, 뱅킹 시스템 전반에서 고가용성을 유지하는 데 도움이 되는 클러스터를 구성했습니다. 이 프로젝트를 완료한 Bendigo는 Amazon EC2 인스턴스 플릿을 사용하여 클러스터를 실행함으로써 클라우드 아키텍처를 개선하고 컴퓨팅 비용을 절감하고자 했습니다. Bendigo의 개발 인프라 엔지니어인 Adam Hobbs는 “비용 절감은 저희가 애초에 염두에 두었던 목표가 아니었습니다. 하지만 아키텍처의 성능까지 개선하면 좋겠다고 생각하게 되었습니다“라고 말합니다. 2021년, Bendigo 팀은 디지털 트랜스포메이션 여정의 두 번째 단계에 접어들었고, 이 팀은 은행의 컴퓨팅 요구 사항을 충족하기 위해 새로운 솔루션과 기능을 실험하기 시작했습니다.

Bendigo는 AWS 팀의 도움을 받아 컴퓨팅 비용을 최적화하면서 고가용성을 유지할 수 있는 Amazon EC2 인스턴스를 테스트했습니다. 이 테스트를 실시하는 동안, Bendigo 팀은 Amazon EC2 온디맨드 인스턴스보다 저렴한 가격으로 Amazon EC2 인스턴스를 제공하는 Amazon EC2 스팟 인스턴스를 시험적으로 사용해보았습니다. Bendigo의 개발자들은 디지털 제품의 기능의 개발 과정을 반복하는 데 비프로덕션 환경을 사용하기 때문에, Bendigo는 이를 컴퓨팅 비용을 줄일 수 있는 영역으로 식별했습니다. 이제 이 은행은 비프로덕션 워크로드를 전적으로 스팟 인스턴스에서 실행합니다. Bendigo의 오픈 뱅킹 프로젝트 데이터 책임자인 Leandro Silva는 “Amazon EC2 스팟 인스턴스는 저희가 탄력적인 워크로드를 유지하면서 컴퓨팅 비용을 절감할 수 있는 효과적인 방법이었습니다”라고 말합니다. 이러한 변화를 통해 Bendigo는 컴퓨팅 비용을 약 60% 절감했습니다.

또한 이 은행은 Amazon EMR 클러스터를 실행할 용도로 여러 Amazon EC2 인스턴스를 테스트한 결과, CPU, 메모리, 스토리지 및 네트워킹 용량의 다양한 조합을 포함하여 다양한 Amazon EC2 인스턴스 유형으로 최상의 성능을 실현했습니다. 이 은행은 인스턴스 유형을 다양화함으로써 서비스 중단 및 가동 중단이 발생할 가능성을 줄이고 워크로드의 내결함성을 높였습니다. Hobbs는 “여러 단계에 걸쳐 다양한 인스턴스 유형을 구성해보았습니다. AWS 팀과 함께 가용성이 가장 높은 인스턴스 유형을 찾는 데 상당한 시간을 할애했고, 그 결과 훨씬 더 나은 경험을 제공할 수 있게 되었습니다”라고 말합니다. 이 새로운 모델을 활용하면서 은행에서 실행하는 실시간에 가까운 워크로드의 복원력이 약 30% 개선되었습니다.

Bendigo의 Amazon EMR 클러스터는 다양한 노드 유형으로 구성되며, 이러한 노드 유형별로 Amazon EC2 인스턴스를 사용하여 클러스터 용량 계획이 수립됩니다. Hobbs는 “저희는 코어 노드를 설정하고 있는데, 5노드 클러스터에서 30노드 클러스터로 전환했습니다”라고 설명합니다. 효과적인 클러스터 확장을 위해 이 은행은 필요에 따라 스핀업 또는 스핀다운하여 용량을 늘리거나 컴퓨팅 비용을 절감할 수 있는 태스크 노드를 구현했습니다. 그 이후로 프로덕션 환경에 60개의 코어 노드를 사용하는 규모로 회사가 성장했습니다. 여러 태스크 노드로 구성된 Bendigo의 Amazon EMR 클러스터에서는 특정 태스크 노드에 장애가 발생할 경우 다른 가용 태스크 노드를 사용할 수 있으므로, 서비스 중단과 가동 중지가 최소화됩니다. 이 은행은 인프라의 탄력성을 높여 시스템 성능을 약 20% 개선하는 동시에 컴퓨팅 비용을 절감했습니다.

또한 Bendigo는 가능한 최소 비용으로 최상의 성능을 발휘하도록 클러스터 크기를 자동으로 조정하는 Amazon EMR의 관리형 스케일링 기능을 사용하기 시작했습니다. 이 회사는 관리형 스케일링 기능을 사용하여 컴퓨팅 파워의 최소 한도와 최대 한도를 설정함으로써 컴퓨팅 비용을 보다 효과적으로 관리할 수 있게 되었습니다. Bendigo의 플랫폼 실무 책임자인 Ash Austin은 “워크로드에 대한 심층적인 인사이트를 얻을 수 있기 때문에 사용량과 실제 비용을 모니터링하는 데 도움이 됩니다. 클라우드를 기반으로 작업을 수행하면 매우 안전하고 강력하며 통제된 환경에서 위험과 취약성에 대한 관리를 강화하는 데 도움이 됩니다”라고 말합니다. “AWS는 우리 조직이 업무에 적합한 도구를 찾고 규제 환경에 잘 대응하는 데 큰 도움을 주었습니다. 또한 AWS는 디지털 트랜스포메이션 여정을 가속화하는 데 필요한 글로벌 전문성을 제공합니다.”