Airbnb, AWS에서 절감형 플랜과 실행 가능한 비용 데이터를 사용하여 사용량 및 비용 최적화

여행을 통해 교류를 촉진하고 지역 사회의 발전을 지원하기 위한 Airbnb의 여정은 2007년에 시작되었습니다. 당시 호스트이자 창립자인 2명이 샌프란시스코의 집에서 게스트 3명을 받은 것이 회사의 출발점이었습니다. 이후로 회사는 십억 명 이상의 게스트를 받는 규모로 성장했고 220개 이상의 국가와 지역에서 리스팅이 이루어지고 있습니다.

설립 초기부터 Airbnb는 AWS의 클라우드 서비스를 사용하여 비즈니스를 운영했습니다. 빠르게 확장하는 워크로드와 민첩한 컴퓨팅 및 스토리지 솔루션의 필요를 지원하는 전략의 일환이었습니다. 회사는 AWS에서 데이터 및 사용량 전략을 전환하는 데 투자하기로 결정했는데, Airbnb 운영에 수백 개의 서비스와 애자일 기술 문화가 필요하고 회사 또한 비교적 마찰 없는 중앙 집중식의 전략적 접근 방식을 통해 구매를 간소화해야 했기 때문입니다.

Airbnb의 여정 초반에 회사는 비용 할당 시각화 엔진인 AWS Cost Explorer를 사용했습니다. 이 엔진은 시간대별 AWS 비용 및 사용량을 시각화하고 파악하고 관리할 수 있는 간편한 인터페이스를 제공합니다. 나중에는 내부 데이터 인프라를 사용하고 데이터 웨어하우스 스택의 비용 시각화 기능을 확장하기 위해 AWS Cost & Usage Report의 데이터를 활용했습니다. 이 도구는 포괄적인 AWS 비용 및 사용량 데이터 세트를 시간, 일 또는 월 단위 세부 수준과 관리 또는 멤버 계정 수준으로 제공합니다.

Airbnb는 데이터 웨어하우스에서 AWS Cost & Usage Report를 사용하여 Airbnb의 비용 데이터에 대한 동적 보기를 생성하고 분석을 용이하게 하는 사용자 지정 파이프라인을 실행합니다. Airbnb의 파이프라인은 업계 최고 수준의 확장성, 데이터 가용성, 보안 및 성능을 제공하는 Amazon Simple Storage Service(S3)에서 비용 및 사용량 파일을 수집합니다. Airbnb는 파일을 처리할 때 Amazon EMR을 사용하는데, 이 서비스는 오픈 소스 도구를 사용하여 방대한 양의 데이터를 처리할 수 있는 클라우드 빅 데이터 환경을 제공합니다. 따라서 개발자들은 빅 데이터 애플리케이션과 페타바이트 규모의 데이터 분석을 더 빠르게 실행할 수 있습니다. Airbnb는 이 파이프라인을 사용하여 데이터 비용에 할인 및 분할 상환을 적용한 다음 추가로 사용자 지정하여 분석을 지원하고 실행 가능한 인사이트 및 지표를 생성합니다.

클라우드에서 크기 조정이 가능한 컴퓨팅 용량을 안전하게 사용할 수 있는 Amazon Elastic Compute Cloud(Amazon EC2) 사용 비용을 절감하기 위해 Airbnb는 절감형 플랜을 초기에 도입했습니다. 절감형 플랜은 특정 사용량을 약정하는 것을 조건으로 Amazon EC2 온디맨드 인스턴스보다 저렴한 요금을 제공하는 유연한 요금 모델입니다. Airbnb는 Amazon EC2 예약형 인스턴스를 절감형 플랜으로 마이그레이션하고 온디맨드 인스턴스 사용량에 대한 할인을 받아 비용을 크게 절감했습니다. Airbnb의 수석 재무 관리자인 Ari Siegel은 “절감형 플랜을 사용한 후로 Airbnb의 클라우드 관리 프로세스가 크게 개선되었다. 운영 워크로드를 줄이는 동시에 상당한 양의 비즈니스 비용을 절감하는 데 도움이 되었다”고 말합니다.

또한 Airbnb는 액세스 패턴이 변경될 때 4개의 액세스 티어 간에 객체를 이동하여 자동 비용 절감 효과를 제공하는 클라우드 스토리지 클래스인 Amazon S3 Intelligent-Tiering(S3 Intelligent-Tiering)을 사용하여 스토리지 비용을 관리하고 절감합니다. S3 Intelligent-Tiering으로 Airbnb의 데이터 웨어하우스에 사용되는 객체의 스토리지 위치를 관리하여 Airbnb는 약 27%의 스토리지 비용을 절감했습니다. 백업을 위해 저장된 복제 데이터에는 Amazon S3 Glacier 스토리지 클래스를 사용합니다. 사용자는 다양한 스토리지 클래스 중에서 워크로드의 데이터 액세스, 복원력 및 비용 요구 사항에 따라 선택할 수 있습니다. Airbnb는 AWS Cost & Usage Report를 통해 Amazon S3에 사용되는 데이터 스토리지에 대한 시간대별 인사이트를 확보합니다.

또한 로깅 인프라 내에서 Amazon OpenSearch Service를 사용하여 비용을 관리합니다. 이 서비스를 사용하면 대화형 로그 분석, 실시간에 가까운 애플리케이션 모니터링, 웹 사이트 검색 등을 간편하게 수행할 수 있습니다. Airbnb는 비용 절감을 위해 Amazon OpenSearch Service용 UltraWarm 스토리지를 채택했습니다. 이 스토리지는 Amazon OpenSearch Service에 대량의 읽기 전용 데이터를 비용 효율적으로 저장할 수 있는 방법을 제공합니다. 이 솔루션을 사용한 후로 Airbnb의 Amazon OpenSearch Service 비용은 60%나 절감되었습니다.

Airbnb의 재무 및 기술 팀은 다양한 AWS 리소스를 사용하여 클라우드 효율성을 구축하고 운영을 최적화했습니다. 데이터 중심 구매 방식으로 나아가기 위해 팀은 컨설팅과 연계 업무 또한 AWS를 사용하여 확장했습니다. 그리고 프로세스와 가시성을 개선함으로써 개별 직원과 팀이 비용 관리 목표에 참여할 수 있도록 했습니다.