Amazon MSK 고객

Kafka는 몇 년 전부터 온프레미스와 클라우드 모두에서 Arm 엔지니어링 분석 플랫폼의 핵심 구성 요소로 사용되고 있습니다. Kafka는 초기 커미셔닝 이후 Arm 아키텍처에서 실행되었지만, 신뢰성을 개선하고 관리 오버헤드를 줄이기 위해 우리는 Amazon Managed Streaming for Apache Kafka(MSK)을 사용하기로 결정했습니다.

MSK가 Graviton 3를 지원하도록 개선됨에 따라 분석 서비스를 완전한 Arm 기반 스택으로 전환하여 운영의 탄소 발자국을 줄이는 동시에 더 낮은 비용으로 더 높은 성능을 제공할 수 있게 되었습니다.

Amazon MSK를 통해 엔터프라이즈급 신뢰성과 보안을 활용하면서 원활하게 규모를 조정할 수 있었습니다. Kafka 관리 업무를 AWS에 맡김으로써 핵심 비즈니스에 계속 집중하고 더 빠르게 혁신할 수 있었습니다.

메타데이터 스토어를 동기화하는 데 10시간은 걸렸을 것입니다. Amazon MSK를 사용하는 지금은 이 프로세스가 30분이면 완료됩니다.

데이터 센터에서 AWS로 마이그레이션할 때 Kafka에 대한 비즈니스 크리티컬 투자를 유지하면서 Kafka를 직접 실행할 때의 오버헤드를 크게 줄이고 싶었습니다. 그래서 MSK를 선택했습니다. 인프라와 Kafka 소프트웨어 관리의 상당한 부분을 MSK 클러스터로 전환하고 해당 클러스터를 평균 40GB/초의 데이터 수집을 지원할 수 있는 규모로 확장했습니다. 이제는 하드웨어 및 소프트웨어를 더 이상 관리하지 않아도 클러스터를 최신 상태로 유지할 수 있습니다. 따라서 더 많은 리소스를 우리가 가장 잘하는 분야인 클라이언트 팀의 Kafka 관련 서비스 개발에 투입할 수 있습니다. MSK를 사용하면 핵심 역량에 집중할 수 있어 더 나은 제품을 더 빠르게 더 자주 릴리스할 수 있습니다.

Amazon MSK를 도입한 후 팀의 업무 효율이 개선되었고 클러스터를 유지 관리하는 데 소요되는 시간을 줄일 수 있게 되었습니다. 데이터 요구 사항과 사용 사례가 증가함에 따라 Kafka 클러스터를 관리하는 데 따르는 업무 부담과 복잡성이 크게 늘어나기 시작했습니다. Amazon MSK를 사용한 후 클러스터를 안정적으로 관리하고, 클러스터의 성능을 확인하는 데 드는 시간을 줄이며, 손쉽게 규모를 조정하고, 흥미로운 실시간 애플리케이션을 혁신하고 구축하는 데 더 많은 시간을 집중할 수 있게 되었습니다.

Amazon Managed Streaming for Apache Kafka(Amazon MSK)를 사용한 후로 Kafka 클러스터를 설정, 유지 관리, 확장하기가 쉬워져서 완전관리형 서비스로 지원되는 엔드 투 엔드 수집 파이프라인을 구현할 수 있게 되었습니다. 수요가 증가함에 따라, 손쉽게 규모를 조정하고 데이터 보강과 실시간 기계 학습을 위해 스트리밍 수집 파이프라인을 확장하여 고객 경험을 개선할 수 있다는 자신감을 가지게 되었습니다.

Vonage는 Amazon MSK를 사용함으로써 유지 관리 오버헤드를 줄이는 동시에 기업이 더 생산적으로 협업하고 고객의 참여도를 더 효과적으로 높일 수 있도록 하는 마이크로서비스 기반 플랫폼을 구축할 수 있게 되었습니다. 이제 새로운 Kafka 클러스터를 더욱 신속하게 설정하고, 수요가 증가하면 이러한 클러스터를 확장할 수 있습니다. Amazon MSK를 사용하면서 설정 및 유지 관리의 복잡성이 없어져, 가장 중요한 일인 고객을 위한 새롭고 혁신적인 기능을 구축하는 데 집중할 수 있게 되었습니다.

Secureworks는 보안 분석 애플리케이션을 개발하고 출시할 때, 기간을 단축하고 인프라 및 관리 오버헤드를 줄이기 위해 Amazon MSK 서비스를 선택했습니다. 덕분에 혁신과 우리의 고유한 차별화 요인에 집중하여 고객을 사이버 위협으로부터 보호할 수 있었습니다.

스트리밍 기술은 우리 비즈니스에서 중요한 비중을 차지하지만, 스트리밍 기술을 관리하는 데에는 소프트웨어 개발자들의 상당한 노력이 필요합니다. 하지만 Amazon MSK를 활용한 덕분에 이러한 고된 노력을 상당 부분 덜어낼 수 있게 되었습니다. Amazon MSK를 사용함에 따라 더 이상 데이터 내구성, 클러스터 가용성, 확장성을 확보하기 위해 노력할 필요가 없으며, 이제는 애플리케이션 구축에만 집중할 수 있게 되었습니다. 우리 팀은 Amazon MSK를 통해 Kafka의 운영 및 유지 관리 부담에서 벗어나게 되었으며, 클러스터가 완전히 관리됨에 따라 가동 중지 시간도 줄어들었습니다.

ZipRecruiter는 이벤트 로깅 파이프라인을 위해 Apache Kafka를 사용합니다. 이러한 파이프라인은 ZipRecruiter 구인/구직 마켓플레이스에서 매일 60억 건이 넘는 이벤트를 수집 및 저장하고 지속적으로 처리하는 핵심적인 인프라 구성 요소입니다. 우리는 이러한 핵심적인 인프라를 더 쉽게 관리 및 실행하고 유지 관리하기 위해 Amazon Managed Streaming for Apache Kafka(Amazon MSK)를 선택했습니다. Amazon MSK를 도입한 덕분에 Apache Kafka 관리 및 관리 오버헤드가 대폭 줄어들어 Apache Kafka를 주기적으로 관리하던 엔지니어들이 구직자와 채용 관리자가 원하는 상대를 더 쉽게 찾을 수 있도록 제품을 혁신하는 데 집중할 수 있게 되었습니다.

Delhivery는 고객의 퍼스트, 미드, 라스트 마일 작업의 메타데이터를 수집 및 저장하고 논리적으로 검색하는 파이프라인의 핵심 구성 요소로 Apache Kafka를 사용합니다. 물류 작업이 확장됨에 따라 Apache Kafka 클러스터 내에서 인프라의 복잡성을 관리하는 데 상당한 노력이 소요되었습니다. Amazon MSK는 인프라 오버헤드를 줄이는 데 도움이 되었을 뿐만 아니라, 비즈니스 크리티컬 메타데이터 파이프라인의 많은 처리량과 성능을 더 안전하고 안정적인 방식으로 유지하는 데 도움이 되었습니다.

Vortexa는 Apache Kafka를 통해 기계 학습 모델을 신규 및 기록 데이터 스트림에 대규모로 적용하고, 실시간 시장 예측 결과를 분석 플랫폼을 통해 고객에게 즉시 제공합니다. Amazon MSK는 Vortexa의 운영에 있어 중추적인 역할을 하는 기술로서, Lenses.io와 함께 활용한 덕분에 복잡하고 취약한 Apache Kafka 인프라를 관리하고 안정화하는 데 드는 상당한 노력을 덜어내고, 고객에게 제공하는 가치에 직접 영향을 미치는 시장 관련 인사이트와 분석의 품질을 높이는 데 집중할 수 있게 되었습니다. 이제 대규모 애플리케이션을 자신 있게 수시로 업데이트하고, 복잡한 Kafka 스트림 토폴로지를 손쉽게 실행하며, 인프라 대신 애플리케이션을 디버깅할 수 있습니다. 당사의 수익과 시장 점유율은 시장에 정확한 데이터를 제공하는 속도에 직접 영향을 받는데, Amazon MSK는 이러한 요구를 충족하기 위한 핵심 요소입니다.

다양한 AWS 서비스를 사용하여 라이브 스포츠의 대량 데이터를 스트리밍하고 처리하기 때문에 인프라의 많은 부분은 경기가 있는 날에는 사용률이 매우 높고 경기가 없는 날에는 전혀 사용되지 않습니다. Amazon Managed Streamingfor Apache Kafka(Amazon MSK) Serverless를 사용하기 전에는 게임이 진행되는 동안 효율적으로 스케일 업하고 스케일 다운하려면 여러 부분을 이동해야 하고 운영 오버헤드가 추가되었으며 용량이 과다 프로비저닝되는 경우가 많았습니다. Amazon MSK Serverless는 규모 조정 문제를 Amazon에 맡기는 데 도움이 되었고 그 덕에 엔지니어링 시간을 다른 작업에 자유롭게 사용할 수 있게 되었습니다. 월간 AWS 요금에서 수만 USD가 즉시 절감되기 시작했고 용량 계획 및 규모 조정 메커니즘을 최적화하는 데 쓰던 귀중한 엔지니어링 시간을 다른 작업을 처리하는 데 재할당할 수 있었습니다.