AWS Step Functions 고객

Coinbase는 비트코인, 이더리움, 라이트코인과 같은 암호화폐를 손쉽게 구매, 판매 및 보관할 수 있는 안전한 디지털 화폐 교환 플랫폼입니다. 2017년을 기준으로 Coinbase는 세계 최대 규모의 비트코인 중개사로서 33개국의 사용자에게 서비스를 제공합니다. Coinbase는 우수한 엔지니어링 조직을 보유하고 있습니다. 수백 개 프로젝트에 걸쳐 하루 수백 번 배포하고, 한 시간 내에 새로운 기능을 구상하여 출시하며, 실패율을 낮게 유지합니다. 이는 대부분의 변경 관리 및 배포 프로세스를 자동화하고 엔지니어가 DevOps 문화를 채택했기 때문에 가능한 것입니다.

자동화의 핵심에는 안전하고 자동화된 배포 파이프라인인 Odin이 있습니다. 프로젝트 릴리스에 대한 설명을 Odin에 입력하면 AWS에서 안전하게 시작됩니다. Coinbase는 AWS Step Functions를 사용하여 Odin을 자동화했는데, 12개 요소로 구성된 애플리케이션이 AWS에 쉽고 안정적이며 안전하게 배포됩니다. Step Functions는 인프라를 프로비저닝하거나 관리할 필요가 없는 서버리스 운영 모델을 통해 즉시 사용하여 신뢰성과 완벽한 가시성을 달성할 수 있는 도구를 제공했습니다. Coinbase는 Odin을 Step Functions 상태 머신으로 설계했기 때문에 배포 진행 상황을 시각적으로 모니터링하고 각 배포에 대한 감사를 단계별로 수행할 수 있습니다. 서비스가 실패하는 이유에 대한 새로운 인사이트를 바탕으로 Coinbase는 미션 크리티컬 배포의 성공률을 90%에서 97%로 높일 수 있었습니다. 엔지니어는 가시성을 통해 문제를 신속하게 진단하고 해결하고 배포 실패와 관련된 지원 티켓 수를 줄일 수 있었습니다.

“워크플로 안에 품질 자동화를 구축하는 데 집중하면 안정성은 자연스럽게 따라옵니다. Coinbase는 AWS Step Functions와 같은 서비스로 품질 자동화를 구축함으로써 속도와 안정성이라는 두 마리 토끼를 잡을 수 있었습니다.”

Graham Jenson, Coinbase 인프라 엔지니어

Cox Automotive Inc.는 자동차 구매, 판매, 소유 및 사용을 용이하게 합니다. 이 회사는 디지털 광고를 지원하기 위해 기계 학습 예측 모델의 볼륨과 품질을 높여야 했습니다. 그러나 지속적인 모델 드리프트가 잘못된 의사 결정으로 이어질 수 있다는 점을 우려했습니다. 모델 재훈련 프로세스를 데이터 사이언티스트가 감독하는 것이 최선의 해결책이었지만, 의사 결정 과학 팀의 업무 속도를 늦추지 않으면서 그렇게 하는 것이 과제였습니다.

Cox Automotive는 AWS Step Functions를 통해 조정되는 모델 승인 파이프라인을 포함하여 AWS를 통해 ML 모델 전송 워크플로를 자동화하기로 결정했습니다. Amazon SageMaker를 사용하여 모델을 재훈련하면 출력 아티팩트 및 진단이 Amazon S3에 업로드되고, 모델 승인 워크플로를 실행하는 Step Functions가 트리거됩니다. 이메일을 받은 데이터 사이언티스트는 모델을 검토한 후 ‘승인’ 또는 ‘거부’를 클릭합니다. 승인되면 Step Functions가 새 모델을 사용할 준비가 되었음을 알리는 Amazon SNS 알림과 함께 아티팩트를 대상 S3 버킷으로 전송합니다.

자동화에 투자한 덕분에 두 팀 모두 더 가치 있는 활동에 집중할 시간을 얻었습니다. Cox Automotive는 이제 재사용 가능하고 자동화된 프로세스를 통해 배포 파이프라인 구축에 소요되는 시간을 줄이고 더 정확한 모델을 만드는 데 더 많은 시간을 할애할 수 있게 되었습니다.

“Amazon SageMaker와 AWS Step Functions와 같은 서비스를 사용하여 모델 배포를 자동화함으로써 수동 개입과 오버헤드를 최소화하면서 대부분 자동화된 고품질 모델을 반복해서 비즈니스에 제공할 수 있게 되었습니다.“

Jeremy Irwin, Cox Automotive 솔루션스 아키텍트 팀장

CyberGRX는 서드 파티 사이버 위험을 정확히 찾아내고 측정하고 우선 순위를 지정하는 위험 관리 플랫폼을 구축하여 전 세계 기업의 서드 파티 사이버 위험 관리를 혁신합니다. 이 회사는 배포가 단순하고 설계를 회사의 기존 워크플로에 쉽게 매핑할 수 있다는 이유로 Amazon Web Services(AWS)를 구축 기반으로 선택했습니다.

"베이지안 네트워크 알고리즘을 기반으로 대량의 병렬 계산을 실행해야 했기 때문에 AWS Step Functions 분산 맵 상태를 사용하기로 결정했습니다. 이전에는 불가능했던 방식으로 스케일 인하는 기능이 있기 때문이었습니다. 분산 맵을 사용하여 거래소의 전체 거래소, 즉 22만 7,000개 기업 가치의 데이터 (570억 데이터 포인트)를 1시간 이내에 처리할 수 있었는데, 이전에는 처리하는 데 8일이 걸렸습니다. 엄청난 시간의 인력을 절약할 수 있었을 뿐만 아니라 비용도 크게 절감할 수 있었습니다.“

Charles Burton, CyberGRX Director 겸 Senior Software Engineer

Xylem은 전 세계의 물 문제를 해결할 혁신적인 기술 솔루션을 개발하는 데 전념하는 선도적인 글로벌 수자원 기술 회사입니다. Xylem은 분석을 수행하기 위해 Hadoop 기반의 온프레미스 데이터 레이크를 사용하여 엄청난 양의 전기, 수도 및 가스 계량 데이터를 저장했습니다. 그러나 이 솔루션은 데이터 분석 기능이 제한적이었고 유연성이 부족하여 새 프로젝트를 추가할 수 없었습니다. 데이터 처리에 매일 4~5시간이 걸렸으며, 신규 고객을 추가하는 경우 최대 며칠이 걸렸습니다.

Xylem 데이터 팀은 Xylem 데이터 레이크를 AWS Batch, AWS Step Functions 및 AWS Lambda를 활용하는 AWS 기반 플랫폼으로 이전함으로써 데이터 분석 기능을 대폭 확장할 수 있었습니다. Xylem은 각 입력 파일을 Step Functions 상태 머신에 공급합니다. 그러면 Step Functions 상태 머신이 파일을 검증하고 메타데이터를 추적한 다음 데이터를 처리하는 AWS Batch 작업을 시작하고 모니터링합니다. 각 상태 머신은 독립적으로 병렬 실행됩니다. AWS Batch 작업을 통해 컨테이너가 자동으로 할당되므로 이제 Xylem은 리소스 경합을 걱정할 필요 없이 수천 개의 파일을 동시에 구문 분석할 수 있습니다. 결과적으로 Xylem은 데이터 세트의 크기와 관계없이 데이터 처리 시간을 20시간에서 단 2시간으로 단축했습니다.

“AWS Step Functions를 Xylem 데이터 레이크의 일부로 사용하면서 혁신 속도에 변혁이 일어났습니다. 이제 다른 엔지니어로의 인계와 DevOps로 인한 중단이 줄었고 생각했던 것보다 더 많은 기술을 사용하여 내부 및 외부 분석 프로젝트를 개발할 수 있습니다.“

Mitchell Hensley, Xylem 소프트웨어 전략 부문 부사장