Apify, AWS를 사용하여 비즈니스를 위한 웹 인사이트를 강화하고 클라우드 비용을 25% 절감

2015년에 설립된 프라하 기반 스타트업인 Apify는 대량의 웹 데이터를 수집 및 분석하고 웹 프로세스를 자동화하여 기업이 운영을 개선하는 데 도움이 되는 웹 스크래핑 및 자동화 플랫폼과 오픈 소스 도구 세트를 개발했습니다. Apify는 AWS Activate 프로그램을 통한 크레딧과 교육을 활용하여 처음부터 AWS를 사용해 왔습니다. 이 회사는 빠르게 성장하여 현재 179개국의 1,000개 조직에 서비스를 제공하고 있습니다. 또한 한 달에 1,000TB의 데이터를 처리하도록 확장하고 컴퓨팅 비용을 25% 줄였으며 개발 팀의 효율성을 높였습니다.

Apify는 2015년에 프라하에서 설립되어 빠르게 성장하고 있는 기업입니다. 이 회사는 웹에서 데이터를 수집하는 웹 스크래핑 및 자동화 플랫폼과 오픈 소스 도구 세트를 개발했습니다. 고객은 이 데이터에서 얻은 인사이트를 사용하여 제품 가격부터 고객 감정에 이르기까지 모든 것에 대한 전략을 개선합니다. 

신생 기업인 Apify는 고객 수요가 증가함에 따라 쉽게 확장할 수 있는 안정적이고 비용 효율적인 인프라가 필요했습니다.  

Amazon Web Services(AWS)를 기반으로 서비스를 구축한 이 회사는 빠르게 성장하여 현재 179개국의 1,000개 조직에 서비스를 제공하고 있습니다. 또한 한 달에 1,000TB의 데이터를 처리하도록 확장하고 컴퓨팅 비용을 25% 줄였으며 개발 팀의 효율성을 높였습니다. 

Amazon EKS를 사용하여 한 달에 2천만 개의 작업을 처리하도록 확장

Apify 서비스는 고객이 다양한 비즈니스 문제를 해결하는 데 사용합니다. 예를 들어 판매 전략에 정보를 제공하기 위해 제품 가격 데이터를 수집하거나, 제품 기능이나 버그에 대한 소비자의 대화를 추적하여 서비스를 개선하거나, 고객 구독 취소 프로세스를 자동화합니다.

웹 스크래핑 도구는 비즈니스 워크플로우에 쉽게 통합되며 고객이 즉시 읽을 수 있도록 구조화된 데이터 출력을 모든 형식으로 제공합니다. Apify의 최고 기술 책임자(CTO)인 Marek Trunkat은 “우리 서비스는 기업이 전략을 신속하게 변경하거나 빠르게 변화하는 시장에서 즉석에서 전략을 수립하도록 도와줍니다”라고 말합니다.

Apify의 접근 방식은 고객이 웹 데이터에 안정적으로 액세스하고 분석할 수 있도록 방대한 양의 정보를 빠르게 처리해야 한다는 것을 의미합니다. 클라우드 또는 온프레미스에서 Kubernetes 애플리케이션을 실행하고 확장하는 관리형 컨테이너 서비스인 Amazon Elastic Compute Cloud(Amazon EC2)와 Amazon EKS(Amazon EKS)를 사용하여 매월 2천만 개의 웹 자동화 작업을 처리합니다. 또한 객체 스토리지 서비스인 Amazon Simple Storage Service(Amazon S3)와 완전 관리형 서버리스 키 값 NoSQL 데이터베이스 Amazon DynamoDB 및 인메모리 캐싱 서비스인 Amazon ElastiCache를 사용하여 매월 약 15억 개의 분석 결과를 저장합니다.

AWS Activate를 통한 출시 및 클라우드 비용 25% 절감

Apify는 스타트업에게 AWS를 시작하는 데 필요한 무료 도구와 리소스를 제공하는 프로그램인 AWS Activate를 통해 AWS를 사용하기 시작했습니다. “AWS Activate를 통해 받은 크레딧, 교육 및 비용 관리 지원이 AWS를 선택한 주요 이유였습니다”라고 Trunkat은 말합니다. “이는 의심할 여지 없이 우리의 초기 성공에 기여했습니다.”

이 회사는 또한 최대 90% 할인된 가격으로 내결함성 워크로드를 실행하는 Amazon EC2 스팟 인스턴스를 사용하여 예산을 관리하고 총 클라우드 비용을 25% 줄였습니다. Trunkat은 “경쟁이 치열한 시장에서 성공하는 비즈니스는 독특한 아이디어를 가지고 빠른 속도로 확장할 수 있는 기업입니다”라고 말합니다. “스팟 인스턴스와 AWS Activate 프로그램을 사용하여 이 작업을 수행할 수 있었습니다.”

Apify는 소규모 엔지니어링 및 DevOps 팀과 함께 운영하면서 1,000명 이상의 활성 고객에게 서비스를 제공할 정도로 성장했습니다. AWS를 사용하면 API 처리량을 분당 100,000건에서 500,000,000건으로 빠르게 확장하여 동적으로 변화하는 고객 수요를 충족할 수 있습니다.

전 세계 개발자 커뮤니티 지원

Apify는 AWS 학습 자료와 집중 교육을 통해 IT 팀의 클라우드 지식과 효율성을 높였습니다. AWS를 사용하면서 팀은 인프라 유지 관리 및 모니터링 작업에 최소한의 시간을 할애합니다. 이를 통해 엔지니어는 클라우드 기술을 사용하여 혁신적인 솔루션을 개발하고 다른 개발자가 자체 웹 스크래핑 도구를 만들도록 지원할 수 있습니다. Apify와 개발자 커뮤니티는 온라인 스토어를 통해 고객이 사용할 수 있는 1,000개의 바로 사용할 수 있는 웹 스크래핑 도구를 만들었습니다.

이 스타트업은 커뮤니티가 이러한 도구를 통해 수익을 올릴 수 있도록 하는 이니셔티브를 시작하기도 했습니다. 목표는 개발자가 자체 자동화 도구를 구축하여 Apify의 인프라에서 호스팅한 다음 해당 도구를 제3자에게 대여하는 것입니다. “Apify는 웹 스크래핑 및 자동화 도구를 위한 선도적인 플랫폼 및 시장이 되는 것을 목표로 합니다”라고 Trunkat은 말합니다. “AWS에서 확장하고 고객을 위한 안정적인 서비스를 구축하는 것이 얼마나 쉬운지 알기 때문에 성장 목표를 달성할 수 있다고 확신합니다.”