비정형 데이터의 가치 극대화: Coactive가 AWS를 기반으로 시각적 분석 플랫폼을 구축한 방법

사진 한 장이 천 마디 말보다 낫다고 합니다. 그리고 Forrester Research에 따르면 1분짜리 동영상은 180만 개의 단어만큼의 가치가 있다고 합니다. 전자 상거래부터 소셜 미디어에 이르기까지 다양한 비즈니스에서 시각적 콘텐츠는 전달하는 말의 양보다 더 많은 가치를 제공합니다. 시각적 콘텐츠는 고객 참여를 확보하고, 신뢰성과 안전성을 높이고, 개인화를 강화하며, 콘텐츠 참여를 기반으로 실행 가능한 인사이트를 얻을 수 있는 기회입니다.

2021년 Cody Coleman CEO와 Will Gaviria Rojas가 설립한 시각적 데이터 분석 Startup인 Coactive AI는 기업이 이미지와 비디오를 분석할 수 있는 기회를 민주화하고 있습니다.

이미지와 비디오는 아직 사전 정의된 방식으로 정렬되지 않은 비정형 데이터로, 기존에는 정확하게 분석하려면 기계 학습 전문 지식, 강력한 기술 인프라, 상당한 시간이 필요했습니다.

Coactive AI가 Amazon Web Services(AWS)를 기반으로 구축하고 AWS Marketplace에서 제공하는 플랫폼인 Coactive는 데이터 실무자가 최소한만 개입하면서 대규모 비정형 데이터에서 인사이트를 빠르게 도출할 수 있도록 도와줍니다. 사용자 인터페이스 또는 API를 통해 액세스할 수 있는 이 플랫폼의 기능은 지능형 검색부터 SQL의 모든 이점을 활용하는 프로덕션 분석에 이르기까지 다양합니다.

AI의 잠재력 입증 

Coactive의 혁신적인 솔루션은 집중적인 시간 투자, 연구, 과감한 결정의 결과물입니다. 2018년, Cody는 스탠포드 대학에서 컴퓨터 과학 박사 학위를 취득하면서 ‘인공 지능과 지능형 애플리케이션이 미래가 될 것’이라는 사실을 깨달았습니다. 다만 중대한 일을 해내려면 수십만 달러 상당의 장비와 엄청난 양의 데이터가 필요하다는 것이 문제였습니다.

이러한 한계에 봉착했던 Cody는 기계 학습의 진입 장벽을 낮춰 모든 사람이 기계 학습의 혜택을 누릴 수 있도록 만들기 위해 노력했습니다. “대학원 시절 저의 사명은 컴퓨터 과학에 대한 열정을 바탕으로 사회 전반을 이롭게 하는 동시에 미래 세대를 위한 리더로서 봉사하는 것이었습니다.”  

Cody는 AI 기반 애플리케이션을 훨씬 쉽게 구축할 수 있도록 하는 데 중점을 둔 Stanford DAWN 연구 프로젝트에 참여했습니다. Cody의 연구를 통해 탄생한 여러 인상적인 혁신 기술 중 하나는 글로벌 기술 회사가 업계 표준으로 사용한 최초의 엔드 투 엔드 기계 학습(ML) 시스템 벤치마크인 DAWNBench였습니다. DAWNBench는 첫 해에만 모델 훈련 시간을 500배, 훈련 비용을 20배 줄였습니다. Cody는 접근성이 뛰어난 AI를 개발하면서 이룬 성과에 힘입어 '다음에는 무엇을 해야 할까?'라는 중요한 질문에 대한 답을 찾아 나섰습니다.

우연인지 필연인지, 이 시기에 Cody의 친구 Will은 샌프란시스코 베이 지역으로 이사하여 대규모 기술 기업에서 경력을 쌓기 시작했습니다. Cody는 매사추세츠 공과대학(MIT) 학부생 시절부터 Will과 10년간 우정을 쌓았으며 Will의 이사를 도왔습니다. Cody는 웃으며 “Will은 박사 과정 학생에게 실존적 위기의식을 불러일으키기 때문에 절대 묻지 말아야 할 두 가지 질문을 즉, 언제 졸업할 건지, 그리고 그 후엔 뭘 할 건지를 물었죠”라고 말합니다.

Cody는 유명 기술 회사에 입사하거나, 대학에서 일하거나, Startup에 합류하거나, 회사를 설립하는 등 다양한 옵션을 고려했습니다. Cody는 “Will은 망설임 없이 저더러 회사를 차리라고 했어요. 지금이 적기이고 내가 올바른 지식도 가지고 있다고 말했죠. 그리고 이 여정에 자기도 함께 하고 싶다고 했습니다”라고 말합니다.

Cody와 Will은 몇 달 간의 대화, 조사, 문제 연구를 통해 같은 깨달음을 얻었습니다. 콘텐츠의 가치를 극대화하려면 시각적 분석 플랫폼이 필요하며, 지금이 그런 플랫폼을 구축하기에 적기라는 것입니다. 이러한 결정을 바탕으로 Coactive가 설립되었습니다.

 모두를 위한 시각적 분석 솔루션 만들기

Cody가 스탠포드에 다니는 동안 기계 학습이 크게 발전했지만, 세계 최대 기업부터 최소 기능 제품을 설계하는 Startup에 이르기까지 누구나 AI 애플리케이션을 이용할 수 있게 되기까지는 아직 갈 길이 멀었습니다.

이미지와 비디오를 분석하여 유용한 인사이트를 도출하는 기계 학습의 경우 특히 더 그랬습니다. 이러한 비정형 데이터 형식의 경우 프로세스의 복잡성으로 인해 엔드 투 엔드 워크플로에 GPU 형태의 고급 대규모 컴퓨팅 리소스, 상당한 스토리지 용량, 많은 시간과 전문 지식이 필요할 수 있습니다. 일반적인 워크플로에는 다음이 포함될 수 있습니다.

1. 데이터 과학자는 데이터 탐색을 완료하고 컴퓨터 비전 모델을 구축하여 시각적 데이터를 분석하고 이해합니다.
2. ML 엔지니어는 이러한 모델을 운영합니다.
3. 소프트웨어 엔지니어는 모델 예측을 소비자를 위한 실제 애플리케이션에 적용합니다.

보다 쉽고 정확하고 효율적인 시각적 콘텐츠 분석을 지원하기 위해 Coactive는 분야별 데이터에 학습 시스템을 적용하여 얻어지는 정확성과 자동화의 이점에 기존 대규모 언어 모델(LLM)을 접목합니다. 고객이 대량의 원시 이미지 및 비디오 파일에 대한 액세스를 제공하고 나면 Coactive는 사전 훈련된 파운데이션 모델을 자사의 고유한 능동적 학습 및 분류 시스템과 함께 사용하여 데이터를 임베딩하고 인덱싱합니다. 이 과정에서 고객은 기존 레이블을 업로드하거나 몇 가지 예를 제공하여 Coactive 플랫폼이 데이터의 분야별 뉘앙스를 추가로 학습하게 할 수 있습니다.

Cody는 “대규모 모델의 이점 중 하나는 특정 작업을 위해 대량의 데이터를 세부적으로 조정할 필요가 없다는 것입니다. 이러한 대규모 언어 모델을 '퓨 샷 러너(few-shot learner)'라고 부르는 데에는 이유가 있습니다. 이런 시스템에 투입하는 데이터의 양보다 품질이 더 중요하다는 의미죠”라고 설명합니다.

결과적으로, 고객은 Coactive를 사용하여 시각적 콘텐츠를 대규모로 신속하게 쿼리, 검색, 필터링 및 분석할 수 있습니다.

AWS와의 파트너십을 통한 성공 가속화

혁신적인 Startup으로서 빠르게 성장 중인 Coactive는 원래 이용하던 클라우드 제공업체로부터 마이그레이션하여 AWS에 올인하기로 결정했습니다. AWS에서 제공하는 솔루션은 서비스의 폭과 깊이, 도구 선택의 유연성, 제품 확장을 지원하는 가용성, 보안 우선 제공이라는 Coactive의 네 가지 주요 클라우드 제공업체 요구 사항에 부합합니다.

Cody는 “저희는 완전히 새로운 것을 만들어낼 수 있을 만큼 충분히 유연하면서도 엔터프라이즈 규모를 처리할 수 있는 클라우드 제공업체를 기반으로 솔루션을 구축해야 했습니다. AWS를 사용한 덕분에 고객에게 동급 최고 수준의 보안을 보장하는 동시에 이를 실현할 수 있었습니다”라고 말합니다. 

AWS 솔루션을 통한 구축

마이그레이션 후 Coactive는 Amazon Simple Storage Service(S3), Amazon Aurora, Amazon Elastic Container Service(Amazon ECS) 등의 AWS 솔루션을 사용하여 첨단 웹 애플리케이션을 구축하기 시작했습니다. 이 웹 애플리케이션은 Coactive가 초기 MVP를 구축하고 잠재 고객을 대상으로 개념 증명을 실시하는 데 도움이 되었습니다.

데이터 중심 기계 학습 작업의 경우 Coactive는 Amazon Aurora PostgreSQL Serverless를 사용하여 데이터베이스 인프라 관리에 시간을 할애하지 않고도 지연 시간이 짧은 데이터베이스 요청을 처리함으로써 이점을 누리고 있습니다. 페타바이트 규모에 달하는 Coactive의 이미지 및 비디오 데이터는 Amazon S3를 사용하여 저장됩니다.

Coactive는 프런트엔드 웹 애플리케이션을 구축하기 위해 Amazon CloudFront 조합을 콘텐츠 배포 네트워크(CDN)로 사용합니다. 백엔드 웹 애플리케이션은 Amazon ECS에서 실행되며 데이터베이스 및 Databricks on AWS와 같은 주변 다운스트림 서비스와 통신합니다. Amazon ECS는 Coactive가 Amazon Elastic Compute Cloud(Amazon EC2)에서 실행되는 컨테이너 인프라를 간편하게 관리할 수 있도록 해줍니다.

보안 및 데이터 프라이버시는 기계 학습 워크로드의 중요한 요소입니다. 고객에게 안전한 분석 경험을 제공하기 위해 Coactive는 Amazon GuardDuty, Amazon Inspector, AWS Key Management Service 서비스 등을 사용합니다. 이러한 솔루션을 활용하여 Coactive는 한 분기 만에 SOC2 사이버 보안 규정 준수를 달성했습니다.

제품 출시

성공적인 제품 출시를 보장하는 것은 중요합니다. Coactive는 자사 제품을 전 세계 AWS 고객과 공유하기 위해 AWS 파트너 네트워크(APN)에 가입하여 AWS Marketplace에 제품을 등록했습니다.

Coactive는 APN을 통해 제공되는 AWS Global Startup Program(GSP)에도 참여하고 있습니다. 이 프로그램에서는 제품 개발, 제품 출시, 공동 판매라는 세 가지 주요 영역에서 지원을 제공하는 AWS Partner Development Manager를 Coactive에 배정해 줍니다.

AWS Startups를 통한 성공 가속화

Coactive는 AWS 기술 솔루션 및 비즈니스 지원의 도움을 받아 솔루션을 구축하는 것에 더해 AWS Activate 프로그램도 활용합니다. AWS Activate는 Startup에 크레딧 및 특전 혜택부터 기술 지원 및 네트워킹 이벤트에 이르기까지 다양한 리소스를 제공합니다.

Cody와 다른 AWS Activate 회원사들은 AWS Startups 팀과 협력하여 최근 AWS GenAI Day에서 전문 지식을 공유했습니다. 이 이벤트는 Startup이 AWS를 기반으로 생성형 AI를 사용하여 솔루션을 구축하는 방법을 보여주는 일일 가상 이벤트입니다. Cody는 “Mapping the Trajectory of GenAI: From Learning to Impact(생성형 AI의 적용 과정: 학습부터 적용까지)”라는 패널 토론에 기조 연설자로 참여하여 데이터가 생성형 AI의 중요한 부분인 이유와 최근 기계 학습의 혁신이 어떻게 우리의 삶을 크게 개선할 수 있는지 설명했습니다.

미래를 위한 구축

Coactive는 기계 학습의 진입 장벽을 낮추는 제품을 지속적으로 개발하고 있습니다. Cody는 그 가능성을 증명하고 다른 사람들도 그렇게 하도록 돕는 것이 그의 사명에서 중요한 부분이라고 말합니다. 놀라운 스토리에는 어머니의 수감 생활 중에 태어나 위탁 양육을 받았고 경제적 불평등이라는 제약 속에서 그를 키워준 조부모에게 입양된 이야기 등이 포함되어 있었습니다. 약 20년 전 스탠포드 대학을 졸업한 최초의 흑인 박사 과정 학생이었던 Cody는 기술 분야에서 소외 계층이 겪는 어려움을 잘 알고 있습니다. 그는 다양성, 형평성, 포용성을 핵심 원칙으로 Coactive를 운영하기 위해 노력하고 있습니다. Cody는 “성공하기까지의 과정은 성공 그 차체만큼이나 중요합니다”라고 말합니다.

Cody는 “Will은 사다리를 만들어 사람들이 자신의 발자취를 따라가기 쉽도록 하는 것이 인생 목표라고 말합니다. 제 인생 전반의 사명은 출신에 상관없이 성공할 수 있다는 것을 보여주는 것입니다. 제가 할 수 있다면 누구라도 할 수 있어요”라고 설명합니다.

Startup 창업을 고려하고 중인 사람들에게 Cody는 두려운 것이 정상이라고 말합니다. 본인이 CEO라는 직책에 어울리지 않는다는 생각, 회사를 설립하는 데 따른 리스크, 오랫동안 어려움을 감내해야 하는 과정 등으로 인해 두려움을 느끼는 것이 당연합니다. Cody는 ‘완벽하게 준비하고 시작할 필요는 없고, 그런 과정을 시작하기만 하면 된다’는 것을 깯닫자 자신을 얻었다고 말합니다.

2년이 지난 지금, 이 조언이 사실이라는 것이 분명해졌습니다. Coactive 팀은 고객에게 효과적인 시각적 분석 기능을 제공하면서 꾸준히 공평한 AI 경쟁의 장을 만들고 있습니다. 데이터의 접근성을 높이기 위한 Cody의 노력은 지금도 계속되고 있습니다. Cody는 “지금까지 본 가장 놀라운 사용 사례 중 하나는 아기의 울음 소리에서 위험한 호흡기 질환의 징후를 인식하도록 음성 인식 모델을 미세 조정한 것입니다”라고 설명합니다. AI를 사용한 조기 발견은 영아 사망률을 낮추고 정확한 진단에 필요한 시간, 비용 및 기술을 줄였습니다.

Cody는 “지속 가능하고 윤리적인 AI는 우리의 삶을 유의미하게 개선할 수 있는 놀라운 잠재력을 가지고 있습니다. 지금까지도 저에게 가장 큰 동인 중 하나는 Coactive 및 AWS와 같은 회사와 함께 AI를 민주화함으로써 사람들이 들려줄 이야기와 질문에 답할 수 있게 되었다는 것입니다. 그 성과가 정말 기대됩니다”라고 말합니다.