1957년 TV 시리즈 디즈니랜드의 한 에피소드에서 월트 디즈니는 시청자들을 버뱅크 애니메이션 스튜디오의 깊은 곳으로 인도합니다. 그는 지하 도서관을 가리키며 "이 자료 창고 안에 있는 선반, 탁자, 파일 캐비닛 모두가 우리 영화 스튜디오의 역사를 간직하고 있습니다."라고 말합니다.
다른 애니메이션 스튜디오보다 훨씬 앞서 Disney는 작가나 일러스트레이터가 참고하거나 영감을 얻을 수 있도록 보관소를 쉽게 접근할 수 있게 만들어야 한다고 주장했습니다. 덤보나 피터팬 같은 인기 캐릭터들의 그림, 컨셉 아트워크 등이 이 창고 안에 조심스럽게 보관되어 있습니다. 그리고 그 후 많은 시간이 지났지만, Disney는 계속해서 보존에 힘쓰고 있습니다.
거의 1세기 분량의 콘텐츠를 보관되어 있고 디지털 콘텐츠의 비중이 점점 늘어남에 따라 Disney는 그 어느 때보다 더 세심하게 도서관을 정리해야 합니다. Disney의 DTCI(Direct-to-Consumer & International) Technology 팀 내 R&D 엔지니어와 정보 사이언티스트들로 구성된 소규모 팀이 (가상) 스택의 정리정돈을 맡고 있습니다. DTCI는 The Walt Disney Company 내에 분산된 기술자와 전문 지식을 결합하고, Disney의 다양한 고유 콘텐츠와 비즈니스 요구를 지원하도록 기술을 조율하기 위해 2018년에 설립되었습니다.
조직 시스템의 기초는 메타데이터, 즉 Disney의 프로그램과 영화에 나오는 이야기, 장면, 인물들에 대한 정보입니다. 예를 들어, 밤비는 토끼 Thumper나 Paline(밤비의 새끼 사슴 친구) 같은 캐릭터는 물론 동물 유형, 동물들 사이의 관계, 각 동물이 묘사하는 캐릭터를 식별하는 메타데이터 태그를 가지고 있습니다. 자연 장면(묘사된 특정 종류의 꽃까지 세분화됨), 음악, 감성, 내레이션 톤 같은 것에도 특정 태그가 있습니다. 따라서 이 모든 콘텐츠가 제대로 정렬되도록 올바른 메타데이터로 적절히 태깅하는 것은 어려운 일입니다. 특히 Disney의 가파른 성장 속도를 고려할 때 더욱 그렇습니다.
"TV 프로그램에서 새로운 캐릭터가 선보이고, 풋볼 선수들이 팀을 이적하고, 슈퍼히어로들이 새로운 무기를 갖게 되고, 신규 프로그램도 준비 중입니다."라고 팀의 기술 리더인 Miquel Farré는 말했습니다. 그리고 이 모든 것에는 다수의 새로운 메타데이터가 필요합니다.
AWS 서비스의 도움으로, 그의 팀은 아카이빙 프로세스의 효율성을 높이기 위해 이 콘텐츠에 설명 메타데이터를 자동으로 태깅하는 기계 학습 및 딥 러닝 도구를 만들고 있습니다. 그 결과, 작가와 애니메이터들은 미키 마우스부터 모던 패밀리의 필 던피까지 모든 캐릭터를 빠르게 검색하고 숙지할 수 있습니다.
이미지 제공: Disney
메타데이터의 대단한 점은 무엇일까요?
이 작업을 이끄는 팀은 원래 2012년에 Disney & ABC Television Group 소속으로 편성되었습니다. 수년 동안 성장하면서 이제는 Disney의 DTCI Technology 그룹에 속하게 되었으며, Disney 유니버스(예: 밤비 동물 이야기. 백설 공주는 관련 없음)의 스타일과 관습에 관한 색인 및 지식 자료가 되었습니다. 기계 학습 도구가 크리에이티브 콘텐츠를 정확하게 설명하는 메타데이터를 생성하도록 하기 위해서는 팀의 작가와 애니메이터들이 각 프로그램을 특별하게 스타일리시한 특징을 잘 설명해야 합니다.
이들의 협력이 크리에이티브 팀 멤버들에게 도움이 됩니다. 콘텐츠에 정확한 메타데이터가 태깅되면 검색 인터페이스를 통해 필요한 정보를 빨리 찾을 수 있습니다. 예를 들어, 그레이 아나토미 작가는 중복을 피하기 위해 한 에피소드에서 휘플 수술이 몇 번 있었는지를 알아야 합니다. 한편, 바다 밑에서 벌어지는 사건을 다루는 새로운 만화를 그리는 아티스트는 영감을 얻기 위해 ‘인어공주’나 ‘니모를 찾아서’에서 특정 캐릭터의 포즈나 자세를 찾아보고 싶어할 수 있습니다.
하지만 모든 것에 올바른 메타데이터를 태깅하는 것은 엄청난 양의 노동입니다. 수동 태깅이 이 프로세스의 중요한 부분이기는 하지만 DTCI Technology 팀은 모든 프레임을 수동으로 분류할 시간이 없습니다. 따라서 Farré의 팀은 메타데이터를 생성하는 작업에 기계 학습, 더 구체적으로는 딥 러닝을 사용했습니다. 목표는 나머지 Disney 기술 자료와 일치하는 방식으로 장면의 구성 요소를 자동으로 태깅하는 딥 러닝 알고리즘을 구축하는 것입니다. 여전히 마지막에는 사람이 알고리즘의 태그를 승인해야 하지만, 이 프로젝트는 Disney 도서관을 정리하는 데 필요한 노동력을 크게 줄임으로써 검색 정확도를 향상시키고 있습니다.
무엇보다도, 이러한 발전 덕분에 엔지니어들은 시간을 절약하고 AWS(Amazon Web Services)를 사용하는 딥 러닝 모델을 개발하는 데 더 집중할 수 있게 되었습니다. 그 결과, 다양한 종류의 Disney 콘텐츠에서 메타데이터 생성 자동화가 순조롭게 이루어지고 있습니다.
이미지 제공: Disney
애니메이션에 아이덴티티를 부여하는 딥 러닝
가장 성공적인 딥 러닝/메타데이터 프로젝트 중 하나는 애니메이션 인식의 문제를 해결하는 것이었습니다.
라이브 액션 영화나 TV 프로그램에서는 기계 학습이 캐릭터를 주변으로부터 분리하는 것이 비교적 간단합니다. 하지만 애니메이션에서는 상황이 복잡해집니다. 예를 들어 한 애니메이션 장면에서 캐릭터의 실제 모습과 포스터 사진이 모두 등장한다고 생각해 보세요(캐릭터가 범죄자라서 마을 곳곳에 현상금 포스터가 붙어 있을 수 있음). "알고리즘에게는 이것이 매우 복잡합니다."라고 Farré는 말했습니다.
작년에 Farré의 팀은 움직이는 캐릭터와 정적인 모습을 구별하고, 도플갱어 무리 안에서 캐릭터를 식별하고(예: 많은 캐릭터가 거의 똑같이 생긴 DuckTales), 펑키한 조명이 있는 장면에서 캐릭터를 인식할 수 있는(예: 이상한 나라의 앨리스에서 앨리스가 체셔캣을 처음 만날 때 체셔캣이 이를 다 드러내고 웃는 장면) 딥 러닝 방법을 개발했습니다. 무엇인지를 파악한 후 알고리즘은 적절한 메타데이터로 장면을 태깅할 수 있습니다.
하지만 이 모델의 진정한 힘은 어떤 애니메이션 콘텐츠에도 적용될 수 있다는 것입니다. 따라서 모든 구피, 헤라클레스, 엘사에 대해 새로운 모델을 만드는 대신 일반적인 모델을 사용하고 약간씩 조정하기만 하면 어떤 프로그램이나 영화의 캐릭터에도 사용할 수 있습니다.
올해 이전에는 딥 러닝 방식보다 데이터가 덜 요구되는 기존의 기계 학습 알고리즘을 사용했지만, 더 제한적이고 유연성이 떨어지는 결과를 얻었습니다. 데이터 입력 양이 적을 때는 기존의 알고리즘도 제대로 작동합니다. 하지만 데이터가 기하급수적으로 증가할 때는 딥 러닝이 큰 차이를 만들어 낼 수 있습니다.
Farré는 이제 딥 러닝 모델이 이미 훈련된 네트워크를 활용하고 구체적인 사용 사례에 맞게 세밀하게 조정할 수 있다고 합니다. 특히 움직이는 캐릭터의 경우, Disney는 "움직이는 캐릭터" 개념을 이해할 수 있도록 수천 개의 이미지로 신경망을 미세 조정했습니다. 그다음에 신경망은 각각의 프로그램에 대해 여러 에피소드에 걸쳐 수백 개의 이미지만 사용하여 재조정함으로써 해당 프로그램에서 "움직이는 캐릭터"를 어떻게 감지하고 해석할 것인지를 배웁니다.
AWS는 Disney가 기존 기계 학습에서 딥 러닝으로 전환하는 데 있어 핵심적인 파트너였으며, 특히 실험에 관련해서는 더욱 그렇습니다. 탄력적 클라우드 컴퓨팅 EC2 인스턴스는 팀이 새로운 버전의 모델을 신속하게 테스트할 수 있도록 합니다. (애니메이션 인식 프로젝트의 경우, Disney는 사전 훈련된 모델과 함께 PyTorch 프레임워크를 사용하고 있습니다.) 딥 러닝에 대한 연구가 많이 진행되고 있기 때문에 팀은 끊임없이 새롭고 새로운 방법을 실험하고 있습니다.
메타데이터 연구는 매우 성공적이었기 때문에 Disney의 모든 부서에서 채택했습니다. Farré는 자신의 팀이 최근 ESPN의 개인화 팀과 협력하여 업계 최고의 디지털 애플리케이션과 웹사이트에 게시되는 모든 기사와 동영상에 대한 세부 메타데이터를 제공했다고 밝혔습니다. 사용자가 로스앤젤레스 다저스, 스테프 커리, 미네소타 바이킹스 또는 맨체스터 유나이티드의 팬이라는 것을 안다면 각 기사에 대한 메타데이터가 많을수록 해당 제품이 사용자에게 선호하는 콘텐츠를 더 많이 제공할 수 있습니다. 또한 기계 학습 알고리즘과 이들이 제공하는 메타데이터는 더욱 발전된 AI를 활용함으로써 시간이 지나면서 점점 더 개인화된(데이터 관계 및 동작에 따라) 서비스를 제공할 수 있습니다.
Farré가 예상하듯이, 메타데이터를 응용할 수 있는 분야는 무궁무진합니다. 특히 Disney의 콘텐츠, 캐릭터, 제품 라이브러리가 점점 더 방대해지고 확장되고 있음을 고려하면 더욱 그렇습니다. "앞으로 지루할 일은 없을 것 같습니다."라고 그는 말했습니다.