AWS DeepComposer Challenge 우승자 인터뷰 – 메가존 클라우드 이성인님

AWS DeepComposer 는 개발자에게 음악을 통해 기계 학습 (ML)을 공부할 수 있는 창의적인 방법을 제공합니다. 지난 6 월에는 개발자가 AWS DeepComposer를 사용하여 독창적 인 작곡을 만들고 ML 기술을 선 보이기 위해 경쟁하는 월간 글로벌 대회인 지난 AWS DeepComposer Chartbusters를 시작했습니다. 세 번째 도전 과제인 The Sounds of Science 는 개발자에게 비디오 클립 용 배경 음악을 만들도록했습니다. 우승자는 바로 한국의 개발자인 이성인님이었습니다.

이성인님은 국내에서 가장 큰 AWS 파트너 중 하나 인 MegazoneCloud의 주니어 솔루션 아키텍트입니다. 대학에서 언어학과 인류학을 공부했지만, 현재 클라우드 엔지니어링으로 경력을 바꿨습니다. 기계 학습에 대해 처음 배우기 시작했을 , Chartbusters 챌린지에서 우승을 할지는 전혀 몰랐다고 합니다.

2020 년 9 월 2 일부터 23 일까지 진행된 세 번째 Chartbusters 챌린지에 출전 한 성인님의 경험을 알아보고, 그가 우승한 작품을 어떻게 만들었는지에 대해 더 이야기 해달라고 인터뷰를 요청했습니다.

업무 중인 이성인님

기계 학습 시작하기

이성인님은 클라우드 엔지니어로 전환하면서 받은 직업 교육을 통해 기계 학습 및 GAN (Generative Adversarial Networks)에 대한 관심을 시작했습니다.

“커리큘럼의 일환으로 우리 팀이 GAN을 통해 주어진 문장에 따라 이미지를 생성하는 모델을 만드는 팀 프로젝트가 있었습니다. 안타깝게도 모델의 복잡성 때문에 훈련에 실패했지만, GAN에 대한 관심이 깊어졌습니다. “

소프트웨어 개발자 직업 교육을 받은 후, 클라우드 엔지니어링 분야에서 경력을 쌓고자 메가존 클라우드에 합류했습니다. 경력 6 개월 후 팀장님이 AWS DeepComposer를 사용해 보도록 권장했습니다.

“챌린지가 처음 시작되었을 때 팀 리더가 도전에 대해 이야기하고 참여하도록 격려했습니다. 나는 이미 GAN과 음악에 관심이 있었고 신입 사원으로서 기계 학습 기술을 보여주고 싶었습니다. “

AWS DeepComposer에서 인공 지능 학습하기

The Sounds of Science 도전 과제는 Autoregressive Convolutional Neural Network (AR-CNN) 알고리즘을 사용하여 비디오 클립의 배경 음악을 작곡하고, 비디오와 맞게 멜로디를 편집해야 합니다.

“저는 초기 멜로디를 선택하는 것으로 시작했습니다. 처음 영상을 봤을 때 샘플 멜로디 중 하나 인 ‘Ode to Joy’가 영상 분위기에 잘 어울린다고 생각해서 사용하기로 결정했습니다. 하지만 멜로디가 원곡 보다 차분하게 들리 길 원해서 음조를 약간 낮췄습니다. 그런 다음 AR-CNN으로 멜로디를 강화하기 시작했습니다.”

멜로디를 작곡하고 있는 중

우승한 멜로디를 만들기 전에 하루 동안 작업을 했습니다.

“멜로디가 마음에 들 때까지 AR-CNN으로 여러 곡을 만들었습니다. 그런 다음 더 많은 악기를 추가하기 시작했습니다.  MuseGan의 모든 샘플 모델로 실험했고 록(Rock) 장르가 멜로디에 가장 잘 어울린다고 결정했습니다. ‘멜로디 편집’ 기능이 매우 유용하였습니다. AR-CNN으로 멜로디를 강화하는 과정에서 일부 오프 키 음이 나타나 하모니를 방해하기도 했는데요. 하지만 ‘멜로디 편집’기능을 사용하면 잘못된 음표를 제거하거나 수정하고 음악을 다시 키에 넣을 수 있습니다!”

AWS DeepComposer 콘솔의 멜로디 편집 기능 .

“가장 큰 장애물은 제가 정말 잘하고 있나 하는 의심이었습니다. 결과물에 만족하기가 어려웠고 대회를 포기하고 작품을 제출하지 않을까 생각했습니다. 그런데 왜 포기 할까 생각 했어요. 하지만, 포기하지 말고 제출해 보자라고 했고, 우승까지 하게 되었네요.”

이성인 님이 만든 “The Joy”는 AWS DeepComposer – SoundCloud에서 들으실 수 있습니다.

마지막으로, AWS DeepComposer Chartbusters 챌린지가 기계 학습을 계속  공부하고, 새로운 경력에 대한 신감을 주었다고 합니다.

“기계 학습을 제대로 공부하기 시작한 지 1 년 밖에 되지 않았습니다. 기본적인 컴퓨터 지식이 없는 비 컴퓨터 과학 전공자로서 머신 러닝으로 목표를 성공적으로 달성하기가 어려웠습니다. 예를 들어, 직업 교육 중 팀 프로젝트는 실패했고 제가 만든 AWS DeepRacer 모델은 주행을 완료 할 수 없었습니다. 그 후, 자신감을 잃고 있었는데, 갑자기 AWS DeepComposer Chartbusters 챌린지에서 1 위를 차지했습니다! 이를 통해 기계 학습으로 실제로 뭔가를 만들 수 있다는 것을 상기시켜 주고, 계속 공부하도록 동기를 부여했습니다.”

기계 학습 초보자일지라도 성취감과 더 배우고 자하는 욕구로 도전을 완성할 수 있고 도와 주었고, 기계 학습 공부도 계속하면서 GAN에 대한 새로운 기법도 탐구할 예정이라고 합니다. 우승하신 성인님께 축하를 드립니다.

여러분께도 이성인님의 이야기가 기계 학습 공부와 AWS DeepComposer를 시작하는 데 영감을 주었기를 바랍니다. AWS DeepComposer Chartbusters Challenge는 계속 됩니다.

– Paloma Pineda, AWS AI 제품 마케팅 담당자

이 글은 AWS Machine Learning 블로그의 Learn from the winner of the AWS DeepComposer Chartbusters challenge The Sounds of Science 한국어 번역입니다.

(역자주) 이성인님의 우승 트로피를 올려주셨네요. 더 관심이 있는 분은 AWS한국사용자모임 슬랙(Slack) 채널의 #deepcomposer로 오시기 바랍니다.