스캐터랩, 일상적인 대화가 가능한 챗봇 제작 도구 ‘핑퐁 빌더’ 서비스로 지금껏 느낄 수 없던 대화 경험 제공

Scatterlab

The Challenge

스캐터랩은 2019년 5월 누구나 일상 대화 챗봇을 만들 수 있다는 슬로건을 내걸고 ‘핑퐁 빌더’를 공개했습니다. 핑퐁 빌더는 일상적인 자연스러운 대화를 이어갈 수 있는 챗봇을 만드는 도구입니다. 핑퐁 빌더는 100억 건이 넘는 카카오톡 메신저 대화 데이터를 원천 삼아 머신 러닝 모델을 개발하여 ‘일상적인 대화가 가능한 수준의 사용자 경험’을 제공합니다.

스캐터랩의 핑퐁 빌더는 브라우저로 이용할 수 있는 서비스입니다. 일종의 챗봇 서비스를 만드는 웹 기반 제작 도구를 SaaS 형태로 쓰는 것이라 보면 됩니다. 인공 지능 기반 서비스의 특성상 스캐터랩은 핑퐁 빌더 공개에 앞서 운영 환경에 대한 경제성과 확장성 확보 방안을 찾아야 했습니다.

관련해 스캐터랩 황성구 CTO는 “핑퐁 빌더는 고비용 서비스입니다. 다양한 한국어 모델들을 기반으로 빌더 서비스를 제공하려면 매우 많은 자원이 필요합니다. 이런 이유로 모델 경량화와 성능 개선 방안을 연구하는 것도 게을리하지 않았습니다. 또한, 모델마다 사용하는 자원 양도 각각 달라 상황에 따라 적절히 확장이 이루어지게 인프라를 설계하는 것도 중요했습니다.”라고 말했습니다.

핑퐁 빌더가 앞세우는 친근하고 생동감 있는 대화 능력을 지속해서 개선해 가는 데 있어 컴퓨팅 성능은 매우 중요합니다. 핑퐁 빌더로 만든 챗봇은 대화 세션당 10~20턴의 긴 이야기 흐름을 이어갈 수 있습니다. 보통 단순한 명령과 수행으로 이루어지는 일반적인 챗봇이 2~3턴의 짧은 대화만 이어갈 수 있는 것에 비교하면 10배 가까이 더 길게 서로 말을 주고받을 수 있는 것입니다. 이는 곧 컴퓨팅, 스토리지 등의 비용 증가를 의미합니다. 이것이 바로 스캐터랩이 핑퐁 빌더 서비스 공개에 앞서 경제성과 확장성에 대한 고민을 깊이 한 이유입니다.

"AWS Fargate로 배포와 확장 아키텍처를 구성하여 다양한 모델을 자원 부족이나 낭비 없이 유연하게 운영할 수 있었고, Savings Plan 을 통해 비용의 약 30% 이상을 절감할 계획입니다." 

스캐터랩 황성구 CTO

 

  • 스캐터랩 정보

  • 스캐터랩은 2011년 설립된 인공 지능 전문 기업으로 연애 인공 지능 ‘진저’, 메신저 대화 기반 연애 분석 서비스 ‘연애의 과학’ 그리고 일상 대화가 가능한 챗봇을 만들 수 있는 도구 ‘핑퐁 빌더’를 서비스하고 있는 기업입니다.

    Scatterlab
  • 이점
    • 머신 러닝 모델 서빙 비용 절감
    • 끊김 없는 챗봇 대화로 사용자 경험 강화
    • 한국, 일본 등지로 빠른 시장 확대
  • 사용된 AWS 서비스

  •  

Why Amazon Web Services

스캐터랩이 AWS를 선택한 이유는 핑퐁 빌더를 여러 고객에게 원활히 서비스하기 위한 전제 조건인 경제성과 확장성 보장에 유리했기 때문입니다. 스캐터랩이 최선이라고 선택한 것은 AWS Fargate 였습니다.

핑퐁 빌더는 대화가 진행될 때 여러 모델이 필요합니다. 사용자가 문장을 입력하면 문장 의미의 유사성을 판단하는 모델, 여러 답변 후보 중 적절한 것을 선택하는 모델, 어떤 말이 들어와도 자연스럽게 반응하는 모델 등 다양한 모델이 사용자와 대화 과정에 복합적으로 적용되는데 각 모델이 사용될 때 필요로 하는 자원 양이 다릅니다. AWS Fargate는 각 모델과 상황에 따라 확장을 유연하게 할 수 있습니다.

스캐터랩은 경제성 확보를 위한 일환으로 모델 트레이닝과 서빙 최적화에 공을 들였습니다. 그리고 모델의 특성과 최적화 방향에 맞춰 GPU와 CPU 인스턴스 사용을 적절히 나누었습니다. 그리고 자주 묻는 질문과 같이 봇의 답변 내용이 정해져 있을 경우 캐싱을 이용해 비용을 낮추었습니다.

또한, 대화 중 시간 내에 답변을 못 할 경우 Amazon EC2 G시리즈 인스턴스를 이용해 즉각적인 확장이 이루어지도록 하였습니다. Amazon EC2 G시리즈 인스턴스는 GPU와 CPU 용량을 자유롭게 조합할 수 있고, 필요할 때만 자원을 사용하고 작업이 끝나면 인스턴스를 중단할 수 있어 스캐터랩이 바라던 경제성과 확장성에 잘 맞았습니다. 이번 2019 Re:Invent 에서 새로 출시된 Inf1 Instance 도 테스트를 통해 적용을 검토해 볼 예정입니다.

한편 스캐터랩은 로그 분석 시스템 고도화를 위해 AWS의 다양한 서비스 적용을 검토 중입니다. 황성구 CTO는 “사용자와 봇이 대화를 나누던 중 어느 지점에서 이야기가 끊겼는지, 대화가 길게 이어질 때 어떤 흐름으로 가는지 등을 추적하고 분석하는 시스템 고도화를 생각 중입니다. 현재 Amazon CloudWatch로 로그 모니터링을 하고 있는데 향후 로그 정보를 정제해 데이터베이스에 담고, 이를 시각화하여 분석 작업의 편의성을 높일 계획입니다.”라고 말했습니다.

The Benefits

핑퐁 빌더 서비스는 차세대 챗봇 시장의 포문을 열고 있습니다. 단순 질문, 메뉴 전개형, 대화형 챗봇은 대화형 챗봇에 대한 사용자의 기대를 충족시키지 못하고 있습니다. 인공 지능을 앞세운 챗봇의 경우도 충분한 데이터 확보와 모델 최적화에 어려움이 크다 보니 사용자 눈높이를 맞추는 곳이 많지 않습니다. 스캐터랩은 시간과 비용을 들여도 만족할만한 성과를 내기 어렵던 챗봇 서비스를 이제 누구나 쉽게 구현할 수 있는 ‘인공 지능 챗봇 대중화’의 시대를 열 준비를 마쳤습니다. 관련해 스캐터랩의 핑퐁 서비스는 한국 외에 일본에서도 서비스를 제공할 계획입니다. 한국어 모델은 100억 건 이상의 일상 대화를 데이터 세트로 확보했고, 일본도 2억 건 이상의 대화 데이터를 모았습니다.

스캐터랩은 AWS로 챗봇 빌더 서비스를 위한 기반을 성공적으로 갖추었습니다. 또한, 스캐터랩이 강조하는 끊김 없이 자연스럽게 이어지는 일상 대화의 경험 제공을 위한 충분한 성능도 확보했습니다. 황성구 CTO는 “챗봇의 응답 속도는 사용자 경험에 큰 영향을 끼칩니다. 우리는 대화 중단 없이 챗봇과 매끄럽게 대화를 이어가는 데 필요한 최적의 응답 속도를 AWS가 제공하는 유연한 확장성을 통해 확보했습니다.”라고 말했습니다.

스캐터랩은 핑퐁 빌더 사업을 공격적으로 전개해 나아갈 계획입니다. 이미 국내 유명 기업부터 시작해 글로벌 기업과도 협업에 대한 논의를 활발하게 하고 있습니다. 일본 시장 전망도 밝습니다. 관련해 서비스 고도화를 위해 다양한 계획을 수립 중인데, 이 과정에서 또 한 번 AWS가 보이지 않는 손이 되어 핑퐁 빌더 서비스 확산을 돕고 있습니다.

황성구 CTO는 “AWS에는 레퍼런스 자료가 많고, 다양한 서비스가 구현되어 있어 언제든 원하는 기능을 골라서 쓸 수 있다 는 점이 좋았습니다. 핑퐁 빌더 서비스를 준비할 때도, 캐시 서버나 데이터 파이프라인을 설계하고 구축할 때 AWS에 이미 구현되어 있는 기능을 바로 찾아서 적용할 수 있어서 편했습니다.”라고 말했습니다.  

자세히 알아보기

더 자세한 내용은 http://aws.amazon.com에서 확인하실 수 있습니다.