호주 국가 과학 기관인 Commonwealth Scientific and Industrial Research Organisation(CSIRO)은 지난 85년간 가능성의 한계에 도전해왔습니다. 현재 이 종합 연구 조직에서는 호주 내외의 55개 센터에서 5천 명 이상의 직원이 근무하고 있습니다. 이 조직은 호주 국가 혁신 시스템 내 협업을 강화하는 데 필수적인 역할을 수행하고, 정부, 산업 및 과학 커뮤니티에서 신뢰할 수 있는 조언자의 역할을 합니다. 22개의 연구 분야 중 14개 분야에서 상위 1%의 글로벌 연구 기관에 포함되고 4개의 연구 분야에서 상위 0.1%에 속합니다. 전체적으로 보면 혁신과 우수성으로 CSIRO는 전 세계 상위 10개의 응용 연구 기관의 하나로 평가됩니다.

2002년에 설립된 Black Dog Institute(BDI)는 다양한 감정 장애의 진단, 치료 및 예방에 전념하는 비영리 호주 연구 기관입니다. 이 기관은 정신 건강 문제에 대해 전문 의료진과 대중을 교육하는 것을 목표로 하고 웹 사이트를 통해 팩트 시트와 설문지 등 다양한 리소스를 제공합니다. 예를 들어 호주 전역의 일반의는 환자를 BDI의 온라인 감정 평가 프로그램(MAP)으로 보냅니다. 이 프로그램은 성격 유형을 분석하고 불안, 조울증 및 다양한 임상 우울증의 하위 유형 간에 구분하도록 지원합니다. 9명의 이사, 12명의 정신과 컨설턴트 및 수많은 지원 직원으로 구성된 BDI는 계속 성장하며 정신 건강 분야의 주요 전문가를 유치하고 이들과 함께 새로운 보조금 및 표창을 받고 있습니다. 2013년 BDI 전무 이사인 Helen Christensen 교수는 Australasian Society for Psychiatric Research에서 수여하는 Founders Medal을 수상하는 영예를 안았습니다.

2014년 5월부터 BDI는 CSIRO와 협력하여 소셜 미디어를 사용하여 대규모의 감정 변화를 모니터링하는 연구를 수행했습니다. We Feel 연구는 매일 Twitter에 게시되는 수억 개의 트윗을 비롯하여 방대한 양의 샘플 데이터를 사용합니다. CSIRO는 Black Dog Institute에 이 연구를 제안했고, BDI는 CSIRO가 이를 구현하기 전에 개념을 구체화하도록 도왔습니다.

보스턴의 노스이스턴대학에서 수행한 이전의 연구에 따르면 트윗의 콘텐츠와 구조를 분석하여 이를 작성하는 사람의 감정 상태를 파악할 수 있습니다. 예를 들어 버몬트대학 복합 시스템 센터의 연구에서 Google Books, New York Times 기사, Twitter 메시지를 비롯하여 다양한 출처에서 가장 많이 사용되는 5,000개의 단어를 찾아냈습니다. 이러한 단어는 1(슬픈)에서 9(행복한)까지 순위가 매겨졌고 미국인구의 행복과 뉴스 속보 간 관계를 매핑하는 데 사용되었습니다.

We Feel 연구 설계진은 이러한 기본적 접근 방식을 누구나 액세스할 수 있는 분당 19,000개의 트윗에 적용하여 감정과 관련된 다량의 용어를 도출하려고 했습니다. 연구진은 이 연구가 날씨, 하루 중 시간, 현재 뉴스와 같은 사회 및 환경 요소에 감정이 얼마나 많은 영향을 받는지 이해하는 데 도움이 되길 바랐습니다.

이러한 목표를 달성하기 위해 이 연구의 설계진은 3가지 주요 문제를 해결해야 했습니다. 첫 번째, 수신 데이터가 대규모이므로 실시간으로 트윗을 수집하고 결과를 분석하려면 대량의 유연한 컴퓨팅 파워가 필요했습니다. 두 번째, 시간이 지나면서 패턴을 측정하고 게시할 수 있으려면 데이터를 안전하게 아카이브해야 했습니다. 마지막으로, 결과를 대중이 볼 수 있고 이해할 수 있는 것이 중요했습니다. 이를 위해서는 벨기에 겐트대학교의 Center for Reading Research에서 개발한 규범적 감정 등급 데이터 세트를 활용한 감정 색 부호화 시스템을 사용하여 결과를 실시간으로 시각적으로 표시할 방법이 필요했습니다.

We Feel 팀은 Amazon Web Services(AWS)와 실시간 Amazon Kinesis 데이터 처리 서비스를 보자마자 마음에 들었습니다. "AWS 클라우드에서 우리가 필요했던 플랫폼과 기능을 제공해 줄 수 있다는 것을 알았습니다. 이 프로젝트에 AWS를 선택한 것은 당연한 결과였습니다."라고 CSIRO의 Digital Productivity Flagship에서 언어 및 소셜 컴퓨팅 부문을 맡고 있는 연구 책임자인 Cécile Paris 박사는 말합니다. AWS도 생산적인 파트너십의 가능성을 보았고 이 프로젝트를 후원하기로 하고 제품을 포함하여 지원 패키지를 아낌없이 제공했습니다.

We Feel은 여러 Amazon Elastic Compute Cloud(EC2) 인스턴스를 사용하여 Twitter의 퍼블릭 API에서 분당 평균 19,000개의 트윗을 캡처합니다. 별도의 Amazon EC2 인스턴스가 트윗을 처리하여 사용자 이름을 분석하여 성별을 구분하고 감정 콘텐츠가 드러난 구문을 파악합니다. 이러한 정보는 Amazon Kinesis Streams로 전달되고 트윗은 콜드 스토리지를 위한 확장 가능한 Amazon Simple Storage Service(S3)에 저장됩니다. 또 다른 Amazon EC2 인스턴스에서 이 스트림을 모니터링하고 5분 간격으로 요약 결과를 작성하여 Amazon DynamoDB 데이터베이스에 기록합니다. CSIRO 소프트웨어 엔지니어 겸 연구 프로젝트 책임자인 Brian Jin은 네트워크에서 비정상 활동을 모니터링할 수 있는 Amazon CloudWatch를 사용하여 각 인스턴스를 정기적으로 검토합니다. 마지막으로, Amazon Route 53을 사용하여 수신되는 웹 트래픽을 We Feel 웹 사이트로 보냅니다. We Feel 웹 사이트도 AWS에 호스팅되어 있습니다.

CSIRO의 지속적인 재정 지원으로 We Feel 팀은 결과를 웹 사이트에 게시하기 전에 AWS를 사용하여 수억 개의 트윗을 분석하고 있습니다. 그 결과는 인구통계학적으로 다양하고 많은 인구의 감정 상태에 대한 놀라운 통찰력을 보여줍니다. 웹 사이트 방문자는 성별, 위치 및 감성 지수별로 결과를 자세히 살펴볼 수 있습니다. 현재 기쁨에서 공포까지 6개의 주요 감성 카테고리가 있으며 낙관주의나 초조함과 같은 좀 더 미묘한 차이의 감성 상태를 나타내는 하위 카테고리가 있습니다.

"정말 놀라운 도구입니다."라고 Paris 박사는 말합니다. "AWS를 사용함으로써 불과 몇 달 만에 애플리케이션을 가동할 수 있었고 이제 수백만 개의 트윗을 실시간으로 분석할 수 있습니다."

We Feel은 연구진이 감정 변화를 사회적 맥락에 연결할 수 있는 거시적 시각을 제공하고 있습니다. "예를 들어 2014년 호주 연방 예산이 발표되었을 당시 흥미로운 감정 변화를 목격할 수 있었습니다."라고 Paris 박사는 말합니다. "발표가 난 다음 주에 우려하는 트윗이 30% 증가하고 화가 난 트윗이 27% 증가했습니다. 이러한 유형의 분석은 지금까지 단 한 번도 시행된 적이 없었습니다."

무엇보다도 AWS의 컴퓨팅 파워를 사용함으로써 연구진이 IT 인프라의 복원력에 대한 걱정 없이 연구 결과에 집중할 수 있었습니다. "2014년 5월에 우리는 피크 트래픽을 경험했으며 하루 동안 We Feel 웹 사이트에 28,000명이 방문하고 해당 월에 70,276명이 방문했습니다."라고 Jin은 말합니다. "하지만 지연은 전혀 발생하지 않았습니다. 그후로 예정된 네트워크 재설계를 위해 오프라인이 된 하루를 제외하고 100%에 가까운 가동 시간을 유지했습니다."

Jin은 특히 Amazon Kinesis에 열광적입니다. 대량의 트윗을 실시간으로 수집하고 주석을 다는 데 필요한 민첩성을 제공한다는 점을 높이 평가했습니다. "우리는 시스템이 수신 데이터를 감당하지 못할까 우려했지만, 이러한 볼륨 증가로 시스템에 장애가 발생하는 일은 없었습니다."라고 그는 말합니다. "24시간 버퍼를 유지함으로써 Amazon Kinesis는 우리에게 내결함성을 제공합니다. 그래서 정말로 걱정할 일이 거의 없습니다."

We Feel 팀은 연구 작업을 확장하고 Twitter 위치 데이터를 좀 더 잘 활용하여 위치와 감정 상태 간의 관계를 분석하는 길을 열기 위해 추가 자금을 조달할 계획입니다. 궁극적으로 "언제, 왜 그리고 어디에서" 주민 감정 변화가 일어나는지 좀 더 잘 이해하게 되면 BDI와 같은 조직이 정신 건강 정보 및 서비스의 대상을 좀 더 정확하게 파악할 수 있습니다. 이를 통해 가장 도움이 필요한 시점에 사람들에게 정신 건강 치료를 제공할 수 있을 것입니다.

"AWS 플랫폼이 제공하는 성능과 유연성이 없었다면 이 프로젝트는 불가능했을 것입니다."라고 Christensen 교수는 말합니다. "우리는 우리가 예상했던 것 이상의 결과를 얻을 수 있었습니다."

의료 서비스 공급업체에서 AWS를 어떻게 사용할 수 있는지 자세히 알아보려면 AWS 의료 서비스 상세 페이지로 이동하십시오.