Австралийское национальное агентство по вопросам науки, Организация Содружества по научным и промышленным исследованиям (CSIRO), вот уже более 85 лет расширяет границы возможного. В настоящее время эта многопрофильная научно-исследовательская организация имеет в своем штате свыше 5000 сотрудников, работающих в 55 австралийских и международных центрах. Организация играет ключевую роль в улучшении сотрудничества с австралийской национальной инновационной системой и играет роль доверенного советника для правительственных, промышленных и научных кругов. Она входит в один процент лучших международных научно-исследовательских институтов в 14 из 22 областей исследований и в лучшую 0,1 процента в четырех областях исследований. В совокупности инновации и высокие стандарты деятельности CSIRO позволяют поместить институт в десятку лучших организаций в мире по прикладным научным исследованиям.

Black Dog Institute (BDI), основанный в 2002 году, – это австралийская некоммерческая научная группа, занимающаяся исследованиями в области улучшения диагностики, лечения и профилактики различных аффективных расстройств. Ее целью является просвещение медицинских работников и широкой общественности в вопросах проблем психических заболеваний. Группа предоставляет через свой сайт широкий спектр ресурсов, включая фактические данные и специализированные анкеты. Например, врачи общей практики по всей Австралии направляют пациентов на прохождение разработанной BDI программы оценки настроения (MAP), которая анализирует тип личности и помогает отличить тревожные расстройства от биполярных расстройств, а также различить различные подтипы клинической депрессии. В состав BDI входят девять директоров, 12 психологов-консультантов и многочисленный вспомогательный персонал. Организация продолжает расти, привлекая ведущих экспертов в области психического здоровья и, параллельно с ними, новые гранты и награды. В 2013 году исполнительный директор BDI, профессор Хелен Кристенсен, была награждена престижной Медалью основателей австралийского общества психиатрических исследований.

Начиная с мая 2014 года BDI сотрудничает с CSIRO по вопросам использования социальных сетей для широкомасштабного мониторинга изменений в настроении населения. Исследование We Feel черпает данные из огромных массивов информации, в том числе миллионов сообщений, размещаемых каждый день в Twitter. CSIRO предложила провести исследование институту Black Dog Institute, что помогло доработать концепцию, прежде чем CSIRO ее реализовала.

Согласно предыдущему исследованию, проведенному бостонским Северо-восточным университетом, содержание и структуру сообщений в Twitter можно проанализировать и определить по ним эмоциональное состояние разместивших сообщения людей. Например, в исследовании, проведенном Центром сложных систем Вермонтского университета, было отобрано 5000 слов, наиболее часто используемых в ряде источников, включая Google-книги, статьи в газете New York Times и сообщения в Twitter. Эти слова были ранжированы в диапазоне значений от 1 (печаль) до 9 (счастье) и были использованы для установления соответствия между ощущением населением Америки благополучия и ассортиментом экстренных новостей.

Создатели исследовательского проекта We Feel хотели применить этот базовый подход для обработки приблизительно 19 000 общедоступных публикаций в Twitter в минуту, выделяя из них большое количество терминов, имеющих отношение к настроению. Ученые надеялись, что исследование поможет им понять, насколько сильно эмоции зависят от социальных факторов и параметров окружающей среды, таких как погода, время суток и текущие новости.

Чтобы достичь своей цели, разработчики проекта должны были решить три главные проблемы. Во-первых, огромный поток входящих данных потребовал бы применения большого объема гибких вычислительных мощностей, чтобы собирать публикации в режиме реального времени и анализировать результаты. Во-вторых, требовалось надежно архивировать данные, чтобы с течением времени можно было бы определить закономерности и опубликовать их. И наконец, важно было сделать полученные результаты доступными и понятными широкой публике. С этой целью требовалось найти способ визуализации полученных результатов в режиме реального времени, используя систему кодирования эмоций цветами, в которой применялся бы набор данных нормативных эмоциональных оценок, разработанный Центром исследования чтения Гентского университета в Бельгии.

Внимание команды We Feel сразу же привлекла платформа Amazon Web Services (AWS) и сервис Amazon Kinesis для обработки данных в режиме реального времени. «Мы знали, что AWS могла предоставить необходимую нам платформу и ресурсы, и это делало выбор AWS для проекта совершенно очевидным», – рассказывает д-р Сесиль Пэрис, руководитель научной группы языков и социальной инженерии инициативы Digital Productivity Flagship агентства CSIRO. AWS со своей стороны также увидела потенциал плодотворного сотрудничества и решила спонсировать проект, предоставив свои продукты в виде щедрого пакета помощи.

We Feel использует инстансы Amazon Elastic Compute Cloud (Amazon EC2) для захвата публикаций из общедоступного API Twitter со средней скоростью 19 000 сообщений в минуту. Отдельный инстанс Amazon EC2 обрабатывает публикации, анализирует имена пользователей, чтобы определить пол, и выявляет фразы, раскрывающие эмоциональное содержание. Информация загружается в поток Amazon Kinesis, и сообщения копируются в масштабируемое хранилище данных Amazon Simple Storage Service (Amazon S3) для длительного хранения. Мониторинг потока осуществляется другим инстансом Amazon EC2: этот инстанс каждые пять минут выдает сводку результатов и заносит ее в базу данных Amazon DynamoDB. Брайан Джин, программист и руководитель научного проекта в агентстве CSIRO, регулярно проверяет каждый инстанс с помощью сервиса Amazon CloudWatch, который позволяет ему осуществлять мониторинг сети на предмет аномальной активности. И наконец, для перенаправления сетевого трафика на сайт We Feel, тоже размещенный на AWS, используется сервис Amazon Route 53.

Команда We Feel получает текущее финансирование от CSIRO и использует AWS для анализа сотен миллионов публикаций в Twitter, прежде чем опубликовать результаты на своем веб-сайте. В результате удается получить невероятно подробное представление об эмоциональном состоянии разнообразных и многочисленных демографических групп. Посетители веб-сайта могут изучить зависимость результатов от пола, местоположения и эмоционального состояния. В настоящее время имеется шесть основных эмоциональных категорий, от радости до страха, а также подкатегории, соответствующие более тонким эмоциональным состояниям, например оптимизму или волнению.

«Это замечательный инструмент, – говорит д-р Пэрис. –  С помощью AWS мы смогли создать и запустить приложение всего за пару месяцев, и теперь с помощью него анализируем миллионы публикаций в режиме реального времени».

We Feel дает подробнейшее представление, позволяющее исследователям связать изменения в настроениях с социальным контекстом. «Например, мы смогли заметить интересные изменения в настроениях, связанные с принятием государственного бюджета Австралии в 2014 году, – делится д-р Пэрис. –  В течение следующей недели мы наблюдали 30-процентное увеличение публикаций, выражающих страх, и 27-процентное увеличение публикаций, выражающих недовольство. Такой анализ раньше никогда не делался».

Важно то, что использование вычислительных мощностей AWS позволило исследователям сосредоточиться на результатах их исследований, не беспокоясь об отказоустойчивости их ИТ-инфраструктуры. «В мае 2014 года мы пережили пик трафика: на сайте We Feel было зарегистрировано 28 000 посетителей за один из дней и 70 276 посетителей за весь месяц, – говорит Джин. –  Но никаких задержек при этом не было. С тех пор сохраняется коэффициент непрерывной работы 100 процентов, и только один день работали автономно из-за запланированной перестройки сети».

Джин особенно радует сервис Amazon Kinesis, использование которого, как она полагает, обеспечило быстроту реакции, требуемую для сбора и аннотирования больших объемов публикаций в Twitter в режиме реального времени. «Мы беспокоились, что система будет перегружена входящими данными, но никаких сбоев системы из-за таких изменений объемов не было, – рассказывает он. –  Amazon Kinesis предоставляет нам 24-часовой буфер на случай любого сбоя – так что нам почти не о чем беспокоиться».

Команда We Feel планирует привлечь дополнительные средства и распространить исследования на данные о местоположении из Twitter, после чего можно будет начать анализировать взаимозависимость местоположения и эмоционального состояния. В конечном счете перспективы лучшего понимания вопросов «что, где и когда» в отношении изменения настроений населения могут помочь таким организациям, как BDI, более точно выявлять информацию о психическом здоровье и более целенаправленно оказывать психиатрическую помощь. Это может улучшить психиатрическую помощь людям именно в то время, когда они в ней наиболее нуждаются.

«Без производительности и гибкости, предоставленных платформой AWS, этот проект просто невозможно было бы осуществить, – считает профессор Кристенсен. –  То, чего мы уже достигли, находится далеко за пределами наших ожиданий».

Подробнее об использовании платформы AWS поставщиками услуг в сфере здравоохранения см. на странице сведений о применении AWS в сфере здравоохранения.