Csiro_Customer-Reference_Logo@2x

Пример использования: Black Dog Institute и CSIRO

2015 г.

Австралийское национальное агентство по вопросам науки, Организация Содружества по научным и промышленным исследованиям (CSIRO), вот уже более 85 лет расширяет границы возможного. В настоящее время эта многопрофильная научно-исследовательская организация имеет в своем штате свыше 5000 сотрудников, работающих в 55 австралийских и международных центрах. Организация играет ключевую роль в улучшении сотрудничества с австралийской национальной инновационной системой и играет роль доверенного советника для правительственных, промышленных и научных кругов. Она входит в один процент лучших международных научно-исследовательских институтов в 14 из 22 областей исследований и в лучшую 0,1 процента в четырех областях исследований. В совокупности инновации и высокие стандарты деятельности CSIRO позволяют поместить институт в десятку лучших организаций в мире по прикладным научным исследованиям.

Black Dog Institute (BDI), основанный в 2002 году, – это австралийская некоммерческая научная группа, занимающаяся исследованиями в области улучшения диагностики, лечения и профилактики различных аффективных расстройств. Ее целью является просвещение медицинских работников и широкой общественности в вопросах проблем психических заболеваний. Группа предоставляет через свой сайт широкий спектр ресурсов, включая фактические данные и специализированные анкеты. Например, врачи общей практики по всей Австралии направляют пациентов на прохождение разработанной BDI программы оценки настроения (MAP), которая анализирует тип личности и помогает отличить тревожные расстройства от биполярных расстройств, а также различить различные подтипы клинической депрессии. В состав BDI входят девять директоров, 12 психологов-консультантов и многочисленный вспомогательный персонал. Организация продолжает расти, привлекая ведущих экспертов в области психического здоровья и, параллельно с ними, новые гранты и награды. В 2013 году исполнительный директор BDI, профессор Хелен Кристенсен, была награждена престижной Медалью основателей австралийского общества психиатрических исследований.

начать обучение python
CustomerReferences_QuoteMark

«Это замечательный инструмент. С помощью AWS мы смогли создать и запустить приложение всего за пару месяцев, и теперь с помощью него анализируем миллионы публикаций в режиме реального времени».

Д‑р Сесиль Пэрис,
руководитель научной группы языков и социальной инженерии CSIRO

Задачи

Начиная с мая 2014 года BDI сотрудничает с CSIRO по вопросам использования социальных сетей для мониторинга масштабных изменений настроения. Исследование We Feel черпает данные из огромных массивов информации, в том числе миллионов сообщений, размещаемых каждый день в Twitter. CSIRO предложила провести исследование институту Black Dog Institute, что помогло доработать концепцию, прежде чем CSIRO ее реализовала.

Согласно предыдущему исследованию, проведенному бостонским Северо-восточным университетом, содержание и структуру сообщений в Twitter можно проанализировать и определить по ним эмоциональное состояние разместивших сообщения людей. Например, в исследовании, проведенном Центром сложных систем Вермонтского университета, было отобрано 5000 слов, наиболее часто используемых в ряде источников, включая Google-книги, статьи в газете New York Times и сообщения в Twitter. Эти слова были ранжированы в диапазоне значений от 1 (печаль) до 9 (счастье) и были использованы для установления соответствия между ощущением населением Америки благополучия и ассортиментом экстренных новостей.

Создатели исследовательского проекта We Feel хотели применить этот базовый подход для обработки приблизительно 19 000 общедоступных публикаций в Twitter в минуту, выделяя из них большое количество терминов, имеющих отношение к настроению. Ученые надеялись, что исследование поможет им понять, насколько сильно эмоции зависят от социальных факторов и параметров окружающей среды, таких как погода, время суток и текущие новости.

Чтобы достичь своей цели, разработчики проекта должны были решить три главные проблемы. Во-первых, огромный поток входящих данных потребовал бы применения большого объема гибких вычислительных мощностей, чтобы собирать публикации в режиме реального времени и анализировать результаты. Во-вторых, требовалось надежно архивировать данные, чтобы с течением времени можно было бы определить закономерности и опубликовать их. И наконец, важно было сделать полученные результаты доступными и понятными широкой публике. С этой целью требовалось найти способ визуализации полученных результатов в режиме реального времени, используя систему кодирования эмоций цветами, в которой применялся бы набор данных нормативных эмоциональных оценок, разработанный Центром исследования чтения Гентского университета в Бельгии.

Почему Amazon Web Services

Внимание команды We Feel сразу же привлекла платформа Amazon Web Services (AWS) и сервис Amazon Kinesis для обработки данных в режиме реального времени. «Мы знали, что облако AWS предоставляет нужные нам возможности и платформу. Разумеется, мы выбрали AWS для своих проектов», – говорит д-р Сесиль Пэрис, руководитель научной группы языков и социальной инженерии инициативы Digital Productivity Flagship агентства CSIRO. AWS со своей стороны также увидела потенциал плодотворного сотрудничества и решила спонсировать проект, предоставив свои продукты в виде щедрого пакета помощи.

We Feel использует инстансы Amazon Elastic Compute Cloud (Amazon EC2) для захвата публикаций из общедоступного API Twitter со средней скоростью 19 000 сообщений в минуту. Отдельный инстанс Amazon EC2 обрабатывает публикации, анализирует имена пользователей, чтобы определить пол, и выявляет фразы, раскрывающие эмоциональное содержание. Информация загружается в поток Amazon Kinesis, и сообщения копируются в масштабируемое хранилище данных Amazon Simple Storage Service (Amazon S3) для длительного хранения. Мониторинг потока осуществляется другим инстансом Amazon EC2: этот инстанс каждые пять минут выдает сводку результатов и заносит ее в базу данных Amazon DynamoDB. Брайан Джин, программист и руководитель научного проекта в агентстве CSIRO, регулярно проверяет каждый инстанс с помощью сервиса Amazon CloudWatch, который позволяет ему осуществлять мониторинг сети на предмет аномальной активности. И наконец, для перенаправления сетевого трафика на сайт We Feel, тоже размещенный на AWS, используется сервис Amazon Route 53.

Преимущества

Команда We Feel получает текущее финансирование от CSIRO и использует AWS для анализа сотен миллионов публикаций в Twitter, прежде чем опубликовать результаты на своем веб-сайте. В результате удается получить невероятно подробное представление об эмоциональном состоянии разнообразных и многочисленных демографических групп. Посетители веб-сайта могут изучить зависимость результатов от пола, местоположения и эмоционального состояния. В настоящее время имеется шесть основных эмоциональных категорий, от радости до страха, а также подкатегории, соответствующие более тонким эмоциональным состояниям, например оптимизму или волнению.

«Это замечательный инструмент, – говорит д-р Пэрис. – С помощью AWS мы смогли создать и запустить приложение всего за пару месяцев, и теперь с помощью него анализируем миллионы публикаций в режиме реального времени».

We Feel дает подробнейшее представление, позволяющее исследователям связать изменения в настроениях с социальным контекстом. «Например, мы смогли заметить интересные изменения в настроениях, связанные с принятием государственного бюджета Австралии в 2014 году, – делится д-р Пэрис. – В течение следующей недели мы наблюдали 30-процентное увеличение публикаций, выражающих страх, и 27-процентное увеличение публикаций, выражающих недовольство. Такой анализ раньше никогда не делался».

Важно то, что использование вычислительных мощностей AWS позволило исследователям сосредоточиться на результатах их исследований, не беспокоясь об отказоустойчивости их ИТ-инфраструктуры. «В мае 2014 года мы пережили пик трафика: на сайте We Feel было зарегистрировано 28 000 посетителей за один из дней и 70 276 посетителей за весь месяц, – говорит Джин. – Но никаких задержек при этом не было. С тех пор сохраняется коэффициент непрерывной работы 100 процентов, и только один день работали автономно из-за запланированной перестройки сети».

Джин особенно радует сервис Amazon Kinesis, использование которого, как она полагает, обеспечило быстроту реакции, требуемую для сбора и аннотирования больших объемов публикаций в Twitter в режиме реального времени. «Мы беспокоились, что система будет перегружена входящими данными, но никаких сбоев системы из-за таких изменений объемов не было, – рассказывает он. – Amazon Kinesis предоставляет нам 24-часовой буфер на случай любого сбоя – так что нам почти не о чем беспокоиться».

Команда We Feel планирует привлечь дополнительные средства и распространить исследования на данные о местоположении из Twitter, после чего можно будет начать анализировать взаимозависимость местоположения и эмоционального состояния. В конечном счете перспективы лучшего понимания вопросов «что, где и когда» в отношении изменения настроений населения могут помочь таким организациям, как BDI, более точно выявлять информацию о психическом здоровье и более целенаправленно оказывать психиатрическую помощь. Это может улучшить психиатрическую помощь людям именно в то время, когда они в ней наиболее нуждаются.

«Без производительности и гибкости, предоставленных платформой AWS, этот проект просто невозможно было бы осуществить, – считает профессор Кристенсен. – То, чего мы уже достигли, находится далеко за пределами наших ожиданий».


Об агентстве CSIRO

Австралийское национальное агентство по вопросам науки, Организация Содружества по научным и промышленным исследованиям (CSIRO), вот уже более 85 лет расширяет границы возможного.

Об институте Black Dog Institute

Black Dog Institute (BDI), основанный в 2002 году, – это австралийская некоммерческая научная группа, занимающаяся исследованиями в области улучшения диагностики, лечения и профилактики различных аффективных расстройств.

Преимущества AWS

  • Анализ сотен миллионов твитов в режиме реального времени
  • Запущено приложений за месяцы
  • Практически полное отсутствие простоев

Использованные сервисы AWS

Amazon S3

Amazon Simple Storage Service (Amazon S3) – это сервис хранения объектов, предлагающий лучшие в отрасли показатели производительности, масштабируемости, доступности и безопасности данных. 

Подробнее »

Amazon Kinesis

С помощью Amazon Kinesis можно просто собирать, обрабатывать и анализировать потоковые данные в режиме реального времени, чтобы своевременно получать аналитические результаты и быстро реагировать на новую информацию.

Подробнее >>

Amazon EC2

Вычислительное облако Amazon Elastic Compute Cloud (Amazon EC2) – это веб‑сервис, предоставляющий безопасные масштабируемые вычислительные ресурсы в облаке.

Подробнее >>

Amazon DynamoDB

Amazon DynamoDB – это база данных пар «ключ-значение» и документов, обеспечивающая задержку менее 10 миллисекунд при работе в любом масштабе.

Подробнее >>


Начать работу

Ежедневно компании всех размеров и из всех отраслей радикально модернизируют свой образ ведения дел с помощью AWS. Свяжитесь с нашими специалистами и начните переход в облако AWS уже сегодня.