В 2009 году был запущен высокопроизводительный вычислительный комплекс Центра медицинской информатики и биоинформатики при Нью-Йоркском университете, благодаря которому научные сотрудники Медицинского центра имени Лангона при Нью-Йоркском университете получили передовые вычислительные возможности. Этот комплекс позволил специалистам в области медицинской информатики и биоинформатики ускорить научные изыскания и инновационные разработки благодаря доступу к вычислительным мощностям, хранилищам данных, суперкомпьютерным ресурсам и возможности обмениваться данными с коллегами по всему миру.

Доктор Стратос Эфстатиадис, технический директор высокопроизводительного вычислительного комплекса, описывает его основную деятельность следующим образом: «Наш комплекс получает колоссальные объемы данных с ультрасовременных секвенаторов, микроскопов, слайдовых сканеров, масс-спектрометров и других исследовательских инструментов. Он должен хранить, отбирать, обслуживать эти данные и обеспечивать возможность их анализа, а также предоставлять исследователям ресурсы для симуляций и моделирования.

Такие задачи по анализу и имитационному моделированию часто занимают дни, а то и недели». Таким образом, хотя комплекс является самым крупным в своем роде среди медицинских центров, иногда возникает потребность в дополнительных вычислительных ресурсах, чтобы исследователи могли быстрее анализировать данные.

Время передачи данных представляет еще большую проблему, чем скорость их анализа. Эфстатиадис отмечает: «Передача данных является серьезным препятствием; мы оперируем чрезвычайно большими массивами данных, и на их перемещение часто уходит больше времени, чем на создание. У нас есть сотрудники по всему миру, и они не могут использовать данные, если мы не можем их передать».

Облако AWS в сочетании с бесплатным сервисом передачи файлов Globus Online, который размещен на платформе AWS и использует ее ресурсы, – это надежный способ передачи больших массивов данных на инстансы Amazon EC2. Это решение позволяет осуществлять параллельную передачу файлов на скоростях до 50 мегабайт в секунду. Эфстатиадис отмечает: «Это сопоставимо со скоростью передачи по нашей локальной сети – и скорость никогда не падает!»

Доктор Эфстатиадис решил использовать платформу AWS из-за большого выбора инстансов Amazon EC2, тем более что научные сотрудники Центра были уже знакомы с сервисом. «Кроме того, – добавляет Эфстатиадис, – поскольку Globus Online позволяет легко передавать файлы на инстансы Amazon EC2, это удобный способ помещения наших больших массивов данных в облачную среду, чтобы сделать их доступными для научных работников». По словам Эфстатиадиса, другие средства, такие как SCP, «работают медленно или блокируются брандмауэрами университета, что ограничивает выбор типов инструментов. Globus Online – это повышенная пропускная способность без уменьшения удобства использования».

Вычислительный комплекс также использует сервис Amazon S3 для хранения данных. Доктор Эфстатиадис объясняет: «Globus Online позволяет легко перемещать данные из локального хранилища в хранилище Amazon S3. Для этого развертывается образ сервера и устанавливается адрес Globus Online, куда перемещаются данные».

Благодаря использованию облака комплекс высокопроизводительных вычислений (HPC) расширил спектр услуг для научных сотрудников Нью-Йоркского университета, которые теперь могут получать доступ к нужным ресурсам в любое время. Облако также способствует сотрудничеству между исследователями; с помощью сервиса Amazon S3 они с легкостью обмениваются полученными результатами и массивами данных с другими научными работниками по всему миру.

Обмен данными является важной составляющей. Эфстатиадис отмечает: «Наши научные сотрудники поддерживают связь с множеством коллег из других учреждений; если загрузить данные в Amazon S3, исследователи в других местах смогут получать к ним доступ и использовать в своей работе. Таким образом, благодаря этому решению научные сотрудники Нью-Йоркского университета ускоряют процессы анализа в собственной работе и помогают другим исследователям делать то же самое».

HPC-комплекс Центра медицинской информатики и биоинформатики при Нью-Йоркском университете постоянно работает над тем, чтобы сделать проведение научных исследований менее сложным и затратным. Использование облака помогает стать ближе к цели – получить масштабируемые вычислительные ресурсы, которые превосходили бы возможности любого отдельно взятого локального вычислительного центра.

Подробнее о геномике в облаке см. на странице сведений об использовании платформы AWS в геномике.

Подробнее о том, как AWS может помочь с высокопроизводительными вычислениями, см. на странице высокопроизводительных вычислений на AWS.