Благодаря AWS мы тратим на инфраструктуру меньше времени, денег и нервов. Это позволяет уделять больше внимания контенту, качеству данных и распространению нашей информации о возобновляемой энергии среди мирового научного сообщества.
Йон Вирс Старший веб-разработчик

Национальная лаборатория по исследованию возобновляемых источников энергии (NREL) Министерства энергетики США (г. Голден, Колорадо) – это главная национальная лаборатория по исследованию возобновляемых источников энергии и энергоэффективности. В состав лаборатории входят национальные исследовательские центры и объекты для совместных исследований, изучающие ветряную энергию, биоэнергию и фотовольтаику (способ преобразования солнечной энергии в постоянный ток).

С тех пор как Административно-бюджетное управление Белого дома в 2009 году выпустило Директиву об открытом правительстве, портал OpenEI.org публикует и распространяет данные исследований из различных источников. В данный момент организации принадлежит несколько десятков публичных веб-сайтов, на которых публикуется последняя информация в области энергетики. Распространение информации и налаживание сотрудничества между учеными входят в число долгосрочных целей лаборатории NREL. «Многие исследователи хотят делиться информацией и сотрудничать с другими учеными в своей области. С помощью облачных решений мы можем легко предоставлять доступ к данным и способствовать взаимодействию», – говорит Крис Веббер, старший инженер по облачным технологиям NREL.

Когда в рамках программы по исследованию морской гидродинамики лаборатории NREL потребовался репозиторий данных для сотрудничества, она решила создать безопасную платформу для сбора, контроля, хранения и распространения чувствительных данных, ориентированную на исследованиях энергии воды. В рамках решения этой задачи NREL создала среду, прошедшую аккредитацию на среднем уровне ATO в соответствии с Федеральным законом США об управлении информационной безопасностью (FISMA). Эта аккредитация подтверждает, что NREL отвечает всем необходимым требованиям безопасности и может передавать информацию другим правительственным учреждениям и исследовательским организациям.

При подготовке к разработке новой инфраструктуры NREL понимала, что необходимо обеспечить гибкость и адаптивность. «Наша цель заключалась в том, чтобы упростить аналитикам и ученым процесс публикации информации и доступ к данным, но мы не хотели тратить свое время на управление инфраструктурой. Мы хотели сосредоточить внимание на самом продукте, на данных», – говорит Веббер. Например, NREL использует командный подход DevOps с акцентом на потребности клиентов и обеспечивает оптимизацию метаданных, с помощью которых исследователям проще найти нужную информацию. «Необходимо использовать правильное описание и ключевые слова, чтобы с легкостью направлять пользователей на другие исследовательские веб-сайты, – говорит Йон Вирс, старший веб-разработчик в NREL. – Если данные трудно найти, они бесполезны для исследователей».

NREL также хотела, чтобы новая среда среднего уровня была масштабируемой. «Мы хотели, чтобы все могли пользоваться сайтом, поэтому требовалась возможность его масштабирования в ответ на массовые запросы», – говорит Вирс. Кроме того, новая среда должна была быть безопасной, так как в ней использовались конфиденциальные данные.

В NREL поняли, что облачные технологии идеально подходят для удовлетворения всех этих требований. «У нас очень маленькая команда, а у наших клиентов ограниченный бюджет, поэтому требовалась возможность масштабировать ресурсы без больших вложений в инфраструктуру, – говорит Веббер. – Поэтому облако представляется нам идеальным вариантом для размещения репозиториев данных и других веб-сайтов».

Перед созданием среды среднего уровня ATO лаборатория NREL переместила свою открытую платформу для работы с данными OpenEI.org в Amazon Web Services (AWS). «Используя AWS, мы обеспечили высокую доступность, гибкость и масштабируемость для платформы OpenEI, и мы были уверены, что сможем достичь таких же результатов и для нашей новой платформы», – говорит Веббер. Кроме того, NREL привлекло то, что у Amazon есть аккредитация FISMA для среднего уровня ATO.

После принятия решения о расширенном использовании AWS лаборатория NREL спроектировала и запустила облачную среду среднего уровня. В этой среде размещаются платформа OpenEI и приложение с репозиторием данных о морской гидродинамике (MHKDR). Министерство энергетики использует MHKDR для сбора и безопасного хранения данных в течение определенного срока, а также предоставления доступа к ним для сотрудников министерства и других национальных лабораторий. Как только данные можно раскрыть, они становятся публично доступными для исследований. В облачной среде AWS среднего уровня ATO также размещена исследовательская база по геотермальной энергии и несколько веб-сайтов для сотрудничества и доступа к данным.

Для поддержки облачной среды среднего уровня лаборатория использует более 300 инстансов Amazon Elastic Compute Cloud (Amazon EC2) и сервис Elastic Load Balancing для распределения входящих запросов. Для оптимизации производительности интернет-приложений применяется Amazon DynamoDB, база данных NoSQL для приложений, допускающих задержку не более нескольких миллисекунд, и веб-сервис Amazon ElastiCache для развертывания и масштабирования кэша в памяти. ElastiCache позволяет улучшить производительность приложений NREL благодаря извлечению данных из быстрого кэша в памяти, а не из более медленной базы данных на диске.

Для создания безопасных частных сетей внутри своей среды NREL использует Amazon Virtual Private Cloud (Amazon VPC). Кроме того, организация использует корзины Amazon Simple Storage Service (Amazon S3) для хранения нескольких терабайтов исследовательских данных и Amazon Elastic Block Storage (Amazon EBS) в качестве блочного хранилища для MHKDR, OpenEI и базы данных по геотермальной энергии.

Группа облачных технологий в Стратегическом аналитическом центре по энергетическим вопросам работала совместно с Департаментом по информационным технологиям, чтобы обеспечить поддержку более 400 элементов управления ATO, создать документацию по ним и проверить общую безопасность системы. Доступ к открытым данным и всем связанным метаданным предоставляется через интерфейс, который показывает тип данных, описание и срок рассекречивания. Ожидается, что новый веб-сайт MHKDR будут посещать около 6000 пользователей в месяц. Метаданные с сайта MHKDR доступны партнерам по открытым данным, поэтому данные, хранящиеся в MHKDR, можно найти на таких сайтах, как science.gov, Data.gov или в индексе цитирования компании «Томсон Рейтер». Пользователи этих сайтов также получают доступ к данным MHKDR, поэтому количество скачиваний может увеличиваться в десятки раз.

Новая облачная среда AWS среднего уровня ATO обеспечивает команде по стратегическому анализу облачных технологий в NREL простой способ управления веб-сайтами MHKDR, OpenEI, а также сайтом о геотермальной энергии. «В AWS я могу управлять всеми параметрами с помощью одного API: проверять производительность, отслеживать стоимость, создавать новые виртуальные серверы и многое другое», – говорит Веббер. Его команда также может использовать этот API для эффективного управления средой. «У нас есть достаточная гибкость, чтобы легко отвечать на запросы клиентов», – говорит Вирс. Например, NREL может быстро запустить новый веб-сервер с сайтами для внутреннего анализа или создания прототипов, а также для удовлетворения внешних запросов. «Мы можем запустить новый веб-сайт за один день, в то время как раньше несколько недель уходило только на выделение хранилища и покупку и установку оборудования. Теперь мы можем выполнить это за несколько вызовов API».

NREL обладает достаточной масштабируемостью, чтобы быстро запускать виртуальные машины по мере добавления исследователями данных на веб-сайты организации. «Наши репозитории о морской гидродинамике и геотермальной энергии созданы для обмена информацией, и с помощью AWS мы делаем эту информацию доступной, – говорит Вирс. – Мы можем легко масштабировать эти веб-сайты для поддержки большого количества пользователей. Если завтра к нам подключатся еще 10 веб-сайтов, это не будет проблемой».

AWS также позволяет снизить расходы. «Наши кураторы данных стали работать меньше, – говорит Вирс. – При использовании прежней традиционной среды приходилось выполнять гораздо больше действий, чтобы запускать локальные виртуальные машины и управлять ими. Теперь этого делать не нужно, и мы наблюдаем снижение затрат на такую работу на 30 %».

Используя AWS для управления средой MHKDR, лаборатория NREL может сконцентрироваться на качестве данных. «Благодаря AWS мы тратим на инфраструктуру меньше времени, денег и нервов. Это позволяет уделять больше внимания контенту, качеству данных и распространению нашей информации о возобновляемой энергии среди мирового научного сообщества. Наши разработчики тратят время не на создание безопасных протоколов подключения, а на разработку инструментов работы с данными», – говорит Вирс.

Благодаря средствам управления безопасностью, реализованным в AWS и в NREL, среда ATO настолько же безопасна, как и внутренние серверы лаборатории. «Безопасность имеет первостепенное значение. Министерство энергетики приняло эту облачную среду, потому что их удовлетворяли наши протоколы безопасности, – говорит Веббер. – Наш отдел кибербезопасности помог нам разобраться более чем с 400 элементами управления ATO, и большинство этих элементов уже были добавлены в AWS, так как Amazon сама получила аккредитацию ATO. Это сильно ускорило переход в облако».

NREL уже переместила в новую облачную среду дополнительные интернет-приложения и будет продолжать этот процесс в дальнейшем. «Теперь мне несколько раз в неделю звонят исследователи и организации, заинтересованные в сотрудничестве, и узнают о возможности использования этой среды, – говорит Вирс. – Наша организация вскоре должна значительно расшириться. И все это благодаря AWS».

Дополнительную информацию о сертификациях Amazon Web Services в области безопасности и о других мерах обеспечения безопасности см. в Центре безопасности AWS.