Европейское космическое агентство (ЕКА) – это международная организация, объединяющая 20 государств. Ее цель – формировать направление развития европейского космического потенциала и обеспечить эффективность вложений в изучение космического пространства для жителей Европы и всего мира.

Программа Data User Elements (DUE), осуществляемая в Центре наблюдения Земли ЕКА (г. Фраскати, Италия), имеет целью продемонстрировать пользователям пользу продуктов и сервисов для наблюдения Земли. Программа DUE с помощью спутников собирает ценные данные о Земле.

Программа DUE предоставляет данные ученым, правительственным учреждениям и частным организациям всего мира. Эти данные используются для наблюдения за состоянием окружающей среды, повышения точности прогнозов погоды, содействия организациям по оказанию помощи при стихийных бедствиях и множества других целей.

Основная часть обработки данных в рамках программы DUE осуществляется на спутниках, но часть инфраструктуры для вычислений и хранения данных построена на базе сервисов AWS. Программа DUE использует Amazon Simple Storage Service (Amazon S3) для сохранения и извлечения изображений и других продуктов для конечных пользователей. Для управления файлами в Amazon S3 используется инструмент сторонних разработчиков, основанный на файловой системе s3fs (FUSE).

В сервисе Amazon Elastic Compute Cloud (Amazon EC2) запущена система сбора статистики, которая анализирует использование сервиса программы DUE. Для анализа журналов используется инструмент сторонних разработчиков AWStat. В будущем планируется расширить использование Amazon EC2 и включить в него приложения дистанционного зондирования.

DUE выбрала AWS из-за модели оплаты по факту использования, а также возможности быстрого запуска. Хосе Рамос, инженер компьютерных систем Центра наблюдения Земли, говорит: «Этапы реализации и развертывания нашей системы распространения и статистики прошли на удивление легко и быстро. Если покупать и самому устанавливать выделенное оборудование, обычно случаются задержки, но платформа AWS избавила нас от таких проблем и помогла уложиться в сжатые сроки».

Дополнительными преимуществами для DUE являются возможности легкого масштабирования и настройки. Простота использования сервисов не требует привлечения внешних экспертов для управления инфраструктурой. «С помощью AWS мы создали гибкую инфраструктуру для хранения данных, которую можем расширить до любых размеров, – объясняет Хосе Рамос. – Кроме того, решения AWS очень просты в использовании, поэтому мы можем управлять ими самостоятельно».

По заявлениям руководителей программы, в периоды пиковой нагрузки AWS обеспечивает доступность изображений и других продуктов DUE для 50 тысяч пользователей во всем мире. Объем одновременно предоставляемой информации может достигать 30 ТБ.

Специалисты DUE планируют продолжить сотрудничество с AWS для выполнения своей миссии по сбору данных о Земле. Рамос не перестает восхищаться платформой AWS: «Суметь реализовать все необходимое в рекордно коротки сроки и не беспокоиться о проблемах с производительностью – это какая-то сказка. Нам очень нравится простота использования и масштабируемость платформы AWS».

Чтобы подробнее узнать о том, как платформа AWS помогает собирать и хранить данные, посетите страницу с описанием работы с большими данными http://aws.amazon.com/big-data/.