Больше файлов – больше проблем?

Практически всем крупным компаниям, независимо от отрасли, приходится хранить файлы: резервные копии, медиаконтент или пакеты данных приложений для тех или иных вертикалей. Управление локальной инфраструктурой и ее масштабирование для обеспечения онлайн‑хранения и распространения таких резервных копий и файлов контента часто является трудоемким затратным процессом, для которого требуется дорогостоящее обновление и расширение парка оборудования, а также лицензирование программного обеспечения. Подобные крупные хранилища файловых данных могут располагаться на специализированных файловых серверах, в хранилищах NAS или системах резервного копирования, что ограничивает доступ к ним приложений для анализа больших данных или обработки мультимедиа.

Файловый интерфейс AWS Storage Gateway (файловый шлюз) предлагает эффективный способ подключения к облаку для хранения файлов с данными приложений и образов резервных копий в качестве постоянных объектов в облачном хранилище Amazon S3. Файловый шлюз обеспечивает доступ к данным на сервере Amazon S3 по протоколу NFS или SMB с использованием локального кэширования. Его можно применять для локальных приложений и для приложений, работающих в Amazon EC2, которым требуется файловое хранилище сервиса S3 для выполнения процессов с использованием объектов.

Демонстрационное видео. File Storage on Amazon S3 with Multi‑site Access (6:32)

Причины использовать для хранения файлов AWS Storage Gateway и Amazon S3

Простое подключение к гибридному облаку

Традиционные интерфейсы на основе SMB, NFS или API сервиса S3

Доступ и распространение по всему миру

Возможности масштабирования и гибкость AWS

После перемещения данных через файловый шлюз в хранилище Amazon S3 можно использовать собственные сервисы AWS через API для управления этими данными и выполнения с ними различных операций, включая анализ. Кроме того, используя корзину Amazon S3, можно распространять эти данные в другие регионы по всему миру с помощью межрегиональной репликации данных, использовать инструменты управления хранилищем, а также политики управления жизненным циклом, чтобы перенести файлы на архивный уровень облачного хранилища Amazon Glacier. Можно даже развертывать дополнительные файловые шлюзы для доступа к данным из разных мест.

Примеры использования файлового шлюза

Онлайн‑хранилище контента

С помощью файлового шлюза можно экономично и надежно хранить большие файлы и мультимедийные ресурсы на AWS. При работе с часто используемым контентом локально расположенные приложения получают преимущество низкой задержки локального кэша. В результате образуется многоуровневое гибридное облачное хранилище контента, к которому локальные приложения могут просто получать доступ через NFS или SMB, где бы ни были выполнены развертывания устройств шлюзов (включая развертывание в Amazon EC2). Storage Gateway автоматически сохраняет метаданные файла как метаданные объекта, а также запоминает структуру каталогов, включая ее в имя объекта. Работать с контентом, который хранится в Amazon S3, можно с помощью облачных сервисов на основе API. К примеру, можно автоматически изменять размер изображений с помощью функции AWS Lambda или индексировать файлы в Amazon Elasticsearch Service.

Резервное копирование в облако

Многие организации начинают работу с облачными серверами, перемещая туда вторичные и третичные данные, например резервные копии. Интерфейсы SMB и NFS, используемые в файловом шлюзе, позволяют ИТ‑подразделениям эффективно перемещать резервные копии из существующих локальных систем резервного копирования в облако. Приложения для резервного копирования, встроенные инструменты баз данных или скрипты, способные выполнять запись по протоколам SMB и NFC, могут передавать данные в файловый шлюз, который будет сохранять резервные копии объемом до 5 ТиБ в качестве объектов Amazon S3. С локальным кэшем подходящего объема недавно созданные резервные копии могут быть использованы для быстрого восстановления на местах, при этом потребности в долгосрочном хранении удовлетворяются путем распределения резервных копий по экономичным уровням хранилищ S3 Standard, S3 Infrequent Access и Amazon Glacier.

Большие данные, машинное обучение и обработка данных

Файловый шлюз упрощает работу подразделений бизнес‑аналитики, анализа и других отделов, использующих машинное обучение, позволяя быстро перемещать файловые данные в Amazon S3. Впоследствии они могут использовать эти данные для анализа с помощью запросов без извлечения через такие сервисы, как Amazon Athena и Amazon Redshift Spectrum, либо загружать данные в другие облачные инструменты, такие как Amazon EMR, для обработки на основе Hadoop. После анализа итоговые наборы данных можно сохранить в той же корзине, и сервис Storage Gateway сделает эти новые файлы результатов (объекты) видимыми для локальных приложений, где бы ни было выполнено развертывание файлового шлюза.

Кроме того, с помощью файлового шлюза можно использовать простые вычислительные функции AWS Lambda, чтобы обрабатывать файловые данные, которые хранятся в S3, или даже применять к этим данным сервисы машинного обучения, например использовать возможности Amazon Rekognition для анализа изображений или обнаружения неприемлемого контента.

Приложения отраслевых вертикалей

В различных отраслях, включая нефтегазовую, СМИ и индустрию развлечений, дизайн и архитектуру, а также производство, используются узкопрофильные приложения, которые создают большие специализированные файлы. Такие файлы часто требуется распространять или, как минимум, предоставлять к ним доступ из нескольких мест. Со временем большинство из этих файлов начинает использоваться редко, их можно хранить в более экономичном, но надежном облачном онлайн‑хранилище, если они не будут архивированы. Файловый шлюз позволяет подобным локальным приложениям из различных мест обращаться к сервисам Amazon S3 и Amazon Glacier для хранения файлов. Он также позволяет переносить такие приложения, работающие с файлами, в Amazon EC2, предоставляя центральный, доступный в любой точке мира репозиторий на основе объектного хранилища Amazon S3.

Результаты использования файлового шлюза и AWS

Результаты для ИТ

  • Снижение влияния инфраструктуры ЦОД; сокращение стеков хранения и резервного копирования.
  • Возможность сосредоточиться на стратегических инициативах, приложениях, оптимальных архитектурных решениях и гибкой эффективной эксплуатации.
  • Сокращение операционной нагрузки при обслуживании и обновлении аппаратных ресурсов.
  • Глобальное масштабирование с простым обеспечением избыточности без управления инфраструктурой.
  • Сохранность данных: облачные хранилища Amazon S3 и Amazon Glacier обеспечивают сохранность на уровне 99,999999999 %.

Результаты для бизнеса

  • Гибкое развитие бизнеса.
  • Переход на модель операционных расходов или приобретения по факту использования, которую можно согласовать с темпами развития бизнеса.
  • Избавление от больших и внезапных капитальных расходов.
  • Снижение общей стоимости хранения и обработки данных.
  • Уверенность в безопасности и сохранности важных данных с соблюдением всех необходимых требований.
«Наша комплексная цифровая стратегия позволяет воспользоваться огромным потенциалом исследований матричной РНК при разработке революционных лекарственных препаратов, предназначенных для лечения различных заболеваний, благодаря чему на фоне прочих биотехнологических компаний мы демонстрируем наиболее заметный рост. Эффективная интеграция и оркестрация облачных ИТ‑систем имеет первостепенное значение при управлении и индустриализации комплексного планирования, а также масштабировании исследований матричной РНК на каждом этапе разработки лекарственных препаратов. Сервис AWS Storage Gateway коренным образом меняет принцип перемещения данных в облако. Файловый интерфейс позволяет просто интегрировать файлы данных, полученные из аналитических инструментов, а прозрачное хранилище S3 обеспечивает удобное подключение к облачным приложениям и широкие возможности хранения данных сервиса S3. С файловым шлюзом AWS мы можем полностью задействовать мощность AWS при обработке инструментальных данных».

Дейв Джонсон, доктор наук, директор, Informatics – Moderna Therapetuics

Подробнее о ценах на AWS Storage Gateway

Перейти на страницу цен
Готовы приступить к разработке?
Начать работу с AWS Storage Gateway
Есть вопросы?
Свяжитесь с нами