Облачное хранилище файлов – это способ хранения файлов в облаке, позволяющий серверам и приложениям получать доступ к данным через совместно используемые файловые системы. Такая совместимость делает облачное хранилище файлов идеальным решением для рабочих нагрузок с совместно используемыми файловыми системами, и обеспечивает простую интеграцию без внесения изменений в код.

Файловая система в облаке – это иерархическая система хранения, предоставляющая совместный доступ к файловым данным. Она позволяет создавать, удалять, изменять, считывать и записывать файлы, а также упорядочивать их логически в древовидной системе директорий для интуитивно понятного доступа.

Общий доступ к файлам в облаке можно описать как сервис, предоставляющий множеству пользователей одновременный доступ к общему набору файловых данных в облаке. Безопасность общего доступа к файлам в облаке определяется разрешениями для отдельных пользователей и групп, что позволяет администраторам строго контролировать доступ к данным общих файлов.


Хранение файловых данных в облаке дает преимущества в трех главных областях.

1. Масштабируемость. Хотя не каждое решение облачного хранилища файлов можно масштабировать с использованием всех возможностей облака, наиболее продвинутые решения дают возможность начать работу на уровне производительности и ресурсов, актуальном на данный момент, а затем наращивать ресурсы в соответствии с потребностями. Больше не нужно предугадывать будущие потребности и выделять избыточные объемы ресурсов.

2. Совместимость. Многие существующие приложения требуют интеграции с сервисами для совместного доступа к файлам, которые используют семантику существующей файловой системы. Решения облачных файловых хранилищ обладают явным преимуществом, поскольку для обеспечения безопасного совместного доступа к файлам не требуется ничего программировать.

3. Бюджет и ресурсы. Работа файловых сервисов в локальном варианте требует расходов на приобретение оборудования, организации текущего обслуживания, обеспечения электропитания, охлаждения и физического пространства. Использование облачного файлового хранилища позволяет организациям перераспределять технические ресурсы в пользу других проектов, более значимых для бизнеса.

Облачное хранилище

Облачные файловые хранилища идеально подходят для таких рабочих нагрузок, как крупные репозитории контента, среды разработки, хранилища мультимедиа и домашние каталоги пользователей.

Решения файловых хранилищ в облаке обладают гибкостью, легко интегрируются с существующими приложениями; их просто развертывать и обслуживать; вопросы управления также решаются без особых усилий. Благодаря этому такие хранилища предоставляют возможность поддержки широкого спектра приложений на различных уровнях.

Распространение файлов через Интернет

Потребность в хранилище совместно используемых файлов для приложений, распространяющих файлы через Интернет, может привести к сложностям при интеграции серверных частей приложений. Как правило, существует несколько веб‑серверов, осуществляющих доставку контента веб‑сайта, причем каждый веб‑сервер нуждается в доступе к одному и тому же набору файлов. Поскольку решения для облачных хранилищ файлов поддерживают традиционную семантику файловой системы, соглашения об именах файлов и привычные для веб‑разработчиков разрешения, такое хранилище может легко обеспечить интеграцию нужных интернет‑приложений.

Управление контентом

Для системы управления контентом (CMS) требуется общее пространство имен и доступ к иерархии файловой системы. Как и в примере распространения файлов через Интернет, в средах CMS обычно имеется несколько серверов, которым для обслуживания контента необходим доступ к одному и тому же набору файлов. Поскольку решения для облачных хранилищ файлов поддерживают традиционную семантику файловой системы, соглашения об именах файлов и привычные для веб‑разработчиков разрешения, такие хранилища документов и других файлов можно легко интегрировать в существующие рабочие процессы CMS.

Аналитика больших данных

Для больших данных требуется хранилище, которое может выдерживать очень большие объемы данных и масштабироваться по мере роста потребностей, а также обеспечивать производительность, необходимую для доставки данных в инструменты аналитики. Многим аналитическим рабочим нагрузкам нужен файловый интерфейс для взаимодействия с данными и возможность записи в различные части файла. К тому же в таких процессах часто применяется стандартная семантика файлов, например блокировка. Поскольку облачное хранилище файлов поддерживает необходимую семантику файловых систем и позволяет масштабировать ресурсы и производительность, такое хранилище идеально подходит для решений по совместному использованию файлов, которые легко интегрировать в существующие рабочие процессы больших данных.

Средства массовой информации и индустрия развлечений

Рабочие процессы в сфере цифровых мультимедиа и индустрии развлечений постоянно меняются. Во многих случаях используются гибридные облачные развертывания и требуется стандартизованный доступ с использованием таких сетевых файловых протоколов, как NFS. Эти рабочие процессы требуют гибкого, стабильного и безопасного доступа к данным как из готовых, так и из специально разработанных или партнерских решений. Поскольку облачное хранилище файлов поддерживает традиционную семантику файловой системы, хранение мультимедийного контента для обработки и совместной работы можно легко интегрировать в цепочки поставок цифровых мультимедиа, в процессы создания контента, потоковой передачи мультимедиа, организации трансляций, аналитики и архивации.

Домашние каталоги

Использование для хранения файлов домашних каталогов, доступных только для определенных пользователей и групп, оптимально подходит для многих облачных рабочих процессов. Компании, которые рассчитывают воспользоваться преимуществами масштабируемости и экономичности облака, расширяют доступ к домашним каталогам для многих своих пользователей. Поскольку решения для облачных хранилищ файлов поддерживают традиционную семантику файловой системы и стандартные модели предоставления разрешений, клиенты могут легко перенести в облако приложения, для которых необходимы именно эти возможности.

Резервное копирование баз данных

Резервное копирование данных с использованием существующих механизмов, программного обеспечения и семантики можно использовать для создания сценария изолированного восстановления, обладающего небольшой гибкостью в отношении местоположения. Многие компании стремятся использовать гибкие возможности хранения в облаке для резервных копий баз данных в качестве временной защиты в процессе обновлений либо для решения вопросов разработки и тестирования. Поскольку решения для облачного хранения файлов предоставляют стандартную файловую систему, которую можно просто подключать к серверам баз данных, они могут стать идеальной платформой для создания портативных резервных копий баз данных с использованием встроенных инструментов или корпоративных приложений для резервного копирования.

Инструменты разработки

По ходу совместной работы по разработке инновационных решений в средах разработки могут возникать трудности в вопросах надежного и безопасного совместного использования данных. Когда требуется совместная работа с программным кодом и другими файлами, облачное хранилище файлов обеспечивает упорядоченный и безопасный репозиторий, доступ к которому можно просто получить из облачных сред разработки. Облачное хранилище файлов предоставляет масштабируемое и высокодоступное решение, идеально подходящее для совместной работы.

Контейнерное хранилище

Контейнеры идеально подходят для создания микросервисов, поскольку их просто выделять и перемещать, при этом они обеспечивают необходимую изоляцию процессов. Для контейнеров, которым необходим доступ к исходным данным при каждом запуске, может требоваться совместно используемая файловая система с возможностью подключения с любого используемого инстанса. Облачное хранилище файлов может обеспечить постоянный совместный доступ к данным для всех контейнеров в кластере. Используя бессерверные вычисления, можно проявить большую гибкость в работе и при этом не тратить время на обеспечение безопасности, масштабируемости и доступности приложений. AWS Lambda позволяет запускать крупномасштабные и критически важные бессерверные приложения. Облачное хранилище файлов предлагает высокодоступное и надежное бессерверное хранилище для обмена данными, которые необходимо сохранять после и в перерывах между выполнением функций AWS Lambda и задач AWS Fargate


Хорошее решение облачного файлового хранилища должно обеспечить производительность и пропускную способность, соответствующие текущим задачам, и возможность эффективно масштабировать их по мере изменения потребностей бизнеса.

Возможность масштабирования

Предоставляет полностью управляемую файловую систему, которую можно запустить за считаные минуты. 

Производительность

Обеспечивает стабильную пропускную способность и производительность с низкими задержками

Совместимость

Эффективно интегрируется с существующими приложениями без необходимости создания программного кода

Безопасность

Обеспечивает сетевую безопасность и управление разрешениями на доступ

Доступность

Доступность в любое нужное время за счет избыточного копирования в нескольких местоположениях

Экономичный

Оплате подлежат только потребляемые ресурсы; первоначальные затраты на приобретение отсутствуют


Преимущества облачных файловых хранилищ очевидны, но важно также отметить, что не все решения облачных хранилищ имеют одинаковые возможности. Вариантов великое множество. Например, решение для хранения файлов может представлять собой файловый сервер с одним узлом на вычислительном инстансе, где в качестве основы выступает не масштабируемое блочное хранилище с небольшим количеством избыточности для защиты данных. Другие варианты – это самостоятельно настраиваемые кластерные решения, при использовании которых необходимо тратить время на установку, управление и обслуживание. А есть и полностью управляемые решения, такие как Amazon Elastic File System (Amazon EFS), Amazon FSx for NetApp ONTAP, Amazon FSx for OpenZFSAmazon FSx for Windows File Server и Amazon FSx for Lustre, которые нуждаются в минимальной настройке и обслуживании и отвечают запросам наиболее требовательных рабочих нагрузок приложений.

Использовать облачное хранилище файлов можно одним из двух способов: посредством полностью управляемых решений с минимальной настройкой и практически без обслуживания или через самостоятельно настраиваемые решения, для которых отдельно выделяются вычислительные ресурсы, хранилище, ПО и лицензии, причем во втором случае необходимо наличие опытного персонала для настройки и технического обслуживания. Amazon EFSAmazon FSx for NetApp ONTAPAmazon FSx for OpenZFSAmazon FSx for Windows File Server и Amazon FSx for Lustre – это полностью управляемые решения, которые предлагают простое масштабируемое файловое хранилище для вычислительных моделей AWS, включая контейнеры AWS бессерверные вычисления, а также для локальных примеров использования.

Существует три типа облачных хранилищ: объектные, файловые и блочные. Каждый тип имеет свои уникальные преимущества.

1. Объектное хранилище. Для приложений, разработанных в облаке, как правило, требуются такие преимущества объектного хранилища, как широкие возможности масштабирования и характеристики метаданных. Объектные хранилища, например Amazon Simple Storage Service (Amazon S3), идеально подходят для разработки с нуля современных приложений, которым требуется гибкость и возможность масштабирования. Кроме того, эти хранилища можно использовать для импорта данных из существующих хранилищ с целью анализа, резервного копирования или архивации.

2. Файловые хранилища. Многим приложениям требуется доступ к совместно используемым файлам и файловая система. Данный тип хранилища часто поддерживается сервером хранилищ, подключенным к сети (NAS). Решения для хранения файлов, например Amazon Elastic File System (EFS), Amazon FSx for NetApp ONTAP, Amazon FSx for OpenZFSAmazon FSx for Windows File Server и Amazon FSx for Lustre, идеально подходят для использования в крупных репозиториях контента, средах для разработок, машинного обучения, задач по обработке данных, хранилищах мультимедиа и домашних каталогах пользователей. Сервис Amazon FSx for Lustre прекрасно подходит для высокопроизводительных вычислений.

3. Блочные хранилища. Другие корпоративные приложения, например базы данных или системы планирования ресурсов предприятия (ERP), часто нуждаются в выделенном хранилище с низкими задержками для каждого хоста. Такое хранилище работает аналогично хранилищу с прямым подключением (DAS) или сети хранения данных (SAN). Решения облачных хранилищ на основе блоков, такие как Amazon Elastic Block Store (EBS), выделяют хранилище для каждого виртуального сервера и обеспечивают сверхнизкую задержку для рабочих нагрузок, требующих высокой производительности.

Хотя объектные хранилища позволяют хранить файлы как объекты, доступ к ним из существующих приложений требует нового программного кода и использования API, а также достоверного знания семантики пространства имен. Решения файловых хранилищ, которые поддерживают семантику и модели разрешений существующей файловой системы, имеют явное преимущество в том, что не требуют нового программного кода для интеграции с приложениями, которые просто настраиваются для работы с хранилищем совместно используемых файлов.

Блочное хранилище можно использовать в качестве базового компонента хранилища для самостоятельно управляемого решения хранилища файлов. Однако необходимость взаимно‑однозначного соответствия между узлом и томом затрудняет масштабирование, обеспечение доступности и экономичности, присущей полностью управляемым решениям. К тому же для поддержки решения на основе блочного хранилища требуются дополнительные расходы и ресурсы управления. С помощью полностью управляемого облачного хранилища файлов можно устранить сложности, снизить затраты и упростить управление.

В мире существует огромное количество файловых данных, и AWS предоставляет полностью управляемые сервисы для управления файловой системой, которые помогут вам легко удовлетворить разнообразные потребности ваших файловых приложений и рабочих нагрузок.

Для многих организаций требуется высокий уровень доступности критически важных бизнес-приложений, и многие из этих приложений используют общее хранилище файлов. Миграция этих приложений в облако обеспечивает масштабируемость, высокую доступность и долговечность, безопасность и снижение затрат при одновременном повышении гибкости.

AWS предлагает сервисы для хранения файлов, оптимизированные для ваших приложений и примеров использования.

  • Amazon EFS – это простая, бессерверная эластичная файловая система, не требующая постоянного контроля, которая позволяет совместно использовать файловые данные для разнообразных приложений на базе Linux без необходимости в предоставлении хранилища или его обслуживании.
  • Amazon FSx for NetApp ONTAP предлагает полностью управляемое высоконадежное, масштабируемое, высокопроизводительное общее хранилище для рабочих нагрузок на Linux, Windows и MacOS.
  • Amazon FSx for OpenZFS предоставляет полностью управляемое хранилище общих файлов на основе файловой системы OpenZFS, работающее на базе процессоров семейства AWS Graviton и доступное по протоколу NFS (версии 3, 4, 4.1, 4.2).
  • Amazon FSx for Windows File Server предоставляет полностью управляемую файловую систему с оптимизацией для Windows с функциями и производительностью, которая отлично подходит для бизнес-приложений на базе Windows.
  • Amazon FSx for Lustre предназначен для приложений, требующих больших вычислительных мощностей, например высокопроизводительных вычислений. Amazon FSx for Lustre позволяет легко обрабатывать данные с помощью файловой системы, оптимизированной по производительности и стоимости для коротких и ресурсоемких заданий обработки. Входные и выходные данные хранятся в Amazon S3.