Вопрос: Что такое Amazon Elastic File System?

Amazon EFS – это полностью управляемый сервис, который позволяет легко настраивать и масштабировать файловое хранилище в облаке Amazon. С помощью нескольких щелчков мышью в Консоли управления AWS можно создать файловые системы, которые будут доступны для инстансов Amazon EC2 через интерфейс файловой системы (с использованием API ввода-вывода файлов стандартной операционной системы), который поддерживает полную семантику доступа к файловой системе (например, строгую непротиворечивость и блокировку файлов).

Файловые системы Amazon EFS обеспечивают автоматическое масштабирование от нескольких гигабайтов до петабайтов данных без необходимости предоставления хранилища. Десятки, сотни или даже тысячи инстансов Amazon EC2 могут одновременно получать доступ к файловой системе Amazon EFS, при этом Amazon EFS обеспечивает стабильную производительность для каждого инстанса Amazon EC2. Система Amazon EFS отличается высокой доступностью и надежностью. С Amazon EFS вы платите только за реально используемый объем хранилища файлов, минимальные взносы и стартовые платежи отсутствуют.

 

Вопрос: Для каких задач предназначен сервис Amazon EFS?

Сервис Amazon EFS предназначен для обеспечения производительности широкого спектра рабочих нагрузок и приложений, включая обработку и анализ больших данных, обработку потоков мультимедийных данных, управление контентом и распространение файлов через Интернет, а также домашние каталоги.

 

Вопрос: В каких случаях следует Amazon EFS вместо таких сервисов, как Amazon Simple Storage Service (S3) или Amazon Elastic Block Store (EBS)?

Amazon Web Services (AWS) предлагает сервисы облачного хранения данных для различных рабочих нагрузок, связанных с хранением данных.

Amazon EFS – это сервис файлового хранилища для использования с Amazon EC2. Сервис Amazon EFS предоставляет интерфейс файловой системы, семантику доступа к файловой системе (например, строгую непротиворечивость и блокировку файлов), а также хранилище, которое одновременно доступно тысячам инстансов Amazon EC2.

Amazon EBS – это сервис блочного хранилища для использования с Amazon EC2. Amazon EBS может обеспечить производительность для рабочих нагрузок, которым требуется наименьшая задержка при доступе к данным из одного инстанса EC2.

Amazon S3 – это сервис объектного хранилища. Сервис Amazon S3 с помощью API обеспечивает доступ к данным через Интернет, т. е. из любой точки.

 

Вопрос: Где хранятся мои данные?

Дополнительные сведения о доступности сервиса Amazon EFS по регионам см. в таблице регионов.

 

Вопрос: Как начать работу с Amazon EFS?

Для использования сервиса Amazon EFS необходимо иметь аккаунт Amazon Web Services. Если у вас еще нет аккаунта AWS, вы можете создать его, нажав на кнопку «Попробовать уровень бесплатного пользования» на странице сведений Amazon EFS.

После создания аккаунта AWS обратитесь к руководству по началу работы с Amazon EFS, чтобы начать использовать Amazon EFS. Файловую систему можно создать с помощью Консоли управления AWS, интерфейса командной строки (CLI) AWS, а также API Amazon EFS (и различных SDK для конкретных языков).

 

Вопрос: Как получить доступ к файловой системе из инстанса Amazon EC2?

Для доступа к файловой системе необходимо осуществить подключение файловой системы к инстансу Amazon EC2 на базе Linux, используя стандартную команду подключения Linux и имя DNS файловой системы. После подключения вы можете работать с файлами и каталогами в файловой системе так же, как и при работе с локальной файловой системой.

Amazon EFS использует протокол NFSv4.1. Для примера получения доступа к файловой системе из инстанса Amazon EC2 с пошаговым описанием обратитесь к Руководству по началу работы с Amazon EFS.

 

Вопрос: Какие типы инстансов Amazon EC2 и AMI работают с Amazon EFS?

Amazon EFS совместим со всеми AMI на базе Linux для Amazon EC2. Вы можете смешивать и сочетать разные типы инстансов, подключенные к одной файловой системе. Для примера получения доступа к файловой системе из инстанса Amazon EC2 с пошаговым описанием обратитесь к Руководству по началу работы с Amazon EFS.

 

Вопрос: Как управлять файловой системой?

Amazon EFS – полностью управляемый сервис, который освобождает клиента от управления инфраструктурой файлового хранилища. При использовании сервиса Amazon EFS можно избежать сложности развертывания и обслуживания сложной инфраструктуры файловой системы. Файловая система EFS Amazon расширяется и сокращается автоматически по мере добавления и удаления файлов, так что вам не нужно заботиться об управлении ресурсами для хранения или о выделении таковых.

Администрировать файловую систему можно с помощью Консоли управления AWS, интерфейса командной строки (CLI) AWS, а также API Amazon EFS (и различных SDK для конкретных языков). Консоль, API и SDK предоставляют возможность создавать и удалять файловые системы, настраивать доступ к файловым системам, создавать и редактировать теги файловых систем, а также отображать подробную информацию о них.

 

Вопрос: Как загружать данные в файловую систему?

Существует несколько способов загрузки данных существующей файловой системы в Amazon EFS как для исходных данных, находящихся в AWS, так и для данных на локальных серверах.

Файловые системы Amazon EFS могут подключаться к инстансу Amazon EC2, поэтому любые данные, доступные для инстанса Amazon EC2, также могут быть считаны и записаны сервисом Amazon EFS. Чтобы загрузить файловые данные, которые хранятся за пределами AWS, можно использовать EFS File Sync. При этом данные будут копироваться непосредственно в Amazon EFS.

EFS File Sync обеспечивает быстрый и простой способ безопасной синхронизации существующих локальных файловых систем с Amazon EFS. EFS File Sync работает через любое сетевое подключение, в том числе через AWS Direct Connect. AWS Direct Connect предоставляет выделенное сетевое соединение с высокой пропускной способностью и низкими задержками, через которое можно подключать файловые системы EFS. Для перемещения файлов данных в Amazon EFS можно также использовать стандартные средства копирования Linux.

Дополнительную информацию о доступе к файловой системе с локального сервера см. в разделе Локальный доступ этой страницы вопросов и ответов.

Для получения дополнительной информации о перемещении данных в облако Amazon см. страницу Миграция данных в облако.


Вопрос: Как Amazon EFS обеспечивает высокую надежность и доступность?

Все объекты файловой системы Amazon EFS (такие как директория, файл или ссылка) хранятся в нескольких зонах доступности. Кроме того, файловая система может быть доступна одновременно из всех зон доступности в регионе, где она находится, что дает возможность создавать приложения с возможностью аварийного переключения с одной зоны доступности региона на другие для обеспечения максимального уровня доступности приложения. Сами цели подключения рассчитаны на высокую доступность.

Вопрос: Как осуществлять резервное копирование файловой системы?

Система Amazon EFS отличается высокой степенью надежности. Если вы хотите иметь возможность вернуться к более ранним версиям файлов для отмены внесенных изменений, вы можете использовать стандартное стороннее программное обеспечение для резервного копирования.

Можно также использовать AWS Data Pipeline для создания регулярных автоматических копий файловой системы по заданному пользователем расписанию. Для получения дополнительной информации и доступа к шаблону AWS Data Pipeline, предоставленному Amazon EFS, см. пошаговые инструкции по созданию резервной копии файловой системы EFS.

 

Вопрос: Как получить доступ к своей файловой системе, находясь за пределами VPC?

Инстансы Amazon EC2 в облаке VPC могут напрямую получать доступ к файловой системе, а инстансы Amazon EC2 Classic, находящиеся вне облака VPC, могут подключаться к файловой системе через ClassicLink.Локальные серверы могут получить доступ к файловой системе через подключение AWS Direct Connect к VPC пользователя.


Вопрос: Какой объем данных можно хранить?

Файловые системы Amazon EFS могут хранить петабайты данных. Файловые системы Amazon EFS эластичны, благодаря чему они автоматически увеличиваются и уменьшаются по мере добавления и удаления файлов. Вы не занимаетесь выделением определенного размера файловой системы и не определяете объем заранее, при этом вы платите только за тот объем хранилища, который используете.

 

Вопрос: Сколько инстансов Amazon EC2 может подключаться к файловой системе?

Amazon EFS поддерживает от одного до тысяч инстансов Amazon EC2, одновременно подключаемых к файловой системе.

 

Вопрос: Сколько можно создать файловых систем?

По умолчанию можно создать до 10 файловых систем для каждого аккаунта AWS в каждом регионе. Можно запросить увеличение лимита для файловой системы, посетив страницу Лимиты для сервисов AWS.

 

Вопрос: Как отличается производительность Amazon EFS по сравнению с другими решениями хранилищ?

Файловые системы Amazon EFS распределяются по неограниченному количеству серверов хранилища, что позволяет обеспечить их эластичное масштабирование до размеров, измеряемых петабайтами, и массово-параллельный доступ к данным для инстансов Amazon EC2. Распределенная архитектура Amazon EFS позволяет избежать узких мест и ограничений, присущих традиционным файловым серверам.

Распределенная архитектура хранилища данных означает, что многопотоковые приложения и приложения, одновременно получающие доступ к данным из нескольких инстансов Amazon EC2, могут достигать достаточно высокого уровня суммарной пропускной способности и количества операций ввода-вывода в секунду (IOPS). Примерами таких приложений могут служить приложения, работающие с большими данными и аналитикой, рабочие процессы обработки мультимедийных данных, приложения управления контентом и распространения файлов через Интернет.

В таблице ниже приведены показатели максимальной производительности и основные характеристики предлагаемых Amazon сервисов облачных хранилищ данных, файлового и блочного.

 

Amazon EFS

Amazon EBS
PIOPS

Задержка на одну операцию

Низкая, постоянная

Самая низкая, постоянная

Уровень пропускной способности

Несколько гигабайтов в секунду

Один гигабайт в секунду

Распределенный характер Amazon EFS позволяет достичь высокого уровня доступности, надежности и масштабируемости. Такая распределенная архитектура обеспечивает минимальные потери вычислительных ресурсов из-за малых задержек при выполнении файловых операций. Из-за низкой задержки на одну операцию общая пропускная способность обычно возрастает по мере увеличения среднего размера данных в операциях ввода/вывода, так как при увеличении объема используемых данных потери ресурсов сглаживаются. Поддержка Amazon EFS рабочих нагрузок с высокой параллельностью обработки данных (т. е. с постоянной нагрузкой от нескольких потоков и нескольких инстансов EC2) обеспечивает высокий уровень суммарной пропускной способности и IOPS.

Вопрос: В чем разница между режимами производительности «General Purpose» и «Max I/O»? Какой из них мне лучше использовать?

Режим производительности «General Purpose» подходит для большинства файловых систем и выбирается в качестве режима по умолчанию при создании файловой системы. Режим «Max I/O» оптимизирован для приложений, где к файловой системе обращаются десятки, сотни или тысячи инстансов EC2; в этом режиме в результате масштабирования возрастает суммарная пропускная способность и количество операций в секунду, что приводит к небольшому увеличению задержки при выполнении операций с файлами. Подробнее см. в разделе документации Производительность файловой системы.

 

Вопрос: Какую пропускную способность может обеспечить файловая система?

Пропускная способность, которая доступна для файловой системы, увеличивается по мере роста файловой системы. Поскольку рабочие нагрузки, связанные с файлами, обычно непредсказуемы и требуют высокой пропускной способности в течение одних периодов времени и более низкой пропускной способности в остальное время, сервис Amazon EFS разработан с возможностью масштабирования, что позволяет при необходимости на время повысить пропускную способность. Все файловые системы обеспечивают стабильную базовую производительность на уровне 50 МБ/с на каждый терабайт хранилища, все файловые системы (независимо от размера) могут повысить производительность до 100 МБ/с, а все файловые системы размером более 1 ТБ могут повысить производительность до 100 МБ/с на каждый терабайт хранилища. По мере добавления данных в файловую систему максимальная пропускная способность, которая доступна для файловой системы, масштабируется линейно и автоматически вместе с хранилищем.

Пропускная способность файловой системы делится между всеми инстансами Amazon EC2, подключенными к этой файловой системе. Например, файловая система объемом 1 ТБ, способная повысить пропускную способность до 100 МБ/с, может пропускать поток данных в 100 МБ/с от одного инстанса Amazon EC2 или распределять эти 100 МБ/с между 10 инстансами Amazon EC2. Подробнее см. в разделе документации Производительность файловой системы.


Вопрос: Как можно контролировать, какие инстансы Amazon EC2 могут получать доступ к моей файловой системе?

При создании файловой системы вы создаете в облаке VPC конечные точки, называемые «цели подключения». При подключении из инстанса EC2 имя DNS вашей файловой системы, указываемое в команде подключения, разрешается в IP-адрес цели подключения.Получить доступ к файловой системе могут только те ресурсы, которые имеют доступ к цели подключения. Вы можете контролировать входящий и исходящий сетевой трафик целей подключения файловой системы с помощью групп безопасности облака VPC.

 

Вопрос: Как можно контролировать, кто может получать доступ к моей файловой системе?

Контролировать, кто может управлять файловой системой, можно с помощью сервиса AWS Identity and Access Management (IAM). Доступ к файлам и каталогам можно контролировать с помощью POSIX-совместимых прав на уровне пользователей и групп.


Вопрос: Что такое шифрование Amazon EFS?

Amazon EFS обеспечивает эффективное шифрование файловых систем EFS. Данные прозрачно шифруются при записи и прозрачно дешифруются во время чтения, поэтому не приходится изменять код приложений. Ключи шифрования управляются сервисом AWS Key Management Service (KMS), что исключает необходимость создания и поддержки инфраструктуры безопасного управления ключами.

 

Вопрос: Что такое AWS Key Management Service (KMS)?

AWS KMS – это управляемый сервис, упрощающий создание ключей для шифрования данных и управление ими. AWS Key Management Service интегрирован с другими сервисами AWS, включая Amazon EFS, Amazon EBS и Amazon S3, что позволяет с легкостью шифровать данные с использованием ключей шифрования, находящихся под собственным управлением. AWS Key Management Service также интегрирован с AWS CloudTrail и предоставляет журналы использования ключей, обеспечивая соответствие нормативным требованиям. Дополнительные сведения о KMS см. на странице продукта AWS Key Management Service.

 

Вопрос: Как включить шифрование для файловой системы Amazon EFS?

Шифрование файловой системы EFS можно включить в консоли EFS или с помощью интерфейса командной строки или SDK AWS. При создании новой файловой системы в консоли EFS нажмите «Create File System» и установите флажок включения шифрования. Для получения дополнительных сведений см. документацию пользователя по шифрованию.

 

Вопрос: Влияет ли шифрование на производительность Amazon EFS?

Шифрование данных оказывает минимальное влияние на задержку операций ввода-вывода и на пропускную способность.


Вопрос: Как получить доступ к файловой системе EFS с серверов локального ЦОД?

Для доступа к файловой системе EFS необходимо иметь подключение AWS Direct Connect между локальным ЦОД и Amazon VPC. AWS Direct Connect устанавливает частное сетевое соединение между локальным ЦОД пользователя и AWS. Если соединения AWS Direct Connect нет, можно создать его, следуя инструкциям, приведенным в руководстве пользователя AWS Direct Connect.

Подключение файловой системы EFS к локальному серверу Linux выполняется с помощью стандартной команды Linux для подключения файловой системы по протоколу NFSv4.1.

Дополнительную информацию о доступе к файловой системе EFS с локальных серверов через AWS Direct Connect см. в документации.

 

Вопрос: Что можно сделать после того, как будет открыт доступ к файловой системе EFS с локальных серверов?

Вы сможете подключать файловые системы Amazon EFS к своим локальным серверам и перемещать данные в Amazon EFS и из него с помощью стандартных инструментов и скриптов Linux. Возможность перемещать данные в файловую систему Amazon EFS и из нее помогает реализовать три примера использования.

Во-первых, можно перемещать данные из локальных ЦОД для постоянного размещения в файловой системе Amazon EFS.

Во-вторых, можно осуществлять поддержку рабочих нагрузок с расширением в облако, перенося нагрузку по обработке приложений в облако. Можно перемещать данные с локальных серверов в файловую систему EFS, анализировать их в кластере инстансов EC2 в облаке Amazon VPC и хранить результаты на постоянной основе в файловой системе EFS или перемещать их обратно на локальные сервера.

В-третьих, можно периодически копировать локальные файлы данных в файловую систему EFS в рамках систем резервного копирования и аварийного восстановления.

 

Вопрос: Можно ли использовать VPN-подключение AWS для доступа к файловой системе EFS из локальной сети?

Нет, Amazon EFS не поддерживает доступ через VPN-подключение AWS.

 

Вопрос: Можно ли осуществлять доступ к своей файловой системе Amazon EFS одновременно с локальных серверов собственного ЦОД и инстансов Amazon EC2?

Да, можно осуществлять доступ к файловой системе Amazon EFS одновременно с локальных серверов ЦОД и инстансов Amazon EC2 в облаке Amazon VPC. Amazon EFS обеспечивает единую семантику доступа к файловой системе, например строгую непротиворечивость и блокировку файлов, для всех инстансов EC2 и локальных серверов, осуществляющих доступ к файловой системе.

 

Вопрос: Как рекомендуется осуществлять перемещение данных на локальные серверы и с них через AWS Direct Connect?

Так как при перемещении данных на большие расстояния возникает временная задержка распространения сигнала, сетевая задержка соединения Direct Connect между локальным ЦОД и облаком Amazon VPC может составлять десятки миллисекунд. Если файловые операции упорядочены, задержки соединения Direct Connect непосредственно влияют на производительность операций записи и чтения. По сути, объем данных, которые можно считать или записать за определенный период времени, зависит от количества времени, затрачиваемого на выполнение каждой операции чтения и записи. Для обеспечения максимальной пропускной способности следует использовать параллельные файловые операции с тем, чтобы файловой системой EFS одновременно выполнялись несколько операций чтения и записи. Для организации параллельных операций копирования файлов данных можно применить стандартные инструменты, такие как GNU. Дополнительную информацию см. в онлайн-документации.

 

Вопрос: Как скопировать существующие данные из локального хранилища файлов в Amazon EFS?

Существует несколько способов скопировать существующие локальные данные в Amazon EFS. EFS File Sync обеспечивает быстрый и простой способ безопасной синхронизации существующих файловых систем с Amazon EFS и работает по любой сети, в том числе через AWS Direct Connect

AWS Direct Connect обеспечивает выделенное сетевое соединение с высокой пропускной способностью и низкими задержками, через которое можно подключать файловые системы Amazon EFS. После подключения для копирования данных в Amazon EFS можно использовать EFS File Sync, при этом копирование выполняется до 5 раз быстрее, чем при использовании стандартных средств копирования Linux.

Подробную информацию об EFS File Sync см. в разделе EFS File Sync этой страницы вопросов и ответов.


Вопрос: Что такое EFS File Sync?

EFS File Sync обеспечивает быстрый и простой способ безопасного переноса данных из существующих локальных или облачных файловых систем в файловые системы Amazon EFS. EFS File Sync копирует файлы и каталоги в Amazon EFS со скоростью, превосходящей скорость стандартных средств копирования Linux до 5 раз. Настройка процесса в Консоли AWS и управление им не составляют труда. EFS File Sync обеспечивает быструю параллельную передачу данных при синхронизации локальных или облачных файловых систем с Amazon EFS, а также шифрует данные при передаче и обеспечивает целостность скопированных данных.

Чтобы узнать технические подробности и приступить к работе, ознакомьтесь с документацией по EFS File Sync на нашем сайте.

 

Вопрос: Как начать работу с EFS File Sync?

Чтобы начать использовать EFS File Sync, требуется войти в консоль Amazon EFS, загрузить агент File Sync и выполнить его развертывание в своей ИТ-среде. Настройте исходные и целевые файловые системы, запустите задачу синхронизации и отслеживайте ход выполнения в консоли или с помощью AWS CloudWatch. Для получения дополнительной информации о начале работы ознакомьтесь с соответствующим разделом документации.

 

Вопрос: Как защищаются данные при использовании EFS File Sync?

Все данные, переданные EFS File Sync из исходных файловых систем в целевые файловые системы Amazon EFS, передаются по протоколам SSL/TLS в зашифрованном виде. 

 

Вопрос: Поддерживает ли EFS File Sync копирование данных между регионами AWS?

Да. Можно выполнить развертывание агента EFS File Sync в одном регионе AWS и настроить синхронизацию с файловой системой EFS в другом регионе AWS. Исходная файловая система может быть файловой системой EFS или совместно используемой файловой системой в инстансе EC2. Для получения дополнительной информации о настройке EFS File Sync см. соответствующий раздел документации.

 

Вопрос: В каких регионах имеется доступ к EFS File Sync?

Использование EFS File Sync доступно в регионах Восток США (Сев. Вирджиния), Восток США (Огайо), Запад США (Орегон) и ЕС (Ирландия), а доступность в регионах ЕС (Франкфурт) и Азия и Тихий океан (Сидней) будет обеспечена в декабре 2017 г.

 


Вопрос: Какое возможно взаимодействие между существующими сервисами AWS и Amazon EFS, обеспечена ли совместимость между ними?

Amazon EFS интегрирован с рядом других сервисов AWS, включая Amazon CloudWatch, AWS CloudFormation, AWS CloudTrail, AWS IAM и AWS Tagging.

Amazon CloudWatch позволяет контролировать работу файловой системы с помощью метрик. AWS CloudFormation позволяет создавать файловые системы и управлять ими, используя шаблоны.

AWS CloudTrail позволяет записывать все вызовы API Amazon EFS в файлы журналов.

AWS Identity and Access Management (IAM) позволяет контролировать административный доступ к вашей файловой системе. Сервисы AWS Tagging позволяют помечать файловые системы с помощью заданных пользователем метаданных.

 

Вопрос: Какой тип блокировки поддерживает Amazon EFS?

Блокировка в Amazon EFS определяется протоколом NFSv4.1 для рекомендуемой блокировки, позволяя приложениям использовать блокировку как всего файла, так и диапазона байтов.

 

Вопрос: Являются ли имена файловых систем уникальными (как названия корзин Amazon S3)?

Каждая файловая система имеет автоматически сгенерированный идентификационный номер, который является уникальным. Можно дополнительно пометить файловую систему с помощью названия, при этом эти названия не должны быть уникальными.


Вопрос: Сколько стоит использование сервиса Amazon EFS?

С Amazon EFS вы платите только за тот объем хранилища файлов в гигабайтах, который используете за месяц. Минимальные взносы и стартовые платежи отсутствуют. Дополнительные платежи за пропускную способность и запросы не взимаются. Сведения о ценах на Amazon EFS см. в разделе цен на странице цен Amazon EFS.

 

Вопрос: Сколько стоит использование Amazon EFS File Sync?

Использование Amazon EFS File Sync оплачивается по количеству гигабайтов данных, скопированных в Amazon EFS. Подробнее о ценах на EFS File Sync см. на странице Цены на Amazon EFS File Sync.

 

Вопрос: Ваши цены указаны с учетом налогов?

Если не указано иное, представленные здесь цены не включают применимые налоги и сборы, в том числе НДС и применимый налог с продаж.Для клиентов с платежным адресом в Японии использование сервисов AWS облагается потребительским налогом Японии. Подробнее.