Общие вопросы

Вопрос. Что такое Amazon Elastic File System?

Amazon EFS – это простая бессерверная эластичная файловая система, которая не требует постоянного контроля и позволяет просто настраивать и масштабировать файловое хранилище в облаке AWS, а также обеспечивать его экономичное использование. За несколько щелчков мышью в Консоли управления AWS можно создавать файловые системы, доступные для инстансов Amazon EC2, контейнерных сервисов Amazon (Amazon Elastic Container Service (ECS), Amazon Elastic Kubernetes Service (EKS) и AWS Fargate) и функциями AWS Lambda через интерфейс файловой системы (с использованием стандартных API ввода‑вывода файлов в операционной системе). Для таких файловых систем поддерживается полная семантика доступа, включая строгую непротиворечивость и блокировку файлов.

Файловые системы Amazon EFS способны автоматически масштабироваться от нескольких гигабайтов до петабайтов данных без необходимости выделять хранилище заранее. Десятки, сотни или даже тысячи вычислительных инстансов могут одновременно получать доступ к файловой системе Amazon EFS, при этом Amazon EFS обеспечивает стабильную производительность для каждого вычислительного инстанса. Amazon EFS отличается высокой доступностью и надежностью. С Amazon EFS оплате подлежат только реально используемые ресурсы; минимальные взносы и платежи за настройку отсутствуют.

Вопрос. Какие примеры использования поддерживает Amazon EFS?

Сервис Amazon EFS предназначен для обеспечения производительности широкого спектра рабочих нагрузок и приложений, включая обработку и анализ больших данных, рабочие процессы обработки мультимедийных файлов, управление контентом и распространение файлов через Интернет, а также домашние каталоги. 

Классы хранилища Amazon EFS Standard идеально подходят для работы с рабочими нагрузками, которые требуют наивысшего уровня надежности и доступности.

Классы хранилищ Amazon EFS One Zone идеально подходят для таких рабочих нагрузок, как среда разработки, компоновки и промежуточная среда, а также для таких приложений, как аналитика, симуляция и транскодирование мультимедийных файлов, а также для резервных копий или реплик локальных данных, для которых не требуется отказоустойчивость с несколькими зонами доступности.

Вопрос. В каких случаях рекомендуется использовать Amazon EFS вместо Amazon S3 и Amazon Elastic Block Store (EBS)?

Amazon Web Services (AWS) предлагает сервисы облачных хранилищ для широкого диапазона рабочих нагрузок, связанных с хранением данных.

Amazon EFS – это сервис хранения файлов для использования с вычислительными (EC2, контейнеры, бессерверные) и локальными серверами Amazon. Сервис Amazon EFS предоставляет интерфейс файловой системы, семантику доступа к файловой системе (например, строгую непротиворечивость и блокировку файлов), а также хранилище, которое одновременно доступно тысячам инстансов Amazon EC2.

Amazon EBS – это сервис блочного хранилища для использования с Amazon EC2. Amazon EBS может обеспечить производительность для рабочих нагрузок, которым требуется наименьшая задержка при доступе к данным из одного инстанса EC2.

Amazon S3 – это сервис объектного хранилища. Сервис Amazon S3 с помощью API обеспечивает доступ к данным через Интернет, т. е. из любой точки.

Подробнее о том, на что стоит обратить внимание при оценке возможностей использования Amazon EFS.

Вопрос. В каких регионах в настоящее время доступен сервис Amazon EFS?

Подробные сведения о доступности сервиса Amazon EFS по регионам см. на странице Продукты и сервисы по регионам.

Вопрос. Как начать работу с Amazon EFS?

Для использования сервиса Amazon EFS необходимо иметь аккаунт AWS. Если у вас еще нет аккаунта AWS, можно зарегистрировать его и сразу же получить доступ к уровню бесплатного пользования AWS.

После создания аккаунта AWS обратитесь к руководству по началу работы с Amazon EFS, чтобы начать использовать Amazon EFS. Файловую систему можно создать с помощью Консоли управления AWS, интерфейса командной строки (CLI) AWS, а также API Amazon EFS (и различных SDK для конкретных языков).

Вопрос. Как получить доступ к файловой системе из инстанса Amazon EC2?

Для доступа к файловой системе необходимо осуществить подключение файловой системы к инстансу Amazon EC2 на базе Linux, используя стандартную команду подключения Linux и имя DNS файловой системы. Чтобы упростить доступ к файловым системам Amazon EFS, используйте сервисную программу Amazon EFS mount helper. После подключения с файлами и каталогами в файловой системе можно работать так же, как и с локальной файловой системой.

Amazon EFS использует протокол NFS (Network File System) версии 4. Пример настройки доступа к файловой системе с инстанса Amazon EC2 с пошаговым описанием см. в этом руководстве.

Вопрос. Какие типы инстансов Amazon EC2 и образы AMI работают с Amazon EFS?

Amazon EFS совместим со всеми AMI на базе Linux для Amazon EC2. Вы можете смешивать и сочетать разные типы инстансов, подключенные к одной файловой системе. Пример получения доступа к файловой системе из инстанса Amazon EC2 с пошаговым описанием см. в руководстве по типам инстансов.

Вопрос. Как управлять файловой системой?

Amazon EFS – это полностью управляемый сервис, поэтому все управление инфраструктурой хранения файлов осуществляется за вас. При использовании сервиса Amazon EFS можно избежать сложности развертывания и обслуживания сложной инфраструктуры файловой системы. Файловая система EFS Amazon расширяется и сокращается автоматически по мере добавления и удаления файлов, так что вам не нужно заботиться об управлении ресурсами для хранения или о выделении таковых.

Администрировать файловую систему можно с помощью Консоли управления AWS, интерфейса командной строки (CLI) AWS, а также API Amazon EFS (и пакетов SDK для конкретных языков программирования). Консоль, API и SDK предоставляют возможность создавать и удалять файловые системы, настраивать доступ к файловым системам, создавать и редактировать теги файловых систем, включать дополнительные возможности, такие как Provisioned Throughput и Lifecycle Management, а также отображать подробную информацию о файловых системах.

Вопрос. Как загружать данные в файловую систему?

AWS DataSync предоставляет быстрый и простой способ безопасной синхронизации существующих файловых систем с Amazon EFS.  DataSync работает через любое сетевое подключение, в том числе через AWS Direct Connect или AWS VPN. AWS Direct Connect обеспечивает выделенное сетевое подключение с высокой пропускной способностью и низкой задержкой. Его можно использовать для подключения файловых систем Amazon EFS. AWS DataSync можно использовать для копирования файлов между двумя файловыми системами Amazon EFS, даже если они находятся в разных регионах AWS и (или) принадлежат разным аккаунтам AWS.  Для перемещения файлов данных в Amazon EFS можно также использовать стандартные средства копирования Linux. 

Дополнительную информацию о доступе к файловой системе с локального сервера см. в разделе Локальный доступ этой страницы вопросов и ответов.

Дополнительную информацию о перемещении данных в облако Amazon см. на странице Миграция данных в облако.

Классы хранилища и управление жизненным циклом

Вопрос. Вопрос. Какие классы хранилищ предлагает Amazon EFS?

Amazon EFS предлагает вам выбрать файловую систему с использованием классов хранения Standard или One Zone. Классы хранилищ Standard хранят данные в нескольких зонах доступности (AZ). Классы хранилищ One Zone хранят данные с избыточностью в одной зоне доступности по цене на 47 % ниже, чем при использовании классов хранилищ Standard для рабочих нагрузок, которым не требуется отказоустойчивость в нескольких зонах доступности.

Amazon EFS предоставляет четыре класса хранилищ. Это два класса Standard: Amazon EFS Standard и Amazon EFS Standard-Infrequent Access (EFS Standard-IA) – и два класса One Zone: Amazon EFS One Zone и Amazon EFS One Zone-Infrequent Access (EFS One Zone-IA).

ВОПРОС. Доступен ли до сих пор класс хранилища EFS Infrequent Access (EFS IA)?

Класс хранилища EFS-Infrequent Access (EFS IA) переименован в EFS Standard-Infrequent Access (EFS Standard-IA). Между классами хранилищ Standard-Infrequent Access и EFS Infrequent Access нет функциональных различий. Имя изменено, чтобы избежать путаницы между версиями Standard и One Zone классов хранилищ Infrequent Access.

Вопрос. Как переместить файлы в EFS Standard-IA и EFS One Zone-IA?

Для перемещения файлов в EFS Standard-IA и EFS One Zone-IA сначала необходимо включить EFS Lifecycle Management и выбрать политику устаревания для файлов. Управление жизненным циклом автоматически перемещает данные из EFS Standard в класс хранилища EFS Standard-IA или из EFS One Zone в класс хранилища EFS One Zone-IA в соответствии с выбранной политикой жизненного цикла. Например, можно автоматически перемещать из EFS Standard в EFS Standard-IA те файлы, к которым не обращались уже семь дней.

ВОПРОС. Зачем включать компонент Lifecycle Management?

Включать Lifecycle Management требуется в целях экономии в том случае, если ваша файловая система содержит файлы, доступ к которым вы не осуществляете каждый день. Классы хранилищ Both EFS Standard-IA и EFS One Zone-IA идеально подходят вам, если требуется быстрый доступ к полному набору данных и вы хотите автоматически экономить на хранении данных по мере того, как определенные файлы становятся ненужны. В качестве примеров можно назвать успешно пройденные аудиты, анализ данных за прошлые периоды, резервное копирование и восстановление.

Вопрос. Что происходит, когда я отключаю Amazon EFS Lifecycle Management?

Если вы выключите управление жизненным циклом, файлы больше не будут перемещаться в классы хранилищ EFS Standard-IA или EFS One Zone-IA (в зависимости от того, какие классы хранилища использует ваша файловая система: Standard или One Zone), а любые файлы, которые уже перемещены в класс хранилища Infrequent Access, останутся там.

Вопрос. Какие возможности Amazon EFS поддерживаются при использовании классов хранилища EFS Standard-IA и EFS One Zone-IA?

При использовании классов хранилища EFS Standard-IA и EFS One Zone-IA поддерживаются все возможности Amazon EFS. Файлы размером менее 128 КиБ не обрабатываются средствами управления жизненным циклом и всегда хранятся в классе хранилища EFS Standard или EFS One Zone в зависимости от того, какие классы хранилища использует ваша файловая система: Standard или One Zone.

Вопрос. Имеется ли разница в задержке между классами хранилища, которые используются для хранения файлов с частым доступом (EFS Standard, EFS One Zone), и классами хранилища, которые используются для хранения файлов с нечастым доступом (EFS Standard-IA, EFS One Zone-IA)?

Задержка первого байта при чтении из классов EFS Standard-IA и EFS One Zone-IA и при записи в них превышает задержку классов хранилища EFS Standard или EFS One Zone. Классы хранилищ EFS Standard и EFS One Zone предназначены для обеспечения средней задержки до 10 мс, а средняя задержка для классов хранилищ EFS Standard-IA и EFS One Zone-IA составляет выше 10 мс.

Вопрос. На какую пропускную способность я могу рассчитывать при работе с файлами, сохраненными в хранилище класса EFS Standard-IA или EFS One Zone-IA?

Показатель пропускной способности, на которую можно рассчитывать при работе с файловой системой Amazon EFS, линейно масштабируется в зависимости от объема данных, сохраненных в хранилище класса EFS Standard или EFS One Zone. Все файловые системы Amazon EFS, независимо от размера, могут обеспечить пиковую пропускную способность до 100 МиБ/с. Файловые системы, в которых более 1 ТиБ данных хранится в классах хранилищ EFS Standard или EFS One Zone, могут достигать пропускной способности 100 МиБ/с на 1 ТиБ данных, хранящихся в классах хранилищ EFS Standard или EFS One Zone. Если для работы с классами хранилищ EFS Standard-IA или EFS One Zone-IA требуется более высокая пропускная способность, чем предоставляет существующая файловая система, используйте возможность Amazon EFS Provisioned Throughput.

Защита данных и обеспечение доступности

Как Amazon EFS обеспечивает высокую надежность и доступность данных?

По умолчанию в файловых системах, использующих классы хранилища Standard, каждый объект файловой системы Amazon EFS (то есть, каталог, файл и ссылка) хранится с избыточностью в нескольких зонах доступности. Если вы выберете классы хранилищ Amazon EFS One Zone, то данные будут храниться с избыточностью в одной зоне доступности. Amazon EFS предусматривает способность выдерживать параллельные отказы устройств, быстро обнаруживая и восстанавливая любую потерю избыточности. Кроме того, используя классы стандартного хранилища, файловая система может быть доступна одновременно из всех зон доступности в регионе, где она находится, а это значит, что вы можете создавать приложения для аварийного переброса из одной зоны доступности региона в другие для обеспечения максимального уровня доступности приложения. Предусмотрена высокая доступность целей подключения в зоне доступности для всех классов хранилищ Amazon EFS. Подробнее о доступности см. в Соглашении об уровне обслуживания Amazon EFS.

Вопрос. Насколько надежно работает Amazon EFS?

Amazon EFS рассчитана на 99,999999999 % (11 девяток) надежности объектов в течение года. Кроме того, классы хранилищ EFS Standard и EFS Standard-IA обеспечивают защиту данных в случае полного выхода из строя зоны доступности. Поскольку классы хранилищ EFS One Zone хранят данные в отдельной зоне доступности AWS, данные, которые хранятся в этих классах хранилищ, могут быть утеряны в случае аварии или сбоя другого характера в зоне доступности, которые затрагивают все копии данных, или в случае разрушения зоны доступности. Как и для любой среды, рекомендуется иметь резервную копию и применять меры безопасности, защищающие от случайного удаления. При работе с данными Amazon EFS рекомендуется регулярно проводить и тестировать резервные копии с помощью AWS Backup. Файловые системы, которые используют классы хранилищ EFS One Zone, по умолчанию автоматически создают резервные копии файлов при создании файловой системы, если вы не отключите эту функцию.

Вопрос. Какие случаи возникновения ошибок мне нужно принять во внимание при использовании классов Amazon EFS One Zone по сравнению с классами хранилищ Standard?

Файловые системы, использующие классы хранилищ Amazon EFS One Zone, не являются устойчивыми к полному сбою зоны доступности. В случае сбоя зоны доступности будет утеряна доступность, потому что данные файловой системы не реплицированы в другой зоне доступности. Если авария или сбой в зоне доступности затрагивает все копии данных или происходит полная потеря зоны доступности, могут быть потеряны те данные, резервная копия которых не создана с помощью AWS Backup. Чтобы сохранить дополнительные копии данных из файловой системы в другой зоне доступности или в другом регионе, можно включить автоматическое резервное копирование. Резервные копии можно восстановить в новой файловой системе в другой зоне доступности или в другом регионе. Резервные копии данных Amazon EFS, которые созданы сервисом AWS Backup и которыми он управляет, реплицируются в трех зонах доступности. Их надежность обеспечена на 99,999999999 % (11 девяток).

Вопрос. Производится ли резервное копирование моих файловых данных EFS One Zone для защиты от потери зоны доступности?

Резервное копирование включено по умолчанию для всех файловых систем, которые используют классы хранилища Amazon EFS One Zone. Его можно отключать при создании файловых систем. В случае потери зоны доступности вы можете восстановить файловые данные из недавней резервной копии в новой файловой системе в любой рабочей зоне доступности. Если потеря зоны доступности затронула Amazon EFS и ваши данные хранятся в классах хранилища One Zone, могут быть потеряны файловые данные, которые были изменены с момента автоматического создания последней резервной копии. Клиенты, которым требуются наивысшие уровни надежности и доступности, AWS рекомендует использовать классы хранилища EFS Standard и EFS Standard-IA, в которых обеспечено хранение данных с избыточностью в нескольких зонах доступности.

Масштабирование и производительность

Вопрос. Какой объем данных можно хранить?

Файловые системы Amazon EFS могут хранить петабайты данных. Файловые системы Amazon EFS эластичны, благодаря чему они автоматически увеличиваются и уменьшаются по мере добавления и удаления файлов. Заранее выделять размер файловой системы не требуется, а оплате подлежат только реально используемые ресурсы.

Вопрос. Сколько инстансов Amazon EC2 может подключаться к файловой системе?

Amazon EFS поддерживает от одного до тысяч инстансов Amazon EC2, одновременно подключаемых к файловой системе.

Вопрос. Сколько файловых систем можно создать?

В каждом регионе можно создать до 1000 файловых систем. Дополнительную информацию о лимитах сервиса Amazon EFS см. на странице лимитов Amazon EFS.

Вопрос. Насколько отличается производительность Amazon EFS от других решений хранилищ?

Файловые системы Amazon EFS распределяются по неограниченному количеству серверов хранилища, что позволяет обеспечить их эластичное масштабирование до размеров, измеряемых петабайтами, и массово-параллельный доступ к данным для вычислительных инстансов и функций AWS Lambda. Распределенная архитектура Amazon EFS позволяет избежать узких мест и ограничений, присущих традиционным файловым серверам.

Распределенная архитектура хранилища данных означает, что многопотоковые приложения и приложения, одновременно получающие доступ к данным из нескольких вычислительных инстансов и функций AWS Lambda, могут достигать достаточно высокого уровня суммарной пропускной способности и количества операций ввода-вывода в секунду (IOPS). Примерами таких приложений могут служить приложения, работающие с большими данными и аналитикой, рабочие процессы обработки мультимедийных данных, приложения управления контентом и распространения файлов через Интернет.

В таблице ниже приведены показатели максимальной производительности и основные характеристики предлагаемых AWS сервисов облачных хранилищ, файлового и блочного.

  Amazon EFS Amazon EBS (io1)

Задержка на одну операцию

Низкая, постоянная

Самая низкая, постоянная

Уровень пропускной способности

Несколько гигабайтов в секунду

Один гигабайт в секунду

Распределенный характер Amazon EFS позволяет достичь высокого уровня доступности, надежности и масштабируемости. Такая распределенная архитектура обеспечивает минимальные потери вычислительных ресурсов из-за малых задержек при выполнении файловых операций. Из-за низкой задержки на одну операцию общая пропускная способность обычно возрастает по мере увеличения среднего размера данных в операциях ввода-вывода, так как при увеличении объема используемых данных потери ресурсов сглаживаются. Поддержка Amazon EFS рабочих нагрузок с высокой параллельностью обработки данных (т. е. с постоянной нагрузкой от нескольких потоков и нескольких инстансов EC2) обеспечивает высокий уровень суммарной пропускной способности и количества операций ввода-вывода в секунду (IOPS).

Вопрос. В чем разница между режимами производительности «General Purpose» и «Max I/O»? Какой из них мне лучше использовать?

Режим производительности «General Purpose» подходит для большинства файловых систем и выбирается в качестве режима по умолчанию при создании файловой системы. Режим «Max I/O» оптимизирован для приложений, где к файловой системе обращаются десятки, сотни или тысячи инстансов EC2; в этом режиме в результате масштабирования возрастает суммарная пропускная способность и количество операций в секунду, что приводит к небольшому увеличению задержки при выполнении операций с файлами. Файловые системы, которые используют классы хранилищ One Zone, поддерживают только режим «General Purpose». Подробнее см. в разделе документации Производительность файловой системы.

Вопрос. Какую пропускную способность может обеспечить файловая система?

В режиме Bursting, который является режимом по умолчанию для файловых систем Amazon EFS, пропускная способность, доступная для файловой системы, масштабируется с ее ростом. Рабочие нагрузки, связанные с файлами, обычно имеют неравномерный характер: они требуют высокой пропускной способности в течение определенных периодов времени и более низкой в остальное время. Поэтому сервис Amazon EFS предусматривает возможность временного повышения пропускной способности. А поскольку многие рабочие нагрузки интенсивно используют операции чтения, их количество оценивается по пропорции 1:3 по сравнению с другими операциями NFS (например, запись). Все файловые системы обеспечивают стабильную базовую производительность на уровне 50 МБ/с на каждый терабайт хранилища для хранилища EFS Standard или EFS One Zone. Все файловые системы (независимо от размера) могут временно повышать производительность до 100 МБ/с, а все файловые системы EFS Standard или EFS One Zone c размером более 1 ТБ могут повышать производительность до 100 МБ/с на каждый терабайт. Поскольку показатели операций чтения измеряются в пропорции 1:3, вы можете достичь пропускной способности для чтения 300 МиБ/с на 1 ТиБ. По мере добавления данных в файловую систему линейно и автоматически масштабируется максимальная пропускная способность, которая доступна для файловой системы в хранилище класса Amazon EFS Standard. Если вам требуется пропускная способность, большая, чем та, которая обеспечивается в зависимости от объема данных, то можно использовать режим Provisioned Throughput, выделив объем, необходимый для вашей рабочей нагрузки.

Пропускная способность файловой системы распределяется между всеми инстансами Amazon EC2, подключенными к файловой системе. Например, файловая система объемом 1 ТБ, способная повысить пропускную способность до 100 МБ/с, может пропускать поток данных в 100 МБ/с от одного инстанса Amazon EC2 или распределять эти 10 МБ/с между 10 инстансами Amazon EC2 (всего 100 МБ/с). Подробнее см. в разделе документации Производительность файловой системы.

Вопрос. Что такое Provisioned Throughput и когда следует использовать этот режим?

Возможность Provisioned Throughput позволяет клиентам Amazon EFS выделять пропускную способность файловой системы независимо от объема хранимых данных, оптимизируя пропускную способность файловой системы с учетом требований приложений.

Amazon EFS Provisioned Throughput доступна для приложений с высоким коэффициентом пропускной способности к объему хранилища (МБ/с на 1 ТБ). Например, если клиенты используют Amazon EFS для инструментов разработки, распространения файлов через Интернет или приложений управления контентом, в которых объем данных в файловой системе относительно невелик по сравнению с требованиями к пропускной способности, они могут немедленно получить высокий уровень пропускной способности, который необходим для приложений.

Настроить режим пропускной способности для файловой системы можно через консоль AWS, интерфейс командной строки AWS (AWS CLI) или AWS API. Подробные сведения см. в документации по возможности Provisioned Throughput.

Вопрос. Как работает возможность Provisioned Throughput в Amazon EFS?

Выбрав для файловой системы режим Provisioned Throughput, можно выделять пропускную способность файловой системы независимо от объема хранимых данных и отдельно оплачивать хранилище и использование выделенной пропускной способности (например, 0,30 USD за гигабайт хранилища в месяц и 6,00 USD за 1 МБ/с в месяц для выделенной пропускной способности в регионе Восток США (Сев. Вирджиния)). Показатели операций чтения измеряются в пропорции 1:3, поэтому вы можете достичь пропускной способности для чтения до 3 МиБ на каждый 1 МиБ/с выделенной пропускной способности.

Режим Provisioned Throughput также предоставляет базовый объем пропускной способности 50 КБ/с на каждый гигабайт (или 1 МБ/с на 20 ГБ), включенный в стоимость используемого хранилища Standard. Например, если вы размещаете 20 ГБ в хранилище класса Amazon EFS Standard в течение одного месяца, настроив на этот месяц пропускную способность 5 МБ/с, плата начисляется за 20 ГБ хранилища в месяц и 4 (5–1) МБ/с пропускной способности в месяц.

Вопрос. Как отслеживать объем использования операций чтения и записи?

Пропускную способность можно отслеживать с помощью Amazon CloudWatch. Метрики TotalIOBytes, ReadIOBytes, WriteIOBytes и MetadataIOBytes отражают фактическую пропускную способность, которую используют ваши приложения. Метрики PermittedThroughput и MeteredIOBytes отражают лимит и объем использования измеряемой пропускной способности соответственно после измерения запросов на чтение в пропорции 1:3 по отношению к другим запросам. Для отслеживания коэффициента использования пропускной способности можно использовать график доли лимита пропускной способности в консоли Amazon EFS. Если вы используете пользовательские панели управления CloudWatch или другой инструмент мониторинга, то можно создать математическое выражение метрики CloudWatch, которое сравнивает значения MeteredIOBytes и PermittedThroughput. Если эти значения равны, то вы используете всю пропускную способность и вам стоит рассмотреть возможность использования режима Provisioned Throughput или увеличить заданную пропускную способность. Для файловых систем, работающих в режиме Bursting, необходимо отслеживать метрику BurstCreditBalance и выдавать предупреждение о том, что баланс близится к нулю, чтобы гарантировать, что ваша файловая система работает на таком уровне расширения, который выше базового уровня.

Вопрос. Как начисляется плата в режиме Provisioned Throughput?

В режиме Provisioned Throughput плата отдельно начисляется за используемое хранилище и за выделенную пропускную способность. Расчет выполняется по часам на следующей основе.

  • Хранилище (за ГБ-месяц). Плата начисляется за объем использованного хранилища в ГБ-месяц.
  • Пропускная способность (за МБ/с-месяц). Плата начисляется за выделенную пропускную способность в МБ/с-месяц.

Вопрос. Как часто можно изменять выделенную пропускную способность файловой системы?

Если файловая система находится в режиме Provisioned Throughput, выделенную пропускную способность файловой системы можно увеличивать с любой частотой. Понижать пропускную способность файловой системы в режиме Provisioned Throughput или изменять режим Provisioned Throughput на режим Bursting Throughput (по умолчанию) можно не ранее чем через 24 часа с прошлого понижения или изменения режима пропускной способности.

Вопрос. Какова реальная пропускная способность файловой системы в режиме Provisioned Throughput, если установлена пропускная способность меньше базового уровня для режима Bursting Throughput?

В режиме по умолчанию Bursting Throughput пропускная способность файловой системы масштабируется в зависимости от объема хранимых данных. Если файловая система в режиме Provisioned Throughput после первоначальной конфигурации увеличивается в размере, возможно, базовый уровень пропускной способности файловой системы в режиме Bursting Throughput окажется выше, чем в режиме Provisioned Throughput.

В таких случаях пропускная способность файловой системы равна пропускной способности в режиме Bursting Throughput (по умолчанию). Дополнительная плата за пропускную способность в режиме Bursting Throughput в этом случае не взимается. При этом будет доступно увеличение пропускной способности в соответствии с моделью увеличения пропускной способности Amazon EFS.

Безопасность

Контроль доступа

Вопрос. Как настроить доступ к файловой системе для определенных инстансов Amazon EC2?

Вы контролируете, какие инстансы EC2 могут обращаться к вашей файловой системе, используя правила группы безопасности VPC и политики AWS Identity and Access Management (IAM). Используйте группы безопасности VPC для управления входящим и исходящим сетевым трафиком файловой системы. Подключите политику IAM к вашей файловой системе, чтобы контролировать, какие клиенты могут монтировать вашу файловую систему и с какими разрешениями, а также использовать точки доступа EFS для управления доступом к приложениям. Доступ к файлам и каталогам можно контролировать с помощью POSIX-совместимых прав на уровне пользователей и групп.

Вопрос. Как использовать политики IAM для управления доступом к файловой системе?

Используя консоль Amazon EFS, вы можете применять к вашей файловой системе общие политики, такие как отключение корневого доступа, принудительный доступ только для чтения или принудительное шифрование всех подключений к вашей файловой системе. Вы также можете применять более сложные политики, такие как предоставление доступа к определенным ролям IAM, в том числе в других учетных записях AWS.

Access Points

Вопрос. Что такое Amazon EFS Access Point?

Сервис Amazon EFS Access Points упрощает предоставление приложениям доступа к общим наборам данных в файловой системе Amazon EFS. Amazon EFS Access Points работает вместе с AWS IAM и обеспечивает защиту пользователя и группы операционной системы, а также каталога для каждого запроса файловой системы, сделанного через точку доступа. Таким образом можно создать несколько точек доступа для каждой файловой системы и использовать их для предоставления доступа к определенным приложениям.

Вопрос. Зачем использовать Amazon EFS Access Points?

Amazon EFS Access Points представляет собой гибкий способ управления доступом к приложениям в средах NFS и обеспечивает повышенную масштабируемость, безопасность и простоту использования. Преимущественные варианты использования Amazon EFS Access Points включают среды на основе контейнеров, в которых разработчики создают и разворачивают свои собственные контейнеры, приложения для обработки данных, которым требуется доступ к рабочим данным, и совместное использование определенного каталога в файловой системе с другими аккаунтами AWS.

Вопрос. Как работает Amazon EFS Access Points?

При создании точки доступа Amazon EFS Access Point вы можете настроить пользователя и группу операционной системы, а также корневой каталог для всех подключений, которые ее используют. Если вы укажете владельца корневого каталога, Amazon EFS автоматически предоставит ему разрешения, которые используются при первом подключении клиента к точке доступа. Вы также можете обновить политику IAM вашей файловой системы таким образом, чтобы она применялась к вашим точкам доступа. Например, вы можете применить политику, которая требует наличия определенного удостоверения IAM, чтобы выполнить соединение с данной точкой доступа. Подробнее см. в Руководстве пользователя Amazon EFS.

Шифрование

Вопрос. Что такое шифрование Amazon EFS?

Amazon EFS предлагает возможность шифрования данных при хранении и передаче.

Шифрование при хранении обеспечивает прозрачное шифрование данных при записи и прозрачное дешифрование во время чтения; изменения в код приложений вносить не требуется. Ключи шифрования управляются сервисом AWS Key Management Service (KMS), что исключает необходимость создания и поддержки своей инфраструктуры безопасного управления ключами.

Шифрование данных при передаче использует стандартный отраслевой протокол Transport Layer Security (TLS) 1.2 для шифрования данных, которыми обмениваются клиенты и файловые системы EFS.

В целях соответствия уникальным требованиям в области безопасности шифрование данных при хранении и передаче можно настроить как совместно, так и отдельно.

Дополнительную информацию см. в документации пользователя по шифрованию.

Вопрос. Что такое AWS Key Management Service (KMS)?

AWS KMS управляет ключами, используемыми для шифрования данных при хранении в файловых системах EFS. AWS KMS – это управляемый сервис, который упрощает создание ключей для шифрования данных и управление ими. AWS Key Management Service интегрирован с другими сервисами AWS, включая Amazon EFS, Amazon EBS и Amazon S3, что упрощает шифрование данных с использованием ключей шифрования, находящихся под управлением клиента. AWS Key Management Service также интегрирован с AWS CloudTrail и позволяет получить журналы использования всех ключей, чтобы подтвердить соответствие требованиям и законодательным нормам.

Вопрос. Как включить шифрование для файловой системы Amazon EFS?

Шифрование данных при хранении можно включить в консоли Amazon EFS, с помощью интерфейса командной строки или SDK AWS. При создании новой файловой системы в консоли Amazon EFS нажмите Create File System (Создать файловую систему) и установите флажок для включения шифрования.

Данные можно шифровать при передаче из файловой системы Amazon EFS к ее клиентам и обратно с помощью вспомогательного средства подключения Amazon EFS.

В целях соответствия уникальным требованиям в области безопасности шифрование данных при хранении и передаче можно настроить как совместно, так и отдельно.

Дополнительную информацию см. в документации пользователя по шифрованию.

Вопрос. Влияет ли шифрование на производительность Amazon EFS?

Шифрование данных оказывает минимальное влияние на задержку операций ввода-вывода и на пропускную способность.

Локальный доступ

Вопрос. Как получить доступ к файловой системе Amazon EFS с серверов локального ЦОД?

Для доступа к файловой системе Amazon EFS необходимо настроить между локальным ЦОД и Amazon VPC подключение с использованием AWS Direct Connect или AWS VPN.

Подключение файловой системы Amazon EFS к локальному серверу Linux выполняется с помощью стандартной команды Linux для подключения файловой системы по протоколу NFSv4.1.

Дополнительную информацию о доступе к файловой системе Amazon EFS с локальных серверов см. в документации.

Вопрос. Какие возможности предоставляет доступ к файловой системе Amazon EFS с локальных серверов?

Файловые системы Amazon EFS можно подключать к локальным серверам и перемещать данные в Amazon EFS и из него с помощью стандартных инструментов и скриптов Linux или AWS DataSync. Возможность перемещать данные в файловую систему Amazon EFS и из нее помогает реализовать три примера использования.

Во-первых, можно перемещать данные из локальных ЦОД для постоянного размещения в файловых системах Amazon EFS.

Во-вторых, можно осуществлять поддержку рабочих нагрузок с расширением в облако путем переноса нагрузки по обработке приложений в облако. Можно перемещать данные с локальных серверов в файловые системы Amazon EFS, анализировать их в кластере инстансов EC2 в облаке Amazon VPC и хранить результаты на постоянной основе в файловых системах Amazon EFS или перемещать их обратно на локальные сервера.

В-третьих, можно периодически копировать локальные файлы данных в файловую систему Amazon EFS в рамках систем резервного копирования и аварийного восстановления.

Вопрос. Можно ли осуществлять доступ к своей файловой системе Amazon EFS одновременно с локальных серверов собственного ЦОД и инстансов Amazon EC2?

Да, можно осуществлять доступ к файловой системе Amazon EFS одновременно с локальных серверов ЦОД и инстансов Amazon EC2 в облаке Amazon VPC. Amazon EFS обеспечивает единую семантику доступа к файловой системе, например строгую непротиворечивость и блокировку файлов, для всех инстансов EC2 и локальных серверов, осуществляющих доступ к файловой системе.

Вопрос. Как рекомендуется осуществлять перемещение данных на локальные серверы и в обратном направлении?

Поскольку при перемещении данных на большие расстояния требуется определенное время на прохождение сигнала, задержка сетевого соединения между локальным ЦОД и облаком Amazon VPC может составлять несколько десятков миллисекунд. Если файловые операции упорядочены, задержки сетевого соединения непосредственно влияют на производительность операций записи и чтения. По сути, объем данных, которые можно считать или записать за определенный период времени, зависит от количества времени, затрачиваемого на выполнение каждой операции чтения и записи. Для обеспечения максимальной пропускной способности следует использовать параллельные файловые операции с тем, чтобы файловая система Amazon EFS одновременно выполняла несколько операций чтения и записи. Для организации параллельных операций копирования файлов данных можно применить стандартные инструменты, такие как GNU. Дополнительную информацию см. в онлайн‑документации.

Вопрос. Как скопировать существующие данные из локального хранилища файлов в Amazon EFS?

Существует несколько способов скопировать существующие локальные данные в Amazon EFS. AWS DataSync обеспечивает быстрый и простой способ безопасной синхронизации существующих файловых систем с Amazon EFS и работает по любой сети, в том числе через AWS Direct Connect.

AWS Direct Connect обеспечивает выделенное сетевое подключение с высокой пропускной способностью и низкой задержкой. Его можно использовать для подключения файловых систем Amazon EFS. После подключения можно копировать данные в Amazon EFS с помощью DataSync, в 10 раз быстрее стандартных средств копирования Linux.

Дополнительные сведения об AWS DataSync см. в разделе Передача данных на этой странице вопросов и ответов.

Передача данных

Вопрос. Как с помощью AWS перенести данные в файловую систему?

AWS DataSync – это онлайн-сервис переноса данных, который ускоряет и упрощает перенос данных из локальных хранилищ в Amazon EFS, и наоборот. DataSync использует специальный протокол для ускорения и обеспечения безопасности переноса данных через Интернет или AWS Direct Connect на скорости до 10 раз больше, чем при использовании инструментов с открытым исходным кодом. С помощью DataSync можно выполнять однократные переносы данных, переносить локальные данные для своевременного анализа в облаке и автоматизировать репликацию данных в AWS в целях защиты и обеспечения возможности восстановления.

AWS Transfer Family – это полностью управляемый сервис передачи файлов, который взаимодействует с протоколами Secure File Transfer Protocol (SFTP), File Transfer Protocol over SSL (FTPS) и File Transfer Protocol (FTP). Группа сервисов AWS Transfer предоставляет полностью управляемый сервис передачи данных с высоким уровнем доступности и возможностями автомасштабирования, избавляя вас от необходимости в управлении инфраструктурой, связанной с передачей файлов. Рабочие процессы конечных пользователей остаются без изменений, а данные, отправляемые и загружаемые с помощью выбранных протоколов, хранятся в файловой системе Amazon EFS.

Вопрос. Как переместить данные в файловую систему Amazon EFS или из нее?

Чтобы начать работу с AWS DataSync, с помощью консоли или интерфейса командной строки AWS нужно подключить агент к локальным или облачным файловым системам по протоколу NFS, указать файловую систему Amazon EFS и начать копировать данные. Сначала необходимо развернуть программный агент, который доступен для загрузки из Консоли управления AWS, за исключением случаев копирования файлов между двумя файловыми системами Amazon EFS.

Прежде чем начать работу с AWS Transfer Family, убедитесь, что каталоги файловой системы доступны пользователям POSIX, которых вы планируете назначить для работы с AWS Transfer. Затем можно использовать Консоль AWS, интерфейс командной строки (CLI) или API для создания конечной точки AWS Transfer Family и пользователей. После завершения ваши конечные пользователи смогут использовать клиенты SFTP, FTP или FTPS для доступа к данным, хранящимся в файловой системе Amazon EFS.

Вопрос. Можно ли передавать данные Amazon EFS между регионами?

AWS DataSync можно использовать для перемещения файлов между двумя файловыми системами Amazon EFS, в том числе если они находятся в разных регионах AWS. Конечные точки AWS Transfer Family должны находиться в том же регионе, что и файловая система Amazon EFS.

Вопрос. Могу ли я получить доступ к файловой системе с другого аккаунта AWS?

Да, AWS DataSync можно использовать для копирования файлов в файловую систему Amazon EFS с другого аккаунта AWS.

Также можно настроить файловую систему Amazon EFS для доступа к AWS Transfer Family с другого аккаунта, если для этого аккаунта имеются соответствующие разрешения. Подробнее о предоставлении разрешений AWS Transfer Family внешним аккаунтам AWS с помощью политик файловой системы, см. в документации.

Совместимость

Вопрос. Какое возможно взаимодействие между существующими сервисами AWS и Amazon EFS, обеспечена ли совместимость между ними?

Amazon EFS интегрирован с рядом других сервисов AWS, включая Amazon CloudWatch, AWS CloudFormation, AWS CloudTrail, AWS IAM и AWS Tagging.

Amazon CloudWatch позволяет контролировать работу файловой системы с помощью метрик. AWS CloudFormation позволяет создавать файловые системы и управлять ими с помощью шаблонов.

AWS CloudTrail позволяет записывать все вызовы API Amazon EFS в файлы журналов.

AWS Identity and Access Management (IAM) позволяет контролировать административный доступ к вашей файловой системе. Сервисы AWS Tagging позволяют помечать файловые системы с помощью заданных пользователем метаданных.

Расходы на файловую систему Amazon EFS можно планировать и контролировать с помощью сервиса AWS Budgets. С AWS Budgets можно работать из консоли AWS Billing and Cost Management. Для использования AWS Budgets вы создаете месячный бюджет расходов на файловые системы Amazon EFS.

Вопрос. Какой тип блокировки поддерживает Amazon EFS?

Блокировка в Amazon EFS определяется протоколом NFSv4.1 для рекомендуемой блокировки и позволяет приложениям использовать блокировку как всего файла, так и диапазона байтов.

Вопрос. Являются ли имена файловых систем уникальными (как названия корзин Amazon S3)?

Каждая файловая система имеет автоматически сгенерированный идентификационный номер, который является уникальным. Можно дополнительно пометить файловую систему с помощью названия, при этом названия не обязательно должны быть уникальными.

Цены и оплата

Вопрос. Сколько стоит использование сервиса Amazon EFS?

При работе с Amazon EFS оплате подлежат только использованные в течение месяца ресурсы.

При использовании режима Provisioned Throughput дополнительно оплачивается пропускная способность, выделенная в течение месяца. Минимальные платежи и плата за настройку отсутствуют.

Цена на хранилище Amazon EFS нечастого доступа зависит от объема используемого хранилища и объема данных, к которым вы осуществляете доступ. Пока управление жизненным циклом не завершит перемещение файла в класс хранилища Amazon EFS с нечастым доступом (EFS Standard-IA или EFS One Zone-IA), он хранится в EFS Standard или EFS One Zone, и за него взимается плата по тарифу на Standard или One Zone соответственно.

Информация о ценах на Amazon EFS см. на странице Цены на Amazon EFS.

Вопрос. Ваши цены указаны с учетом налогов?

Если не указано иное, представленные здесь цены не включают применимые налоги и сборы, в том числе НДС и применимый налог с продаж. Для клиентов с платежным адресом в Японии использование сервисов AWS облагается потребительским налогом Японии. Подробнее.

Доступ из сервисов AWS

Вопрос. Могу ли я получить доступ к Amazon EFS из инстансов Amazon Elastic Compute Cloud (Amazon EC2)?

Да, вы можете получить доступ к Amazon EFS из десятков тысяч инстансов Amazon EC2, запущенных с использованием любого из поддерживаемых методов запуска. При использовании мастера запуска инстансов Amazon EC2 вы можете создать новые файловые системы Amazon EFS и добавить существующие файловые системы в запускаемый инстанс. Все файловые системы, которые вы добавили в инстанс, автоматически подключаются к инстансу при его запуске. Подробнее об использовании Amazon EFS с инстансами Amazon EC2 можно узнать в Документации по Amazon EC2.

Вопрос. Могу ли я получить доступ к Amazon EFS из контейнеров Amazon Elastic Container Service (Amazon ECS)?

Да, вы можете получить доступ к Amazon EFS из контейнерных приложений, запускаемых Amazon Elastic Container Service (Amazon ECS), с помощью типов запуска Amazon EC2 и AWS Fargate, ссылаясь на файловую систему Amazon EFS в своем определении задачи. Инструкции по началу работы представлены в документации Amazon ECS.

Вопрос. Могу ли я получить доступ к Amazon EFS из подов Amazon Elastic Kuberenetes Service (Amazon EKS)?

Да, доступ к Amazon EFS можно получить из контейнерных приложений, запускаемых Amazon EKS, с типом запуска Amazon EC2 или AWS Fargate, используя драйвер Amazon EFS CSI. Инструкции по началу работы представлены в документации Amazon EKS.

Вопрос. Могу ли я получить доступ к Amazon EFS из функций AWS Lambda?

Да, вы можете получить доступ к Amazon EFS из функций, работающих в AWS Lambda, ссылаясь на файловую систему Amazon EFS в настройках функции. Инструкции по началу работы представлены в документации AWS Lambda.

Вопрос. Могу ли я получить доступ к Amazon EFS из Amazon SageMaker?

Да, вы можете получить доступ к обучающим данным в Amazon EFS из заданий обучения Amazon SageMaker, ссылаясь на файловую систему Amazon EFS в запросе CreateTrainingJob. EFS также автоматически используется для домашних каталогов, созданных в Amazon SageMaker Studio.

Подробнее о ценах на Amazon EFS

Перейти на страницу цен
Готовы приступить к разработке?
Начать работу с Amazon EFS
Возникли дополнительные вопросы?
Свяжитесь с нами