Вопросы и ответы по Amazon EFS

Вопрос. Что такое Amazon Elastic File System?

Amazon Amazon Elastic File System (EFS) предоставляет бессерверное и полностью эластичное хранилище файлов, с помощью которого можно совместно использовать данные файлов, не беспокоясь о подготовке ресурсов, обеспечении производительности или управлении ими. Выбирая несколько элементов в Консоли управления AWS, можно создавать файловые системы, доступные для инстансов Amazon Elastic Compute Cloud (EC2), контейнерных сервисов Amazon (Amazon Elastic Container Service (ECS), Amazon Elastic Kubernetes Service [EKS] и AWS Fargate) и функций AWS Lambda, через интерфейс файловой системы (с использованием стандартных API ввода‑вывода файлов в операционной системе). Для таких файловых систем также поддерживается полная семантика доступа, включая строгую непротиворечивость и блокировку файлов.

Файловые системы Amazon EFS способны автоматически масштабироваться от нескольких гигабайтов до петабайтов данных без необходимости выделять хранилище заранее. Десятки, сотни или даже тысячи вычислительных инстансов могут одновременно получать доступ к файловой системе Amazon EFS, при этом Amazon EFS обеспечивает стабильную производительность для каждого вычислительного инстанса. Amazon EFS отличается высокой доступностью и надежностью. С Amazon EFS оплате подлежат только реально используемые ресурсы; минимальные взносы и платежи за настройку отсутствуют.

Вопрос. Какие примеры использования поддерживает Amazon EFS?

Сервис Amazon EFS предназначен для обеспечения производительности широкого спектра рабочих нагрузок и приложений, включая обработку и анализ больших данных, рабочие процессы обработки мультимедийных файлов, управление контентом и распространение файлов через Интернет, а также домашние каталоги.

Классы хранилища Amazon EFS Standard идеально подходят для работы с рабочими нагрузками, которые требуют наивысшего уровня надежности и доступности.

Классы EFS One Zone идеальны для таких рабочих нагрузок, как среды разработки, сборки и промежуточные. Они также превосходно подходят для аналитики, моделирования и транскодирования мультимедийного содержимого, а также для резервных копий или реплик локальных данных, не требующих устойчивости в нескольких зонах доступности.

Вопрос. В каких случаях рекомендуется использовать Amazon EFS вместо Amazon Elastic Block Store (Amazon EBS) по сравнению с Amazon S3?

AWS предлагает сервисы облачных хранилищ для широкого диапазона рабочих нагрузок, связанных с хранением данных.

EFS – это сервис хранения файлов для использования с вычислительными (EC2, контейнеры, бессерверные) и локальными серверами Amazon. Сервис EFS предоставляет интерфейс файловой системы, семантику доступа к файловой системе (например, строгую непротиворечивость и блокировку файлов), а также хранилище, которое одновременно доступно тысячам инстансов EC2.

Amazon EBS – это сервис блочного хранилища для использования с EC2. EBS может обеспечить производительность для рабочих нагрузок, которым требуется наименьшая задержка при доступе к данным из одного инстанса EC2.

Amazon S3 – это сервис объектного хранилища. Сервис S3 с помощью API обеспечивает доступ к данным через Интернет, т. е. из любой точки.

Подробнее о том, на что стоит обратить внимание при оценке возможностей использования Amazon EFS.

Вопрос. В каких регионах в настоящее время доступен сервис Amazon EFS?

Подробные сведения о доступности сервиса Amazon EFS по регионам см. на странице Продукты и сервисы по регионам.

Вопрос. Как начать работу с Amazon EFS?

Для использования сервиса Amazon EFS необходимо иметь аккаунт AWS. Если аккаунта у вас еще нет, можно зарегистрировать его и сразу же получить доступ к уровню бесплатного пользования AWS.

После создания аккаунта AWS ознакомьтесь с руководством по началу работы с EFS, чтобы приступить к использовать этого сервиса. Файловую систему можно создать с помощью консоли, AWS Command Line Interface (CLI), а также API EFS (и различных SDK для конкретных языков).

Вопрос. Как получить доступ к файловой системе из инстанса EC2?

Для доступа к файловой системе необходимо осуществить подключение файловой системы к инстансу EC2 на базе Linux, используя стандартную команду подключения Linux и имя DNS файловой системы. Чтобы упростить доступ к файловым системам Amazon EFS, используйте сервисную программу Amazon EFS mount helper. После подключения с файлами и каталогами в файловой системе можно работать так же, как и с локальной файловой системой.

EFS использует протокол NFS (Network File System) версии 4. Пример настройки доступа к файловой системе с инстанса EC2 с пошаговым описанием см. в этом руководстве.

Вопрос. Как управлять файловой системой?

Amazon EFS – это полностью управляемый сервис, поэтому все управление инфраструктурой хранения файлов осуществляется за вас. При использовании сервиса Amazon EFS можно избежать сложности развертывания и обслуживания сложной инфраструктуры файловой системы. Файловая система Amazon EFS расширяется и сокращается автоматически по мере добавления и удаления файлов, так что вам не нужно заботиться об управлении ресурсами для хранения или о выделении таковых.

Администрировать файловую систему можно с помощью консоли, CLI или API EFS (и различных SDK для конкретных языков). Консоль, API и SDK предоставляют возможность создавать и удалять файловые системы, настраивать доступ к файловым системам, создавать и редактировать теги файловых систем, включать дополнительные возможности, такие как Provisioned Throughput и Lifecycle Management, а также отображать подробную информацию о файловых системах.

Вопрос. Как загружать данные в файловую систему?

AWS DataSync предоставляет быстрый способ безопасной синхронизации существующих файловых систем с Amazon EFS. DataSync работает через любое сетевое подключение, в том числе через AWS Direct Connect или AWS VPN. EFS, DataSync и Direct Connect без Amazon или AWS. Для перемещения файлов данных в Amazon EFS можно также использовать стандартные средства копирования Linux.

Дополнительную информацию о доступе к файловой системе с локального сервера см. в разделе Локальный доступ этой страницы вопросов и ответов.

Дополнительную информацию о перемещении данных в облако Amazon см. на странице Миграция данных в облако.

Вопрос. Какой объем данных можно хранить?

Файловые системы Amazon EFS позволяют хранить петабайты данных. Файловые системы Amazon EFS эластичны, благодаря чему они автоматически увеличиваются и уменьшаются по мере добавления и удаления файлов. Заранее выделять размер файловой системы не требуется, а оплате подлежат только реально используемые ресурсы.

Вопрос. Сколько инстансов EC2 может подключаться к файловой системе?

Amazon EFS поддерживает от одного до тысяч инстансов Amazon Elastic Compute Cloud (EC2), одновременно подключаемых к файловой системе.

Вопрос. Сколько можно создать файловых систем, целей подключения или точек доступа?

Посетите страницу Amazon EFS Limits, чтобы больше узнать об ограничениях Amazon EFS.

Вопрос. Какую задержку, пропускную способность и производительность IOPS можно ожидать от файловой системы Amazon EFS?

Ожидаемая производительность файловой системы Amazon EFS зависит от ее конкретной конфигурации (например, класса хранения и режима пропускания) и типа операций файловой системы (чтение или запись). См. документацию о производительности файловой системы, чтобы больше узнать об ожидаемой задержке, максимальной пропускной способности и максимальной производительности IOPS для файловых систем Amazon EFS.

Вопрос. Какие режимы пропускной способности доступны для моей файловой системы?

По умолчанию файловые системы Amazon EFS создаются таким образом, чтобы обеспечивать пропускную способность, которая масштабируется в соответствии с объемом хранилища в вашей файловой системе и поддерживает повышение уровня на период до 12 часов в день.

Для рабочих нагрузок, требующих большой пропускной способности, EFS предлагает два варианта обеспечения более высоких уровней производительности независимо от хранилища файловой системы: Elastic Throughput и Provisioned Throughput. Используйте Elastic Throughput, если у вас нет информации о точной пиковой пропускной способности приложения или если ваше приложение отличается большими пиками и низкой базовой активностью (например, использует менее 5 % ресурсов в среднем, когда вы выделяете их для пиковых потребностей). Elastic Throughput автоматически масштабируется в соответствии с рабочей нагрузкой, вы платите только за используемую пропускную способность. Используйте Provisioned Throughput, если вы знаете требования своей рабочей нагрузки к пиковой пропускной способности и ожидаете, что ваша рабочая нагрузка будет потреблять более высокую часть (выше 5 % в среднем) от пиковой пропускной способности вашего приложения. Provisioned Throughput более стабильна и позволяет прогнозировать расходы.

Величина пропускной способности, которую вы можете предоставить, зависит от выбранного режима пропускной способности. Подробнее см. в разделе документации Производительность файловой системы.

Вопрос. Как отслеживать объем использования операций чтения и записи?

Пропускную способность можно отслеживать с помощью Amazon CloudWatch. Метрики TotalIOBytes, ReadIOBytes, WriteIOBytes и MetadataIOBytes отражают фактическую пропускную способность, которую используют ваши приложения. Метрики PermittedThroughput и MeteredIOBytes отражают лимит и объем использования измеряемой пропускной способности соответственно после измерения запросов на чтение в пропорции 1 : 3 по отношению к другим запросам. Для отслеживания коэффициента использования пропускной способности можно использовать график доли лимита пропускной способности в консоли Amazon EFS. Если вы используете пользовательские панели управления CloudWatch или другой инструмент мониторинга, то можно создать математическое выражение метрики CloudWatch, которое сравнивает значения MeteredIOBytes и PermittedThroughput. Если эти значения равны, то вы используете всю пропускную способность и вам стоит рассмотреть возможность использования режима Provisioned Throughput или увеличить заданную пропускную способность. Для файловых систем, работающих в режиме Bursting Throughput, необходимо отслеживать метрику BurstCreditBalance и предупреждения о приближении баланса к нулю, чтобы файловая система работала на уровне расширения.

Вопрос. Как начисляется плата в режиме Elastic Throughput?

При использовании Elastic Throughput вам начисляется плата за объем переданных данных (при чтении и записи). Если вы получаете доступ к данным из классов хранилища Infrequent Access, вы также будете платить за доступ к данным IA.

Вопрос. Как начисляется плата в режиме Provisioned Throughput?

В режиме Provisioned Throughput плата начисляется отдельно за используемое хранилище и за выделенную пропускную способность. Расчет выполняется по часам на следующей основе.

• Хранилище (за ГБ-месяц). Плата начисляется за объем использованного хранилища в ГБ-месяц.
  
• Пропускная способность (за МБ/с в месяц). Плата начисляется за выделенную пропускную способность в МБ/с в месяц.
  

Вопрос. Что произойдет с моими кредитами на расширения, когда я переключусь на Elastic Throughput?

Вам не нужно накапливать или потреблять какие-либо кредиты на расширение, если вы используете режим Elastic Throughput. Вы можете продолжать просматривать существующий баланс кредитов на расширение на Amazon CloudWatch в режиме Elastic.

Вопрос. Какова реальная пропускная способность файловой системы, если в режиме Provisioned Throughput установлена пропускная способность меньше базового уровня режима Bursting Throughput?

В режиме по умолчанию Bursting Throughput пропускная способность файловой системы масштабируется в зависимости от объема хранимых данных. Если файловая система в режиме Provisioned Throughput после первоначальной конфигурации увеличивается в размере, возможно, базовый уровень ее пропускной способности в режиме Bursting Throughput окажется выше, чем в режиме Provisioned Throughput.

В таком случае пропускная способность файловой системы равна пропускной способности в режиме Bursting Throughput (по умолчанию). Дополнительная плата за пропускную способность в режиме Bursting Throughput в этом случае не взимается. Можно также увеличить пропускную способность в соответствии с моделью увеличения пропускной способности Amazon EFS.

Вопрос. Вопрос. Какие классы хранилищ предлагает Amazon EFS?

Amazon EFS предлагает вам выбрать файловую систему с использованием классов хранения Standard или One Zone. Классы хранилищ Standard хранят данные в нескольких зонах доступности (AZ). Классы хранилищ One Zone хранят данные в избыточном виде в одной зоне доступности (AZ). В результате цена на 47 % ниже, чем при использовании классов хранилищ Standard для рабочих нагрузок, которым не требуется отказоустойчивость в нескольких зонах доступности.

EFS предоставляет четыре класса хранилищ. Это два класса Standard, EFS Standard и EFS Standard-Infrequent Access (EFS Standard-IA), и два класса One Zone, EFS One Zone и EFS One Zone-Infrequent Access (EFS One Zone-IA).

Вопрос. Как переместить файлы в EFS Standard-IA и EFS One Zone-IA?

Для перемещения файлов в EFS Standard - IA и EFS One Zone - IA сначала необходимо включить Amazon EFS Lifecycle Management и выбрать политику устаревания для файлов. Управление жизненным циклом автоматически перемещает данные из EFS Standard в класс хранилища EFS Standard-IA или из EFS One Zone в класс хранилища EFS One Zone-IA. Например, можно автоматически перемещать файлы из EFS Standard в EFS Standard-IA, если к ним не обращались один день.

Вопрос. Что такое EFS Intelligent-Tiering?

EFS Intelligent‑Tiering обеспечивает автоматическое сокращение расходов на рабочие нагрузки с неизвестной или меняющейся схемой доступа. В EFS Intelligent-Tiering используется EFS Lifecycle Management для мониторинга закономерностей доступа вашей рабочей нагрузки. Он используется для автоматического перемещения файлов, к которым не осуществлялся доступ в течение срока политики жизненного цикла (например, 30 дней), из классов хранилищ с оптимизированной производительностью (EFS Standard или EFS One Zone) в соответствующий класс оптимизированного по стоимости хранилища для файлов с нечастым доступом (EFS Standard-Infrequent Access или EFS One Zone-Infrequent Access). Он помогает вам использовать ценовое преимущество хранилищ IA, в котором цены на хранение файлов до 92 % ниже, чем цены EFS Standard или EFS One Zone. Если шаблоны доступа меняются, и к этим данным вновь осуществляется доступ, то Lifecycle Management автоматически перемещает файлы обратно в хранилище EFS Standard или EFS One Zone, снижая риск взимания платы за неограниченный доступ. Как только доступ к файлам вновь становится нечастым, Lifecycle Management, в соответствии с политикой жизненного цикла, переносит их обратно в подходящий класс хранилища IA.

Вопрос. Когда следует использовать EFS Intelligent-Tiering?

Используйте EFS Intelligent-Tiering для автоматического переноса файлов между классами хранилищ с оптимизированными производительностью и стоимостью в случае, когда шаблон доступа неизвестен. Активируйте EFS Lifecycle Management, выбрав политику автоматического перемещения файлов в EFS Standard - IA или EFS One Zone - IA. Дополнительно выберите политику автоматического возврата файлов в EFS Standard или EFS One Zone при осуществлении доступа. EFS Intelligent-Tiering позволит снизить расходы на хранение, даже если шаблоны доступа к приложениям неизвестны или меняются с течением времени. С двумя настроенными политиками Lifecycle Management вы платите только за перенос данных между классами хранилища, а не за каждый доступ к ним. Среди примеров рабочих нагрузок с неизвестными шаблонами доступа веб-ресурсы и блоги, хранящиеся в системах управления контентом, журналы, файлы вывода машинного обучения (МО) и генетические данные.

Вопрос. Какие возможности Amazon EFS поддерживаются при использовании классов хранилища EFS Standard-IA и EFS One Zone-IA?

При использовании классов хранилища EFS Standard-IA и EFS One Zone-IA поддерживаются все возможности Amazon EFS. Файлы менее 128 КиБ не могут быть обработаны компонентом Lifecycle Management (управления жизненным циклом) и всегда сохраняются в хранилище класса EFS Standard или EFS One Zone.

Вопрос. Чем отличается задержка в классах оптимизированных по производительности хранилищ (EFS Standard, EFS One Zone) и классах оптимизированных по стоимости хранилищ IA (EFS Standard-IA, EFS One Zone-IA)?

Задержка первого байта при чтении из EFS Standard-IA и EFS One Zone-IA и при записи в них превышает задержку классов хранилища EFS Standard или EFS One Zone. Классы хранилищ EFS Standard and EFS One Zone обеспечивают задержки операций чтения в доли миллисекунд, а задержки операций записи – в среднем менее 10 мс. Задержка в классах хранилищ EFS Standard-IA и EFS One Zone-IA в среднем составляет не более ста миллисекунд.

Вопрос. На какую пропускную способность я могу рассчитывать при работе с файлами, сохраненными в хранилище класса EFS Standard-IA или EFS One Zone-IA?

В режиме пропускной способности Bursting по умолчанию показатель пропускной способности, на которую можно рассчитывать при работе с файловой системой Amazon EFS, линейно масштабируется в зависимости от объема данных, сохраненных в хранилище класса EFS Standard или EFS One Zone. Все файловые системы Amazon EFS, независимо от размера, могут обеспечить пиковую пропускную способность до 100 МиБ в секунду. Файловые системы, в которых более 1 ТиБ данных хранится в классах хранилищ EFS Standard или EFS One Zone, могут достигать пропускной способности 100 МиБ в секунду на 1 ТиБ данных, хранящихся в классах хранилищ EFS Standard или EFS One Zone. Если для работы с классами хранилищ EFS Standard-IA или EFS One Zone-IA требуется более высокая пропускная способность, используйте Amazon EFS Elastic Throughput или Provisioned Throughput. Дополнительную информацию см. в документации по производительности Amazon EFS.

Как Amazon EFS обеспечивает высокую надежность и доступность данных?

По умолчанию в файловых системах, использующих классы хранилища Standard, каждый объект файловой системы EFS (такие как каталог, файл и ссылка) хранится с избыточностью в нескольких зонах доступности. Если вы выберете классы хранилищ Amazon EFS One Zone, то данные будут храниться с избыточностью в одной зоне доступности. Amazon EFS предусматривает способность выдерживать параллельные отказы устройств, быстро обнаруживая и восстанавливая любую потерю избыточности. Используя классы хранилища Standard, можно получать доступ к файловой системе одновременно из всех зон доступа (AZ) в регионе, где она расположена. Это означает, что архитектура приложения может обрабатывать отказ, переключаясь с одной зоны доступности региона для достижения максимально высокого уровня доступности. Предусмотрена высокая доступность целей подключения в зоне доступности для всех классов хранилищ EFS. Подробнее о доступности см. в Соглашении об уровне обслуживания Amazon EFS.

Вопрос. Насколько надежно работает Amazon EFS?

Amazon EFS рассчитана на 99,999999999 % (11 девяток) надежности объектов в течение года. Классы хранилища EFS Standard и EFS Standard-IA предназначены для хранения данных в случае потери зоны доступности. Поскольку классы хранилища EFS One Zone хранят данные в одной зоне доступности, хранящиеся в них данные могут быть утеряны во время аварии или другого сбоя в пределах зоны доступности. Как и для любой среды, рекомендуется иметь резервную копию и применять меры безопасности, защищающие от случайного удаления. Рекомендации по обработке данных в Amazon EFS включают репликацию файловых систем в нескольких регионах с помощью Amazon EFS Replication и функциональное регулярно проверяемое резервное копирование с помощью AWS Backup. Файловые системы, которые используют классы хранилищ EFS One Zone, по умолчанию автоматически создают резервные копии файлов при создании файловой системы, если вы не остановите эту функцию.

Вопрос. Какие случаи возникновения ошибок мне нужно принять во внимание при использовании классов Amazon EFS One Zone по сравнению с классами хранилищ Standard?

Файловые системы, использующие классы хранилищ Amazon EFS One Zone, не являются устойчивыми к полному сбою зоны доступности. Во время сбоя зоны доступности будет утеряна доступность, потому что данные файловой системы не реплицированы в другой зоне доступности. Во время аварии или сбоя в зоне доступности, влияющего на все копии ваших данных, вы можете потерять данные, не реплицированные с помощью Amazon EFS Replication. Функция EFS Replication обеспечивает целевую точку восстановления (RPO) и целевое время восстановления (RTO), измеряемые в минутах. Можно использовать AWS Backup для хранения дополнительных копий данных файловой системы и восстановления их в новой файловой системе в выбранной стране или регионе. Резервные копии данных Amazon EFS, которые созданы сервисом AWS Backup и которыми он управляет, реплицируются в трех зонах доступности. Их надежность обеспечена на 99,999999999 % (11 девяток).

Вопрос. Как защитить файловую систему EFS One Zone от потери зоны доступности?

Для защиты файловой системы EFS One Zone от потери зоны доступности можно использовать Amazon EFS Replication или AWS Backup. С помощью Amazon EFS Replication реплицирует данные файловой системы в другой регион или в пределах одного региона. При этом не требуется дополнительная инфраструктура или специальный процесс для мониторинга и синхронизации изменений в данных. Репликация EFS выполняется практически непрерывно. Так обеспечивается целевая точка восстановления (RPO) и целевое время восстановления (RTO), измеряемое в минутах для многих файловых систем.

Резервное копирование включено по умолчанию для всех файловых систем, которые используют классы хранилища Amazon EFS One Zone. Его можно отключать при создании файловых систем. Во время потери зоны доступности вы можете восстановить файловые данные из недавней резервной копии в новой файловой системе в любой рабочей зоне доступности. Если ваши данные хранятся в классах хранилища One Zone, во время потери зоны доступности могут быть потеряны файловые данные, которые были изменены с момента автоматического создания последней резервной копии.

Вопрос. Что такое Amazon EFS Replication?

С помощью EFS Replication реплицирует данные файловой системы в другой регион или в пределах одного региона. При этом не требуется дополнительная инфраструктура или специальный процесс. Amazon EFS Replication автоматически и прозрачно выполняет репликацию данных во вторую файловую систему в регионе или зоне доступности по выбору клиента. Можно использовать консоль Amazon EFS, AWS CLI и API для включения репликации в существующей файловой системе. Репликация EFS выполняется непрерывно. Так обеспечивается целевая точка восстановления (RPO) и целевое время восстановления (RTO), измеряемое в минутах, что помогает обеспечить соответствие требованиям и непрерывность бизнеса.

Вопрос. Зачем использовать EFS Replication?

Если для аварийного восстановления, соответствия требования или планирования непрерывных бизнес-процессов необходимо сохранить копию файловой системы на расстоянии многих миль друг от исходной, может помочь EFS Replication. При работе с приложениями, которым требуется межрегиональный доступ с низкой задержкой сети, Amazon EFS Replication предоставляет для выбранного региона копию «только для чтения». С помощью Amazon EFS Replication, можно оптимизировать затраты и сократить расходы на аварийное восстановление хранилища на 75 %. Используйте классы хранилища EFS One Zone и политику управления жизненным циклом с 7-дневным устареванием для своей целевой файловой системы, чтобы сократить расходы. Не требуется создавать и поддерживать пользовательский процесс репликации данных. EFS Replication также упрощает отслеживание статуса RPO и отправку оповещения с помощью Amazon CloudWatch.

Вопрос. Соответствует ли реплика файловой системе на момент времени?

Нет. EFS Replication не обеспечивает соответствие репликации на момент времени. EFS Replication публикует метрику временных меток TimeSinceLastSync в Amazon CloudWatch. Все изменения, выполненные в исходной файловой системе не позднее момента публикации, будут скопированы в место назначения. Изменения, произошедшие после записанного времени, могут не попасть в репликацию. Состояние EFS Replication можно отслеживать с помощью Amazon CloudWatch. Если процесс репликации прервется из-за события аварийного восстановления, файлы исходной файловой системы могут быть перенесены, но не скопированы в конечное местоположение. Такие файлы и их содержимое можно найти в каталоге lost+found файловой системы назначения, созданном в корневом каталоге EFS Replication.

Вопрос. Как использовать файловую систему назначения при включенной или удаленной репликации?

Когда репликация включена, влиять на вашу целевую файловую систему может только EFS Replication. В это время доступ к реплике осуществляется в режиме «только для чтения». Во время аварии можно выполнить переход на файловую систему назначения, удалив конфигурацию репликации из консоли или с помощью API DeleteReplicationConfiguration. При удалении репликации Amazon EFS остановит репликацию дополнительных изменений и разрешит внесение записей в файловую систему назначения. Затем можно адресовать приложение к файловой системе назначения, чтобы продолжить выполнение операций. После сбоя состояние файловой системы назначения можно проверить в консоли Amazon EFS или с помощью вызова API DescribeReplicationConfigurations.

Вопрос. Можно ли с помощью EFS Replication реплицировать файловую систему в несколько регионов AWS или в несколько файловых систем в дополнительном регионе?

Нет. EFS Replication поддерживает репликацию только между двумя файловыми системами.

Вопрос. Можно ли реплицировать файловые системы Amazon EFS в нескольких аккаунтах AWS?

Нет. Amazon EFS не поддерживает репликацию файловых систем в другой аккаунт AWS.

Вопрос. Влияет ли использование EFS Replication на количество кредитов на поддержание пиковой пропускной способности файловой системы, лимит операций ввода-вывода и ограничение пропускной способности?

Нет. Для EFS Replication не требуются кредиты, и работа функции не влияет на лимит операций ввода-вывода и ограничение пропускной способности ни одной файловой системы в репликационной паре.

Вопрос. Файловая система назначения будет доступна сразу после включения EFS Replication?

Да. При первом включении EFS Replication реплицированная файловая система будет находиться в режиме «только для чтения», а исходная файловая система целиком будет скопирована в выбранное место назначения. Время выполнения операции зависит от размера исходной файловой системы. Несмотря на то что переход на файловую систему назначения можно выполнить в любой момент, рекомендуется дождаться завершения копирования, чтобы свести потерю данных к минимуму. Ход репликации отслеживается в консоли Amazon EFS, где указывается время последней синхронизации исходной файловой системы и файловой системы назначения.

Вопрос. Как настроить доступ к файловой системе для определенных инстансов Amazon EC2?

Вы контролируете, какие инстансы EC2 могут обращаться к вашей файловой системе, используя правила группы безопасности VPC и политики IAM. Используйте группы безопасности VPC для управления входящим и исходящим сетевым трафиком файловой системы. Подключите политику IAM к вашей файловой системе, чтобы контролировать, какие клиенты могут монтировать вашу файловую систему и с какими разрешениями, а также использовать точки доступа EFS для управления доступом к приложениям. Доступ к файлам и каталогам можно контролировать с помощью POSIX-совместимых прав на уровне пользователей и групп.

Вопрос. Как использовать политики IAM для управления доступом к файловой системе?

Используя консоль Amazon EFS, вы можете применять к вашей файловой системе общие политики, такие как отключение корневого доступа, принудительный доступ только для чтения или принудительное шифрование всех подключений к вашей файловой системе. Вы также можете применять более сложные политики, такие как предоставление доступа к определенным ролям IAM, в том числе в других учетных записях AWS.

Вопрос. Что такое Amazon EFS Access Point?

EFS Access Point – это адрес сети, с помощью которого пользователи и приложения могут получать доступ к файловой системе EFS и применять разрешения на уровне файлов и папок (POSIX) на основе точного контроля доступа и разрешений на основе политик, определенных в IAM.

Вопрос. Зачем использовать Amazon EFS Access Points?

EFS Access Points предоставляет гибкие возможности для создания многоарендаторских сред и управления ими для ваших файловых приложений оптимизированным для облака способом, помогая вам упростить общее использование данных. В отличие от традиционных POSIX ACL для контроля доступа к файловой системе или Kerberos для управления аутентификацией, которые требуют сложной настройки, управления и обслуживания и часто становятся причиной рисков, EFS Access Points интегрируется с IAM, предоставляя возможность приложениям, оптимизированным для облака, использовать общее хранилище файлов на основе POSIX. Преимущественные варианты использования Amazon EFS Access Points включают среды на основе контейнеров, в которых разработчики создают и разворачивают свои собственные контейнеры, приложения для обработки данных, которым требуется доступ к рабочим данным, и совместное использование определенного каталога в файловой системе с другими аккаунтами AWS.

Вопрос. Как работает Amazon EFS Access Points?

При создании точки доступа Amazon EFS Access Point вы можете настроить пользователя и группу операционной системы, а также корневой каталог для всех подключений, которые ее используют. Если вы укажете владельца корневого каталога, EFS автоматически предоставит ему разрешения, которые используются при первом подключении клиента к точке доступа. Вы также можете обновить политику IAM вашей файловой системы таким образом, чтобы она применялась к вашим точкам доступа. Например, вы можете применить политику, которая требует наличия определенного удостоверения IAM, чтобы выполнить соединение с данной точкой доступа. Подробнее см. в Руководстве пользователя Amazon EFS.

Вопрос. Что такое шифрование Amazon EFS?

Amazon EFS предлагает возможность шифрования данных при хранении и передаче.

Шифрование при хранении обеспечивает прозрачное шифрование данных при записи и прозрачное дешифрование во время чтения; изменения в код приложений вносить не требуется. Ключи шифрования управляются сервисом AWS KMS, что исключает необходимость создания и поддержки собственной инфраструктуры безопасного управления ключами.

Шифрование данных при передаче использует стандартный отраслевой протокол Transport Layer Security (TLS) 1.2 для шифрования данных, которыми обмениваются клиенты и файловые системы EFS.

В целях соответствия уникальным требованиям в области безопасности шифрование данных при хранении и передаче можно настроить как совместно, так и отдельно.

Дополнительную информацию см. в документации пользователя по шифрованию.

Вопрос. Что такое AWS Key Management Service (KMS)?

AWS KMS – это управляемый сервис, который упрощает создание ключей для шифрования данных и управление ими. AWS KMS интегрирован с другими сервисами AWS, включая EFS, EBS и S3, что упрощает шифрование данных с использованием ключей шифрования, находящихся под управлением клиента. Сервис AWS KMS также интегрирован с AWS CloudTrail и предоставляет журналы использования ключей для обеспечения соответствия нормативным требованиям.

Вопрос. Как включить шифрование для файловой системы Amazon EFS?

Шифрование данных при хранении можно включить в консоли EFS, с помощью CLI или SDK. При создании новой файловой системы в консоли EFS выберите «Create File System» (Создать файловую систему) и затем установите флажок для включения шифрования.

Данные можно шифровать при передаче из файловой системы Amazon EFS к ее клиентам и обратно с помощью вспомогательного средства подключения Amazon EFS.

В целях соответствия уникальным требованиям в области безопасности шифрование данных при хранении и передаче можно настроить как совместно, так и отдельно.

Дополнительную информацию см. в документации пользователя по шифрованию.

Вопрос. Влияет ли шифрование на производительность Amazon EFS?

Шифрование данных оказывает минимальное влияние на задержку операций ввода-вывода и на пропускную способность.

Вопрос. Как получить доступ к файловой системе Amazon EFS с серверов локального ЦОД?

Для доступа к файловой системе EFS необходимо настроить между локальным ЦОД и Amazon Virtual Private Cloud (VPC) подключение с использованием Direct Connect или AWS VPN.

Подключение файловой системы Amazon EFS к локальному серверу Linux выполняется с помощью стандартной команды Linux для подключения файловой системы по протоколу v4.1.

Дополнительную информацию о доступе к файловой системе Amazon EFS с локальных серверов см. в документации.

Вопрос. Какие возможности предоставляет доступ к файловой системе Amazon EFS с локальных серверов?

Файловые системы Amazon EFS можно подключать к локальным серверам и перемещать данные в Amazon EFS и из него с помощью стандартных инструментов и скриптов Linux или AWS DataSync. Возможность перемещать данные в файловую систему Amazon EFS и из нее позволяет реализовать три примера использования.

Во-первых, можно перемещать данные из локальных ЦОД для постоянного размещения в файловых системах EFS.

Во-вторых, можно осуществлять быстрое масштабирование облачных рабочих нагрузок, чтобы переносить нагрузки по обработке приложений в облако. Можно перемещать данные с локальных серверов в файловые системы Amazon EFS, анализировать их в кластере инстансов EC2 в облаке Amazon VPC и хранить результаты на постоянной основе в файловых системах Amazon EFS или перемещать их обратно на локальные сервера.

В-третьих, можно периодически копировать локальные файлы данных в файловую систему Amazon EFS в рамках систем резервного копирования и аварийного восстановления.

Вопрос. Можно ли осуществлять доступ к своей файловой системе Amazon EFS одновременно с локальных серверов собственного ЦОД и инстансов EC2?

Да. Можно осуществлять доступ к файловой системе Amazon EFS одновременно с локальных серверов ЦОД и инстансов EC2 в облаке Amazon VPC. Amazon EFS обеспечивает единую семантику доступа к файловой системе, например строгую непротиворечивость и блокировку файлов, для всех инстансов EC2 и локальных серверов, осуществляющих доступ к файловой системе.

Вопрос. Как рекомендуется осуществлять перемещение данных на локальные серверы и в обратном направлении?

Поскольку при перемещении данных на большие расстояния требуется определенное время на прохождение сигнала, задержка сетевого соединения между локальным ЦОД и облаком Amazon VPC может составлять несколько десятков миллисекунд. Если файловые операции упорядочены, задержки сетевого соединения непосредственно влияют на производительность операций записи и чтения. По сути, объем данных, которые можно считать или записать за определенный период времени, зависит от количества времени, затрачиваемого на выполнение каждой операции чтения и записи. Для обеспечения максимальной пропускной способности следует использовать параллельные файловые операции с тем, чтобы файловая система Amazon EFS одновременно выполняла несколько операций чтения и записи. Для организации параллельных операций копирования файлов данных можно использовать стандартные инструменты, такие как GNU parallel. Дополнительную информацию см. в онлайн‑документации.

Вопрос. Как скопировать существующие данные из локального хранилища файлов в Amazon EFS?

Существует несколько способов скопировать существующие локальные данные в Amazon EFS. AWS DataSync обеспечивает быстрый и простой способ безопасной синхронизации существующих файловых систем с EFS и работает по любой сети, в том числе через AWS Direct Connect.

AWS Direct Connect обеспечивает выделенное сетевое подключение с высокой пропускной способностью и низкой задержкой. Его можно использовать для подключения файловых систем EFS. После подключения для копирования данных в EFS можно использовать DataSync, при этом копирование выполняется до 10 раз быстрее, чем при использовании стандартных средств копирования Linux.

Дополнительные сведения об AWS DataSync см. в разделе Передача данных на этой странице вопросов и ответов.

Вопрос. Как с помощью AWS перенести данные в файловую систему?

DataSync – это онлайн-сервис переноса данных, который ускоряет и упрощает перенос данных из локальных хранилищ в Amazon EFS и наоборот. DataSync использует специальный протокол для ускорения и обеспечения безопасности переноса данных через Интернет или Direct Connect на скорости до 10 раз больше, чем при использовании инструментов с открытым исходным кодом. С помощью DataSync можно выполнять однократные переносы данных, переносить локальные данные для своевременного анализа в облаке и автоматизировать репликацию данных в AWS в целях защиты и обеспечения возможности восстановления.

AWS Transfer Family – это полностью управляемый сервис передачи файлов, который взаимодействует с протоколами Secure File Transfer Protocol (SFTP), File Transfer Protocol over SSL (FTPS) и File Transfer Protocol (FTP). Группа сервисов AWS Transfer Family предоставляет полностью управляемый сервис передачи данных с высоким уровнем доступности и возможностями автомасштабирования, избавляя вас от необходимости в управлении инфраструктурой, связанной с передачей файлов. Рабочие процессы конечных пользователей остаются без изменений, а данные, отправляемые и загружаемые с помощью выбранных протоколов, хранятся в файловой системе Amazon EFS.

Вопрос. Как переместить данные в файловую систему Amazon EFS или из нее?

Чтобы начать работу с DataSync, с помощью консоли или CLI нужно подключить агент к локальным или облачным файловым системам по протоколу NFS, указать файловую систему Amazon EFS и начать копировать данные. Сначала необходимо развернуть программный агент, который доступен для загрузки из консоли, за исключением случаев копирования файлов между двумя файловыми системами Amazon EFS.

Прежде чем начать работу с AWS Transfer Family, убедитесь, что каталоги файловой системы доступны пользователям POSIX, которых вы планируете назначить для работы с AWS Transfer. Затем можно использовать Консоль, интерфейс командной строки (CLI) или API для создания конечной точки Transfer Family и пользователей. После завершения ваши конечные пользователи смогут использовать клиенты SFTP, FTP или FTPS для доступа к данным, хранящимся в файловой системе Amazon EFS.

Вопрос. Можно ли передавать данные Amazon EFS между регионами?

DataSync можно использовать для перемещения файлов между двумя файловыми системами Amazon EFS, в том числе если они находятся в разных регионах AWS. Конечные точки AWS Transfer Family должны находиться в том же регионе, что и файловая система Amazon EFS.

Вопрос. Могу ли я получить доступ к файловой системе с другого аккаунта AWS?

Да. DataSync можно использовать для копирования файлов в файловую систему Amazon EFS с другого аккаунта AWS.

Также можно настроить файловую систему Amazon EFS для доступа к AWS Transfer Family с другого аккаунта, если для этого аккаунта имеются соответствующие разрешения. Подробнее о предоставлении разрешений AWS Transfer Family внешним аккаунтам с помощью политик файловой системы, см. в документации.

Вопрос. Какое возможно взаимодействие между существующими сервисами AWS и Amazon EFS, обеспечена ли совместимость между ними?

EFS интегрирован с рядом других сервисов AWS, включая CloudWatch, AWS CloudFormation, CloudTrail, IAM и AWS Tagging.

CloudWatch помогает контролировать работу файловой системы с помощью метрик. CloudFormation помогает создавать файловые системы и управлять ими с помощью шаблонов.

CloudTrail помогает записывать все вызовы API EFS в файлы журналов.

IAM помогает контролировать административный доступ к вашей файловой системе. Сервисы AWS Tagging помогают помечать файловые системы с помощью заданных пользователем метаданных.

Расходы на файловую систему Amazon EFS можно планировать и контролировать с помощью сервиса AWS Budgets. С AWS Budgets можно работать из консоли AWS Billing and Cost Management. Для использования AWS Budgets вы создаете месячный бюджет расходов на файловые системы Amazon EFS.

Вопрос. Какой тип блокировки поддерживает Amazon EFS?

Блокировка в Amazon EFS определяется протоколом v4.1 для рекомендуемой блокировки и позволяет приложениям использовать блокировку как всего файла, так и диапазона байтов.

Вопрос. Являются ли имена файловых систем уникальными (как названия корзин S3)?

Каждая файловая система имеет автоматически сгенерированный идентификационный номер, который является уникальным. Можно дополнительно пометить файловую систему с помощью названия, при этом названия не обязательно должны быть уникальными.

Вопрос. Сколько стоит использование сервиса Amazon EFS?

При работе с Amazon EFS оплате подлежат только использованные в течение месяца ресурсы.

При использовании режима Provisioned Throughput дополнительно оплачивается пропускная способность, выделенная в течение месяца. Минимальные платежи и плата за настройку отсутствуют.

Цена на хранилище Amazon EFS нечастого доступа зависит от объема используемого хранилища и объема данных, к которым вы осуществляете доступ. Пока управление жизненным циклом не завершит перемещение файла в класс хранилища EFS с нечастым доступом (EFS Standard - IA или EFS One Zone - IA), он хранится в EFS Standard или EFS One Zone, и за него взимается плата по тарифу на Standard или One Zone соответственно.

Информация о ценах на EFS см. на странице Цены на Amazon EFS.

Вопрос. Ваши цены указаны с учетом налогов?

Если не указано иное, представленные здесь цены не включают применимые налоги и сборы, в том числе НДС и применимый налог с продаж. Для клиентов с платежным адресом в Японии использование сервисов AWS облагается потребительским налогом Японии. Подробнее.

Вопрос. Могу ли я получить доступ к Amazon EFS из контейнеров Amazon ECS?

Да. Вы можете получить доступ к EFS из контейнерных приложений, запускаемых Amazon ECS, с помощью типов запуска EC2 и Fargate, ссылаясь на файловую систему EFS в своем определении задачи. Инструкции по началу работы см. в документации ECS.

Вопрос. Могу ли я получить доступ к Amazon EFS из подов Amazon Elastic Kuberenetes Service (EKS)?

Да. Доступ к EFS можно получить из контейнерных приложений, запускаемых Amazon EKS, с типом запуска EC2 или Fargate, используя драйвер EFS CSI. Инструкции по началу работы см. в документации EKS.

Вопрос. Могу ли я получить доступ к Amazon EFS из функций AWS Lambda?

Да. Вы можете получить доступ к EFS из функций, работающих в Lambda, ссылаясь на файловую систему EFS в настройках функции. Инструкции по началу работы представлены в документации Lambda.

Вопрос. Могу ли я получить доступ к Amazon EFS из Amazon SageMaker?

Да. Вы можете получить доступ к обучающим данным в EFS из заданий обучения Amazon SageMaker, ссылаясь на файловую систему EFS в запросе CreateTrainingJob. EFS также автоматически используется для домашних каталогов, созданных в SageMaker Studio.