AWS Storage Gateway – это общедоступный сервис

Начать работу со Storage Gateway бесплатно

Уровень бесплатного пользования AWS включает первые 100 ГБ данных, записанные в аккаунт Amazon через сервис AWS Storage Gateway.

Подробнее об уровне бесплатного пользования AWS »

Вопрос: Что представляет собой сервис AWS Storage Gateway?

Сервис AWS Storage Gateway позволяет создать гибридное хранилище, объединяющее локальную среду и облако AWS. Он позволяет эффективно интегрировать локальные корпоративные приложения и процессы с облачными сервисами блочных и объектных хранилищ с помощью стандартных протоколов. Сервис хранит локальный кэш часто запрашиваемых данных, что позволяет обеспечить высокую производительность, при этом все данные безопасно и надежно хранятся в облачных хранилищах Amazon. Сервис также предоставляет механизмы оптимизированной передачи данных и управления пропускной способностью, с помощью которых снижается объем передаваемых данных и обеспечивается поддержка рабочих процессов при ненадежном сетевом соединении. Этот сервис интегрирует в рабочую среду компании сервисы шифрования, управления удостоверениями, мониторинга и хранилищ AWS, обеспечивая тем самым безопасность, управляемость, надежность и масштабируемость. Стандартные примеры использования сервиса включают резервное копирование и архивацию данных, аварийное восстановление, перемещение данных в хранилище S3 для выполнения рабочих нагрузок в облаке и многоуровневое хранение данных.

AWS Storage Gateway поддерживает три интерфейса: файловый, ленточный и интерфейс томов. Каждый шлюз может обеспечить интерфейс какого-то одного типа.

Файловый шлюз позволяет хранить и извлекать объекты в Amazon S3, используя файловые протоколы, такие как NFS. К объектам, записанным с помощью файлового шлюза, можно напрямую получать доступ из S3.

Шлюз томов предоставляет блочное хранилище для приложений, используя протокол iSCSI. Данные на томах хранятся в Amazon S3. Для доступа к томам iSCSI в AWS можно взять снимки состояния EBS, которые используются для создания томов EBS.

Ленточный шлюз обеспечивает для приложений резервного копирования интерфейс виртуальной ленточной библиотеки стандарта iSCSI, которая состоит из виртуального устройства смены носителя, виртуального привода лент и виртуальных лент. Данные виртуальных магнитных лент можно хранить в сервисе Amazon S3 либо заархивировать в Amazon Glacier.

Вопрос: Как пользоваться сервисом AWS Storage Gateway?

Есть два способа использовать этот сервис: с помощью Консоли управления AWS или с помощью виртуальной машины шлюза.

Консоль управления AWS используется для загрузки шлюза, настойки хранилища, а также для мониторинга и управления. Шлюз соединяет приложения пользователя с хранилищем AWS через стандартные интерфейсы. Он также обеспечивает прозрачное кэширование, эффективную передачу данных и интеграцию с сервисами мониторинга и безопасности AWS.

Чтобы начать работу, зарегистрируйтесь в сервисе AWS Storage Gateway, нажав на кнопку «Зарегистрироваться» на странице сведений о сервисе. Для регистрации требуется аккаунт Amazon Web Services. Если его еще нет, аккаунт будет предложено создать в начале процесса регистрации в сервисе AWS Storage Gateway.

После регистрации перейдите в консоль управления AWS Storage Gateway, чтобы загрузит шлюз с интерфейсом для файлов, томов или лент. Загрузив и установив виртуальный шлюз, свяжите его со своим аккаунтом AWS, выполнив процесс активации. После активации настройте шлюз для подключения к необходимому типу хранилища. Для файлового шлюза настройте с помощью ролей IAM общий доступ к файловым ресурсам, ссылающимся на корзины S3. Для шлюза томов создайте и подключите тома как устройства iSCSI. Для ленточного шлюза подключите приложение резервного копирования, чтобы создавать ленты и управлять ими. После настройки можно начать использовать шлюз для записи данных в хранилище AWS и их чтения. В Консоли управления AWS можно проверить статус передачи данных и состояние интерфейса хранилища. Кроме того, вы можете использовать API или SDK, чтобы программно управлять взаимодействием со шлюзом.

Вопрос: Что такое файловый шлюз?

Файловый шлюз предоставляет виртуальный файловый сервер, который позволяет сохранять объекты Amazon S3 и извлекать их с помощью стандартных протоколов доступа к файловым хранилищам. При этом имеющиеся файловые приложения или устройства могут без дополнительной настройки использовать безопасное и надежное облачное хранилище. С помощью файлового шлюза настроенные корзины S3 станут доступны как точки подключения сетевой файловой системы (NFS). Приложения будут обращаться к файлам и папкам на файловом сервере по протоколу NFS, используя шлюз в качестве интерфейса. При этом шлюз будет преобразовывать файловые операции в запросы объектов в корзинах S3. Кроме того, шлюз кэширует данные, используемые при последнем запросе, чтобы обеспечить быстрый доступ к ним, а также оптимизирует передачу данных между локальным ЦОД и AWS. После загрузки объектов в S3 вы имеете прямой доступ к ним и можете управлять ими, используя политики жизненного цикла S3, управление версиями или межрегиональную репликацию. Файловый шлюз можно запускать локально или в EC2.

Вопрос: Что такое шлюз томов?

Шлюз томов предоставляет экспортируемый объект iSCSI, с помощью которого можно создавать тома и подключать их в виде устройств iSCSI на локальных серверах приложений или серверах приложений EC2. Шлюз томов может работать либо в режиме кэширования, либо в режиме хранения.

  • В режиме кэширования основные данные записываются в S3, а часто используемые данные сохраняются локально в кэше для обеспечения доступа с минимальной задержкой.
  • В режиме хранения основные данные хранятся локально, поэтому вся база данных доступна без задержек. При этом выполняется асинхронное резервное копирование базы данных в облако.

В любом режиме можно делать снимки состояния томов и сохранять их в Amazon S3. Полученные копии томов, оптимизированные для компактного хранения, повышают уровень защиты данных или могут быть использованы для других целей.

Вопрос: Что такое ленточный шлюз?

Ленточный шлюз предоставляет приложениям для резервного копирования доступ к интерфейсу виртуальной ленточной библиотеки, состоящей из устройства смены носителей и привода лент. Чтобы создать виртуальные ленты для хранения в виртуальной ленточной библиотеке, воспользуйтесь Консолью управления AWS. Приложение для резервного копирования может считывать или записывать данные, смонтировав содержащие их ленты в виртуальных приводах с помощью виртуального устройства смены носителей. Навигация по лентам выполняется приложением с помощью его стандартной процедуры управления носителями. Виртуальные ленты доступны для прямого обращения, а их резервные копии хранятся в Amazon S3. Ленты также можно архивировать. Заархивированные ленты хранятся в Amazon Glacier.

Вопрос: Какими преимуществами обладает AWS Storage Gateway?

Сервис AWS Storage Gateway предоставляет набор возможностей, с помощью которых можно эффективно использовать хранилище AWS для существующих приложений и рабочих процессов. В нем доступны стандартные протоколы, такие как iSCSI и NFS, использование которых не требует изменения приложений. Сервис сохраняет часто используемые данные в локальном кэше, обеспечивая доступ к ним с низкими задержками. AWS Storage Gateway оптимизирует процесс передачи данных в хранилище AWS, используя такие методы, как интеллектуальная буферизация, управление загрузкой для компенсации нестабильной работы сети, а также управление пропускной способностью. Сервис также предоставляет эффективный метод хранения данных в хранилище AWS, оптимального для данного примера использования. Он прост в развертывании и позволяет использовать уже сделанные инвестиции в инфраструктуру и собственные супервизоры. Шлюз работает без сохранения состояний, поэтому при необходимости расширить хранилище можно легко добавить инстансы новых шлюзов. И наконец, сервис легко интегрируется с сервисами управления AWS, такими как Amazon CloudWatch, AWS CloudTrail, AWS KMS и IAM.

Вопрос: Какое шифрование используется для защиты данных в AWS Storage Gateway?

При передаче данных между любым устройством шлюза и хранилищем AWS они шифруются с использованием SSL. По умолчанию данные, сохраненные AWS Storage Gateway в S3, шифруются на стороне сервера с помощью ключей шифрования под управлением Amazon S3 (SSE-S3). При использовании файлового шлюза для каждого файлового хранилища также можно настроить шифрование объектов с помощью ключей под управлением AWS KMS, используя SSE-KMS.

Вопрос: Соответствует ли AWS Storage Gateway требованиям HIPAA?

Да. AWS Storage Gateway соответствует требованиям HIPAA. Если договор делового партнерства (BAA) с AWS уже заключен, можно использовать Storage Gateway для хранения, резервного копирования и архивирования закрытой медицинской информации (PHI) в масштабируемых, экономичных и надежных сервисах хранения AWS (в том числе Amazon S3, Amazon Glacier и Amazon EBS, которые также соответствует требованиям HIPAA).

Информацию о сервисах AWS, соответствующих требованиям HIPAA, можно найти на странице Соответствие требованиям HIPAA. Заключить договор BAA с AWS можно здесь. Соответствие требованиям HIPAA для Storage Gateway относится ко всем типам шлюзов (файловым шлюзам, шлюзам томов и ленточным шлюзам).

 

К началу

Вопрос: Что такое файловый шлюз?

Файловый шлюз предоставляет локальный виртуальный файловый сервер, который позволяет сохранять объекты Amazon S3 и извлекать их с помощью стандартных протоколов доступа к файлам.

Вопрос: Для чего предназначен файловый шлюз?

Варианты использования файлового шлюза: a) загрузка файловых данных в S3 для использования в рабочих нагрузках в качестве объектов; b) «выход в облако», при котором можно переместить данные в AWS, запустить обработку рабочей нагрузки и получить доступ к результатам из локального приложения; c) перенос файла в объекты в S3; d) применение в качестве экономичного хранилища для резервных копий и архивов; e) аварийное восстановление и f) расширение локального хранилища за счет различных уровней S3.

Вопрос: Каковы преимущества использования файлового шлюза для хранения данных в S3?

С помощью файлового шлюза можно переключить свои приложения, устройства и процессы, работающие с файлами, на использование облачного хранилища без дополнительной модификации. Шлюз использует стандартные файловые протоколы и обеспечивает безопасное длительное хранение файлов и метаданных в виде объектов в корзинах Amazon S3.

Вопрос: Какие протоколы поддерживаются? Можно ли использовать Microsoft Windows?

Файловый шлюз поддерживает клиентское подключение по протоколам NFS версии 3 и 4.1. Если клиент для Windows поддерживает протокол NFS версии 3, его можно использовать для подключения к шлюзу.

Вопрос: Как создать и настроить хранилище файлов с общим доступом?

Хранилище файлов с общим доступом можно создать с помощью Консоли управления AWS или API сервиса. Затем необходимо связать его с новой или существующей корзиной S3. Настроить хранилище можно с помощью административных элементов управления, таких как ограничение доступа для определенных клиентов NFS или сетей, предоставление разрешения только на чтение или на чтение и запись, а также включение функции отмены разрешений пользователя.

Вопрос: Как файловый шлюз получает доступ к корзине S3?

Для доступа к корзине S3 файловый шлюз использует роль AWS Identity and Access Management (IAM). Их можно настроить самостоятельно либо автоматически через консоль управления AWS Storage Gateway. При автоматической настройке AWS Storage Gateway создаст в аккаунте пользователя новую роль IAM и свяжет ее с политикой доступа IAM, разрешающей доступ к корзине S3. Роль и политика доступа IAM создаются в рамках аккаунта, поэтому их можно изменять их по своему усмотрению.

Вопрос: Как приложение получает доступ к хранилищу файлов с общим доступом?

Чтобы использовать это хранилище, подключите его к приложению с помощью стандартных команд UNIX или Windows. Для удобства в Консоли управления показаны строки с примерами команд.

Вопрос: Какая связь существует между файлами и объектами?

Файлы в виде объектов хранятся в корзинах S3, а для объектов, создаваемых файловым шлюзом, можно настроить начальный класс хранилища. Между файлами и объектами существует взаимно-однозначное соответствие. При этом можно настроить начальный класс хранилища для создаваемых шлюзом файлов.

Ключ объекта является производной пути к файлу в файловой системе. Например, если имя хоста шлюза file.amazon.com и он связан с корзиной my-bucket, шлюз откроет точку подключения file.amazon.com:/export/my-bucket. При локальном подключении по адресу /mnt/my-bucket и создании файла с названием file.html в папке /mnt/my-bucket/dir этот файл будет сохранен как объект в корзине my-bucket с ключом dir/file.html.

Вопрос: Какие операции с файловой системой поддерживаются файловым шлюзом?

Клиент NFS может создавать, читать, обновлять и удалять файлы и каталоги. В S3 файлы сохраняются в виде отдельных объектов. В S3 каталоги представлены в виде объектов папок, и ими можно управлять, используя синтаксис консоли S3.

Символические ссылки и жесткие ссылки не поддерживаются. Попытка создать ссылку вызывает ошибку NFS. Создание разреженных файлов приведет к созданию в S3 неразреженного объекта с нулевым заполнением.

Клиентам NFS операции переименования будут казаться атомарными, но S3 не поддерживает переименование объектов. При переименовании файла или каталога шлюз выполняет запросы COPY и PUT для создания копии объектов в S3 с новыми ключами, а затем удаляет оригиналы. Это позволяет избежать повторной отправки больших файлов по сети. Переименование каталогов, содержащих большое количество файлов, выполняется не мгновенно и приводит к тому, что в S3, до тех пор пока операция переименования не завершится, хранятся 2 копии данных.

Вопрос: Какие метаданные файловой системы доступны для NFS-клиентов?

NFS-клиент имеет доступ к метаданным файловой системы для файлов и каталогов, включая владельца, права доступа и временные метки. Эти метаданные надежно хранятся в S3 в пользовательских метаданных объекта, связанного с файлом. Для объектов, которые были сохранены непосредственно в корзину S3, а не через файловый шлюз, можно настроить владельца по умолчанию и разрешения.

Вопрос: Как установить значение Content-Type для файлов, загруженных в S3?

Для каждого файлового хранилища можно включить определение MIME-типов загруженных объектов при создании или активировать эту возможность позднее. При включении этой возможности файловый шлюз будет определять MIME-тип файла по его расширению, а затем соответствующим образом устанавливать значение Content-Type для объектов S3. Это может пригодиться при использовании файлового шлюза для управления объектами в S3, к которым осуществляется доступ напрямую по URL или которые распространяются через Amazon CloudFront.

Вопрос: Можно ли использовать несколько NFS-клиентов с одним файловым шлюзом?

К одному файловому шлюзу могут подключаться несколько клиентов. Однако, как и в случае с другими NFS-серверами, одновременное изменение объектов несколькими клиентами может привести к непредсказуемым результатам. Для безопасного одновременного доступа процесс должен регулироваться на уровне приложения.

Вопрос: Можно ли записывать данные в корзину S3 несколькими программными средствами?

Нет. Рекомендуется использовать лишь одну программу для записи данных. Если перезаписать или обновить напрямую объект, который был добавлен через шлюз, при обращении к этому объекту через хранилище может возникнуть ошибка. Одновременное изменение одного объекта (например, через API S3 и файловый шлюз) может привести к непредсказуемым результатам, поэтому мы рекомендуем избегать таких настроек.

Вопрос: Можно ли записывать различные данные в одну корзину через несколько шлюзов?

Настраивать несколько шлюзов для записи в одну корзину не рекомендуется, поскольку это может привести к непредсказуемым результатам. Чтобы избежать конфликтов, можно обеспечить уникальные имена объектов или префиксы на уровне приложения. Файловый шлюз не отслеживает конфликты и не сообщает о них.

Вопрос: Можно ли использовать несколько шлюзов для чтения данных из одной корзины?

Да. Файлы из одной корзины, управляемые файловым шлюзом, можно читать через несколько других шлюзов. Можно предоставить права только на чтение из хранилища файлов с общим доступом и разрешить нескольким шлюзам читать объекты из одной корзины. Кроме того, с помощью вызова API RefreshCache можно обновить перечень известных шлюзу объектов.

Обратите внимание: если к хранилищу файлов с общим доступом не настроить доступ только на чтение, файловый шлюз не будет ни отслеживать, ни предотвращать непроизвольную запись файлов в эту корзину через другие шлюзы. Поэтому ограничение на запись из нескольких источников должно быть установлено на уровне приложения.

Вопрос: Как узнать, что файл загрузился?

При записи файлов в файловое хранилище данные сначала сохраняются локально, а потом асинхронно загружаются в корзину S3. Можно настроить уведомление о завершении загрузки с помощью AWS CloudWatch Events. Такие уведомления можно использовать для запуска дополнительных рабочих процессов, выполнение которых связано с загруженными в S3 данными, например для вызова функций AWS Lambda или Amazon EC2 Systems Manager Automation. Подробнее см. в документации.

Вопрос: Что если в корзине уже есть объекты?

Если в корзине есть объекты и вы подключили ее к файловому шлюзу, эти объекты будут отображаться как файлы в NFS-клиенте. Файлам будут назначены метаданные по умолчанию. Метаданные, которые присваиваются по умолчанию, можно настраивать.

Чтобы уменьшить задержку и время выполнения запросов S3, файловый шлюз только сканирует заголовки объектов при явном перечислении файлов или каталогов. Данные загружаются только при чтении всего объекта.

Вопрос: Можно ли обнаружить новые объекты, созданные в корзине S3 после создания хранилища файлов с общим доступом (например, созданные при обработке рабочей нагрузки, связанной с объектами)?

С помощью RefreshCache API или консольной команды можно обновить перечень известных шлюзу объектов.

Вопрос: Можно ли получить непосредственный доступ к объектам, сохраненным в S3 через файловый шлюз?

Да. После загрузки объектов в хранилище S3 с ними можно работать в облаке AWS без обращения к файловому шлюзу. Объекты наследуют свойства корзины, в которой они хранятся, такие как управление жизненным циклом и межрегиональная репликация.

Только шлюз должен управлять объектами, доступ к которым осуществляется через файловое хранилище. Если перезаписать или обновить напрямую объект, который был добавлен через шлюз, при обращении к этому объекту через хранилище может возникнуть ошибка.

Вопрос: Сколько файловых хранилищ можно создать для одной корзины?

Между файловыми хранилищами и корзинами устанавливается взаимно однозначная привязка. Количество хранилищ файлов с общим доступом для каждой корзины не ограничено. При этом рекомендуется использовать лишь одну программу для записи данных в корзину: либо файловый шлюз, либо клиент, имеющий непосредственный доступ к S3. 

Вопрос: Сколько файловых хранилищ можно создать для одного шлюза?

Для каждого шлюза можно создать до 10 файловых хранилищ.

Вопрос: Каков максимально допустимый размер файла?

Максимальный размер файла – 5 ТБ (совпадает с максимально допустимым размером одного объекта в сервисе S3). При попытке записать файл размером более 5 ТБ выводится сообщение об ошибке «file too large», загружаются только первые 5 ТБ данных.

Вопрос: В моем приложении перед копированием данных проверяется размер хранилища. Какой размер возвращает шлюз?

Шлюз возвращает значение 8 ЭБ как общий объем вашего хранилища. В сервисе Amazon S3 общий объем хранилища не ограничен.

Вопрос: Можно ли использовать управление версиями, жизненные циклы, межрегиональную репликацию и уведомления о событиях S3?

Да. Политики управления версиями, жизненным циклом и межрегиональной репликацией, а также уведомления о событиях S3, настроенные для корзины, можно применять для объектов, загруженных в корзину через шлюз AWS Storage Gateway.

Вы можете использовать политики управления жизненным циклом S3 для изменения уровня хранения объекта, а также для удаления старых объектов или версий объектов. В случае удаления объектов политикой жизненного цикла, чтобы отобразить эти изменения для клиентов NFS, необходимо будет сделать вызов API RefreshCache.

При использовании корзины S3, которая является целевой для межрегиональной репликации, чтобы обеспечить синхронизацию кэша шлюза и корзины S3, может потребоваться вызов API RefreshCache.

При использовании оповещений о событиях S3 можно получать события для частичных файлов, созданных шлюзом, чтобы обеспечить надежное хранение данных в S3. Частичные файлы могут возникать по нескольким причинам, например вследствие необходимости освободить пространство в кэше шлюза или из-за большого количества операций записи в файл. Эти частичные файлы могут быть не согласованы с приложением.

Вопрос: Можно ли записывать файлы напрямую в Amazon Glacier или считывать их из этого хранилища?

Политики управления жизненным циклом для корзины позволяют перемещать файлы в хранилище Amazon Glacier. При попытке чтения файла в хранилище Amazon Glacier будет возвращаться стандартная ошибка ввода/вывода.

Вопрос: Можно ли использовать файловый шлюз в приложении для резервного копирования?

Файловый шлюз поддерживает клиенты NFS 3 и 4.1. Мы продолжаем тестировать распространенные приложения для резервного копирования. Сообщите нам, если требуется поддержка определенного приложения.

Вопрос: Можно ли использовать файловый шлюз для записи файлов в EFS?

Нет. Файловый шлюз позволяет записывать файлы в виде объектов в хранилище S3.

Вопрос: Когда следует использовать файловый шлюз, а когда API S3?

Файловый шлюз следует использовать, если требуется доступ к объектам в хранилище S3 в виде файлов с помощью стандартных операций файловой системы. Кроме того, файловый шлюз обеспечивает быстрый доступ к локальному хранилищу и эффективную передачу данных. Если приложению не требуется выполнять операции файловой системы и файлы можно загружать напрямую, используйте API S3.

Вопрос: Как в файловом шлюзе устроен локальный кэш? Какие данные сохраняются локально?

Локальное дисковое хранилище шлюза используется для временного хранения изменившихся данных, которые требуется переместить в AWS. Кроме того, оно используется для локального кэширования данных, к которым необходимо обеспечить доступ для чтения с низкой задержкой. Файловый шлюз автоматически управляет кэшем, сохраняя самые последние использованные данные, которые определяются на основе операций чтения и записи NFS-клиента. Данные удаляются из кэша только в том случае, если требуется пространство для сохранения более новых данных.

Чтобы максимально повысить эффективность записи, шлюз использует механизм отложенной записи, при котором данные сначала сохраняются на диск, а потом асинхронно загружаются в хранилище S3. Для максимальной эффективности операций чтения шлюз использует данные из локального кэша. Если необходимые данные отсутствуют в кэше, они синхронно подгружаются из хранилища Amazon S3 с помощью запросов GET на уровне байтов.

Размер локального кэша, как правило, должен соответствовать рабочему набору данных, к которому необходимо обеспечить быстрый доступ. Если размер кэша недостаточен, это приведет к увеличению задержки при операциях чтения, поскольку необходимые данные надо будет загружать из хранилища S3. При этом операции записи могут вовсе закончиться неудачей, поскольку в кэше будет недостаточно места для локального сохранения данных перед выгрузкой в S3.

Вопрос: Выполняет ли файловый шлюз сжатие данных?

Нет. Каждому файлу без каких-либо изменений назначается прямое соответствие объекту в корзине. Это позволяет работать с данными напрямую в S3 без использования шлюза или дополнительных приложений для разархивирования.

Файловый шлюз использует многокомпонентные загрузки и операции COPY и PUT, поэтому в S3 загружаются только измененные данные. Это уменьшает объем передаваемых данных. Шлюз не выполняет автоматическую загрузку всех объектов или данных, находящихся в корзине. Данные загружаются только при явном запросе со стороны NFS-клиента.

Вопрос: Можно ли использовать файловый шлюз с сервисом Amazon S3 Transfer Acceleration?

Если корзина настроена на использование S3 Transfer Acceleration, файловый шлюз не будет использовать ускоренные адреса серверов.

Вопрос: Каким образом файловый шлюз производит запись в корзину S3 и чтение из нее?

Файловый шлюз использует для доступа к корзине S3 роли IAM. Их можно создать самостоятельно либо автоматически через Консоль управления AWS. При автоматическом создании ролей файловый шлюз создаст в аккаунте пользователя новую роль IAM и свяжет ее с политикой доступа IAM, разрешающей доступ к корзине S3. Роль и политика доступа IAM создаются в рамках аккаунта, поэтому их можно изменять.

Вопрос: Какое шифрование используется в файловом шлюзе для защиты данных?

При передаче данных между шлюзом и хранилищем AWS они шифруются с использованием SSL. По умолчанию данные, хранящиеся в хранилище S3 на сервере, шифруются с помощью ключей шифрования Amazon S3 Managed Encryption Keys (SSE-S3). Для каждого файлового хранилища можно настроить шифрование объектов с помощью ключей AWS KMS-Managed Keys, используя сервис SSE-KMS.

К началу

Вопрос: Как соотносится шлюз томов с доступными ранее режимами кэширования и хранения на шлюзе?

Шлюз томов представляет собой семейство шлюзов, поддерживающих блочные тома, которые раньше назывались режимами кэширования и хранения на шлюзе.

В режиме кэширования томов все данные хранятся в Amazon S3, а часто запрашиваемые данные сохраняются шлюзом локально. Этот режим обеспечивает значительную экономию средств при использовании основного хранилища, сводя к минимуму необходимость масштабирования локального хранилища и обеспечивая быстрый доступ к часто используемым данным.

В режиме хранения томов все данные хранятся в локальном хранилище, при этом резервные копии томов асинхронно создаются в виде снимков состояния Amazon EBS и сохраняются в Amazon S3. В результате пользователь получает надежное и недорогое решение для внешнего резервного копирования. Полученные резервные копии можно восстанавливать на шлюзе локально или в облаке, например в Amazon EC2, если требуется замена ресурсов при аварийном восстановлении.

Вопрос: Какое количество томов и какой объем данных поддерживает один шлюз? Каков максимально допустимый объем тома?

Каждый шлюз томов поддерживает до 32 томов. В режиме кэширования каждый том может иметь размер до 32 ТБ, а общий размер шлюза может достигать 1 ПБ (32 тома по 32 ТБ каждый). В режиме хранения каждый том может иметь размер до 16 ТБ, а общий размер шлюза может достигать 512 ТБ (32 тома по 16 ТБ каждый).

Шлюзы томов сжимают данные для передачи и хранения в AWS. Это позволяет снизить расходы на передачу и хранение данных. Хранилище для томов не выделяется заранее, поэтому оплате подлежит только объем сохраненных данных тома, а не его общая емкость.

Вопрос: Почему в Amazon S3 не отображаются данные моего тома?

Данные хранятся в Amazon S3 и доступны только через AWS Storage Gateway. С ними нельзя работать напрямую с помощью API Amazon S3. Вы можете делать снимки состояния томов, кэшируемых или хранящихся на шлюзе, на момент времени. Это обеспечит прямой доступ к томам в виде снимков состояния Amazon EBS. С данными можно работать напрямую в хранилище S3. Для этого используйте интерфейс работы с файлами.

Вопрос: Какое шифрование используется для защиты данных в шлюзе томов?

При передаче данных между шлюзом и хранилищем AWS они шифруются с использованием SSL. По умолчанию данные, сохраненные шлюзом томов в хранилище S3, шифруются на стороне сервера с помощью ключей шифрования под управлением Amazon S3 (SSE-S3).

Вопрос: Зачем использовать снимки состояния?

Можно делать снимки состояния томов шлюза в виде снимков Amazon EBS. Снимок состояния тома можно использовать как основу для нового тома Amazon EBS, который затем будет присоединен к инстансу Amazon EC2. Это позволяет легко создать зеркальную копию данных локальных приложений для приложений, работающих в Amazon EC2, при необходимости увеличения объема вычислительных ресурсов по требованию или на случай аварийного восстановления.

Для кэшируемых томов, данные которых уже хранятся в Amazon S3, снимки состояния можно использовать для сохранения определенных версий данных. Такой подход позволяет при необходимости возвратиться к предыдущей версии или создать новый том на основе определенной версии. Снимки состояния можно создавать по расписанию или в произвольный момент времени. При создании нового снимка состояния сохраняются только те данные, которые были изменены с момента сохранения последнего снимка. Если объем тома составляет 100 ГБ, но только 5 ГБ данных были изменены с момента создания последнего снимка состояния, то только эти 5 дополнительных ГБ данных снимка состояния будут храниться в Amazon S3. При удалении снимка состояния будут удалены только те данные, которые не нужны для других снимков состояния.

Для томов, хранящихся на шлюзе, где данные тома хранятся локально, снимки состояния обеспечивают надежное удаленное хранение резервных копий в Amazon S3. При необходимости восстановления такой том можно создать из снимка состояния. Можно также использовать снимок состояния тома, хранящегося на шлюзе, в качестве отправной точки для нового тома Amazon EBS, который затем можно подключить к инстансу Amazon EC2.

Вопрос: Какие данные будет содержать снимок состояния? Как выбрать время для снимка состояния, чтобы гарантировать создание полной резервной копии?

Снимок состояния представляет собой копию тома на момент запроса на создание данного снимка. Снимок состояния содержит всю информацию, имеющуюся на момент создания снимка и требуемую для восстановления данных в новый том. В снимок состояния будут включены данные, записанные вашим приложением в том перед созданием снимка, но еще не загруженные в AWS.

Снимок сразу же получит идентификатор и будет виден в Консоли управления AWS и через интерфейс командной строки AWS, но сначала будет находиться в статусе «PENDING». Как только все данные, записанные в том перед запросом на создание снимка состояния, будут загружены из шлюза в EBS, состояние изменится на «AVAILABLE». После этого можно использовать данный снимок для создания нового шлюза или тома EBS.

Вопрос: Как из снимка состояния восстановить шлюз?

Каждый снимок состояния получает уникальный идентификатор. Его можно посмотреть в Консоли управления AWS. Указав идентификатор, можно создать том AWS Storage Gateway или Amazon EBS на основе любого из имеющихся снимков состояния.

С помощью Консоли управления AWS можно создать новый том виртуального шлюза из снимка состояния, сохраненного в Amazon S3, а затем подключить его как устройство iSCSI к локальному серверу приложений.

Поскольку основные данные кэшируемых томов хранятся в хранилище Amazon S3, при создании нового тома из снимка состояния шлюз сохраняет данные снимка в Amazon S3, и они становятся основными данными нового тома.

Поскольку основные данные сохраненных томов хранятся локально, при создании нового тома из снимка состояния шлюз загружает содержащиеся в снимке состояния данные на локальный носитель. После этого они становятся основными данными нового тома.

Вопрос: Нужно ли размонтировать тома AWS Storage Gateway, чтобы сделать снимок состояния? Чтобы снова использовать том, необходимо сначала завершить процесс создания снимка?

Нет, процесс создания снимков состояния не требует размонтирования томов и не влияет на работу приложений. Однако следует учесть, что снимок состояния включает только записанные в том Amazon Storage Gateway данные, поэтому в него могут не войти данные, сохраненные в локальном кэше приложения или ОС.

Вопрос: Можно ли запланировать создание снимков состояния томов AWS Storage Gateway?

Да. Для каждого из томов можно создавать снимки состояния по графику. Вы можете установить определенное время при ежедневном создании снимков либо интервал создания (каждый час, каждые 2, 4, 8, 12 или 24 часа).

Вопрос: Сколько времени занимает создание снимка состояния?

Время, требуемое для их создания, зависит от размера тома и скорости интернет-подключения к облачному хранилищу AWS. AWS Storage Gateway выполняет сжатие всех данных перед их загрузкой, что позволяет сократить время создания снимка состояния.

Вопрос: Можно ли работать с данными снимков состояния посредством API Amazon S3?

Нет, доступ к снимкам состояния есть только из сервисов AWS Storage Gateway и Amazon EBS, и с ними нельзя работать напрямую с помощью API Amazon S3.

Вопрос: Каковы ограничения на количество снимков состояния для одного шлюза?

Ограничения на количество снимков состояния или объем данных для выполнения снимков отсутствуют.

К началу

Вопрос: Какой объем данных можно хранить на виртуальной магнитной ленте?

При создании виртуальной ленты можно выбрать для нее объем 100 ГБ, 200 ГБ, 400 ГБ, 800 ГБ, 1,5 ТБ или 2,5 ТБ. Обратите внимание, что плата взимается за объем сохраненных данных на каждой ленте, а не за общий размер ленты.

Вопрос: Сколько лент может храниться в виртуальной ленточной библиотеке?

В каждом ленточном шлюзе может храниться до 1500 виртуальных лент общей емкостью до 1 ПБ.

Вопрос: Какой объем данных может храниться в ленточном архиве?

Количество лент, хранящихся в архиве, и их размер не ограничены.

Вопрос: Как осуществляется доступ к данным на виртуальных магнитных лентах?

Перед тем как начать работу с виртуальной лентой, содержащей ваши данные, ее необходимо сохранить в виртуальной ленточной библиотеке. Доступ к виртуальной ленточной библиотеке осуществляется мгновенно. Если лента с данными находится в архиве, ее можно извлечь оттуда с помощью Консоли управления AWS. Для этого нужно выбрать виртуальную магнитную ленту, а затем виртуальную ленточную библиотеку, в которую требуется загрузить эту ленту. Выбранная лента станет доступна в указанной виртуальной ленточной библиотеке примерно через 24 часа. После того как виртуальная лента станет доступна в виртуальной ленточной библиотеке, данные с виртуальной ленты можно будет восстановить с помощью приложения для резервного копирования.

Вопрос: Какие приложения для резервного копирования можно использовать при работе с ленточным шлюзом?

Интерфейс виртуальной ленточной библиотеки можно использовать в приложениях для резервного копирования и архивации, поддерживающих стандартный интерфейс ленточных библиотек на основе iSCSI. Полный список поддерживаемых приложений для резервного копирования см. в разделе требований руководства пользователя AWS Storage Gateway.

Вопрос: Можно ли работать с виртуальными лентами, которые находятся в виртуальной ленточной библиотеке, с помощью API Amazon S3 или API Amazon Glacier?

Нет. Доступ к данным на виртуальных магнитных лентах с помощью API Amazon S3 или API Amazon Glacier не предусмотрен. Однако с помощью API ленточного шлюза можно работать как с виртуальной ленточной библиотекой, так и с ленточной полкой.

Вопрос: Какое шифрование используется для защиты данных в ленточном шлюзе?

При передаче данных между шлюзом и хранилищем AWS они шифруются с использованием SSL. По умолчанию данные, сохраненные ленточным шлюзом в хранилище S3, шифруются на стороне сервера с помощью ключей шифрования под управлением Amazon S3 (SSE-S3).

К началу

Вопрос: Какова скорость работы шлюза?

Поскольку виртуальная машина AWS Storage Gateway является посредником между приложением и хранилищем AWS, скорость работы будет зависеть от ряда факторов. К таким факторам относятся пропускная способность сети между инициатором iSCSI или NFS-клиентом и шлюзом, скорость работы и конфигурация локальных дисков, конфигурация виртуальной машины, объем локального хранилища, выделенный для шлюза, а также пропускная способность сети между шлюзом и хранилищем Amazon.

Инструкции по оптимизации настроек среды для повышения производительности см. в технической документации AWS.

Вопрос: Каковы минимальные аппаратные и программные требования для использования AWS Storage Gateway?

Требования см. в соответствующем разделе Руководства пользователя по AWS Storage Gateway.

Вопрос: Можно ли использовать AWS Storage Gateway с AWS Direct Connect?

Да. Вы можете воспользоваться сервисом AWS Direct Connect, чтобы дополнительно повысить пропускную способность и снизить затраты на использование сети путем установки выделенного сетевого подключения между локальным шлюзом и облаком AWS. Сервис AWS Storage Gateway эффективно использует полосу пропускания, ускоряя загрузку локальных данных приложений в облачное хранилище AWS.

Вопрос: Можно ли направить интернет-трафик AWS Storage Gateway через локальный прокси-сервер?

Да. Шлюзы томов и ленточных накопителей поддерживают конфигурацию прокси-серверов Socket Secure версии 5 (SOCKS5) между локальным шлюзом и AWS. Файловые шлюзы поддерживают конфигурацию прокси-сервера HTTP.

Вопрос: Какой тип сжатия данных обеспечивает сервис AWS Storage Gateway?

Шлюз томов и ленточный шлюз обеспечивают сжатие данных как при передаче, так и при хранении, позволяя снизить расходы на передачу и хранение данных. Сервис загружает только изменившиеся данные, сводя к минимуму объем данных, пересылаемых через Интернет.

Вопрос: Поддерживает ли сервис AWS Storage Gateway регулирование ширины полосы пропускания?

Да. В Консоли управления AWS можно ограничить ширину полосы пропускания между шлюзом и облачным хранилищем AWS. При этом скорость передачи данных можно задать отдельно для входящего и исходящего трафика.

Вопрос: Как осуществляется мониторинг шлюза?

С помощью сервиса Amazon CloudWatch можно отслеживать метрики производительности шлюза, которые предоставляют данные о хранилище, ширине полосы пропускания, скорости передачи данных и задержке. Эти метрики доступны непосредственно в CloudWatch; также можно воспользоваться ссылками в консоли AWS Storage Gateway, которые приводят непосредственно к метрикам CloudWatch для рассматриваемого ресурса. Дополнительные сведения см. на странице сведений о продукте и ценах на CloudWatch.

Вопрос: Как можно измерить производительность кэша на шлюзе?

Можно использовать метрики Amazon CloudWatch, включая CachePercentDirty, CacheHitPercent, CacheFree и CachePercentUsed. Их можно посмотреть, перейдя по ссылке «Monitoring» на вкладке сведений о шлюзе в консоли AWS Storage Gateway.

Вопрос: Как можно измерить пропускную способность, используемую шлюзом?

Можно использовать метрики Amazon CloudWatch, включая CloudBytesUploaded и CloudBytesDownloaded.

Вопрос: Как осуществляются обновления в сервисе AWS Storage Gateway?

AWS Storage Gateway периодически устанавливает важные обновления и исправления ПО на виртуальной машине шлюза. Вы можете настроить еженедельное расписание обслуживания, которое позволит управлять временем установки обновлений на шлюзе. Можно также устанавливать обновления вручную, когда они становятся доступными. Это можно делать с помощью консоли AWS Storage Gateway либо API. Процесс обновления обычно занимает всего несколько минут. Дополнительную информацию см. в разделе документации Управление обновлениями шлюза.

К началу

Вопрос: Как начисляется плата за использование сервиса AWS Storage Gateway?

При начислении платы учитываются три аспекта: объем хранилища, количество запросов и количество передаваемых данных. Подробную информацию о ценах см. на странице цен на AWS Storage Gateway.

Вопрос: Как начисляется плата за использование файлового хранилища при использовании файлового шлюза?

Файловый шлюз хранит данные напрямую в Amazon S3. Плата начисляется по тарифам Amazon S3 за объем, занимаемый объектами, и количество запросов, выполняемых шлюзом. Подробную информацию о ценах сервиса см. на странице цен на Amazon S3.

Вопрос: Как начисляется плата за объем томов или виртуальных лент при использовании шлюза лент?

Плата начисляется за объем данных в томах и на виртуальных лентах, хранимых в AWS. Это плата пропорциональна количеству дней и зависит от региона. Вы платите только за фактически используемый объем томов или виртуальных лент, а не за выделенный объем хранилища. Все данные, хранимые на томе или виртуальной ленте, сжимаются на шлюзе перед передачей в AWS. Это позволяет сократить расходы на хранение данных. Подробную информацию о ценах см. на странице цен на AWS Storage Gateway.

Вопрос: Как начисляется плата за создание снимков состояния EBS для томов AWS Storage Gateway?

Снимки состояния EBS для томов шлюза хранятся в Amazon EBS. Плата начисляется в соответствии с тарифами Amazon EBS. При создании нового снимка состояния для снижения затрат на хранение данных сохраняются только те данные, которые были изменены с момента сохранения последнего снимка. Подробную информацию см. на странице цен на Amazon EBS.

Вопрос: Как начисляется плата за чтение и запись данных?

Если шлюз записывает данные в AWS, за это будет взиматься плата по тарифу 0,01 USD за один гигабайт данных, но не более чем 125 USD в месяц за каждый шлюз. Плата за чтение данных не взимается. Поскольку шлюз кэширует данные, оптимизирует пропускную способность, а в случае ленточного шлюза и шлюза томов еще и сжимает данные, объем данных, записанных в AWS, может быть меньше объема данных, записанным приложением в шлюз. Объем данных, записанный шлюзом в AWS, можно отслеживать с помощью метрик Amazon CloudWatch. Кроме того, для сокращения расходов можно настроить ограничение пропускной способности на шлюзе.

Вопрос: Как начисляется плата за извлечение данных заархивированной виртуальной ленты?

За извлечение заархивированной виртуальной ленты начисляется плата по тарифу 0,01 USD за один гигабайт данных, хранимых на ленте. Например, при извлечении 5 лент, на каждой из которых хранится 100 ГБ, будет начислена плата 5 х 100 ГБ х 0,01 USD = 5,00 USD.

Вопрос: Как начисляется плата за удаление виртуальной лены, которая хранилась менее трех месяцев?

Если лента удаляется менее чем через три месяца после архивации, взимается плата за досрочное удаление. За удаление виртуальной ленты, срок хранения которой больше или равен трем месяцам, плата не взимается.

В регионе Восток США (Сев. Вирджиния) взимается пропорциональная плата в размере 0,012 USD за гигабайт для лент, удаленных в течение трех месяцев. Например, если удалить одну виртуальную магнитную ленту объемом 1 ГБ через месяц после ее загрузки, будет начислено 0,008 USD за досрочное удаление. Если ту же самую ленту удалить через два месяца после ее загрузки, будет начислено 0,004 USD за досрочное удаление.

Вопрос: Как начисляется плата за передачу данных по сети в AWS и из нее при использовании AWS Storage Gateway?

Плата начисляется за передачу каждого гигабайта данных через Интернет в направлении от AWS к виртуальному шлюзу. Передача данных при загрузке в AWS не оплачивается.

Вопрос: Как определить, за какой объем хранилища будет начислена плата?

В консоли Billing and Cost Management отображается расчетная сумма за пользование каждым из сервисов, включая тома и виртуальные магнитные ленты AWS Storage Gateway, с начала месяца до текущей даты. Чтобы проанализировать уровень использования по отдельным томам или виртуальным лентам, воспользуйтесь подробными отчетами о платежах, которые позволяют увидеть ежедневный уровень использования каждого ресурса.

Вопрос: Начисляется ли плата за запросы в S3 при использовании файлового шлюза?

Вы будете платить за запросы в S3, сделанные файловым шлюзом от вашего имени для хранения и извлечения ваших файлов из S3 в виде объектов. Шлюз кэширует данные в объеме, который соответствует объему выделенных локальных дисков, что помогает снизить затраты на извлечение данных.

Вопрос: С какого момента начинается начисление ежемесячной платы?

Система начисления платы работает по всемирному скоординированному времени (UTC). Календарный месяц начинается в полночь по UTC первого дня каждого месяца.

Вопрос: Ваши цены указаны с учетом налогов?

Если не указано иное, представленные здесь цены не включают применимые налоги и сборы, в том числе НДС и применимый налог с продаж. Для клиентов с адресом выставления счета в Японии использование региона Азия и Тихий океан (Токио) облагается потребительским налогом Японии. 

К началу

Вопрос: Распространяется ли поддержка AWS Premium Support на использование сервиса AWS Storage Gateway?

Да, услуга AWS Premium Support распространяется на решение вопросов, связанных с использованием сервиса AWS Storage Gateway. Подробности и цены см. на странице сведений AWS Premium Support.

Вопрос: Имеются ли другие варианты поддержки?

Обширная база знаний сообщества AWS доступна на форуме обсуждения сервиса AWS Storage Gateway.

К началу