Общие вопросы и ответы по S3

Вопрос: Что такое Amazon S3?

Amazon S3 – это объектное хранилище, рассчитанное на хранение и извлечение любых объемов данных из любого места в Интернете. Это простой сервис хранилища, который обеспечивает чрезвычайно надежную, высокодоступную и бесконечно масштабируемую инфраструктуру для хранения данных по очень низким ценам.

Вопрос: Что можно делать с помощью Amazon S3?

Amazon S3 предоставляет простой интерфейс веб-сервиса, который можно использовать для хранения и извлечения любых объемов данных в любое время из любого места в Интернете. Такой веб-сервис позволяет просто создавать приложения, использующие интернет-хранилище. Поскольку сервис Amazon S3 обеспечивает широкие возможности масштабирования, а плата начисляется только за фактически использованные ресурсы, можно начать работу с небольших масштабов и наращивать приложение по мере необходимости, не жертвуя при этом производительностью или надежностью.

Сервис Amazon S3 спроектирован для максимальной гибкой работы. Вы можете хранить данные любого типа и в любом количестве; считывать те же самые данные миллион раз или только для аварийного восстановления; создавать простое FTP-приложение или сложное веб-приложение, сравнимое с розничным интернет-магазином Amazon.com. Amazon S3 позволяет разработчикам сосредоточить внимание на инновациях, не переживая о том, как хранить данные.

Вопрос: Как начать работу с Amazon S3?

Чтобы зарегистрироваться в сервисе Amazon S3, щелкните эту ссылку. Чтобы получить доступ к этому сервису, требуется аккаунт Amazon Web Services. Если аккаунта еще нет, вам будет предложено создать его в начале процесса регистрации в сервисе Amazon S3. После регистрации обратитесь к документации по Amazon S3 и образцам кода в Центре ресурсов для начала работы с Amazon S3.

Вопрос: Какие преимущества по сравнению с локальными решениями Amazon S3 открывает для разработчиков?

Сервис Amazon S3 позволяет любому разработчику в массовом масштабе использовать преимущества, которыми пользуется сама компания Amazon, без предварительной оплаты или снижения собственной производительности. Теперь разработчики могут свободно вводить новшества, зная, что, независимо от того, насколько успешным будет бизнес, обеспечить быстрый и постоянный доступ к данным и их безопасность будет легко и недорого.

Вопрос: Какие типы данных могут храниться в Amazon S3?

Можно хранить практически любые типы данных в любом формате. Дополнительную информацию см. в Лицензионном соглашении Amazon Web Services.

Вопрос: Какой объем данных может храниться в Amazon S3?

Общий объем хранимых данных, как и количество объектов, ограничений не имеет. Размер отдельных объектов Amazon S3 может составлять от 0 байт до 5 ТБ. Самый крупный объект, который можно загрузить через один запрос PUT – 5 гигабайт. Для объектов крупнее 100 мегабайт клиентам рекомендуется использовать функцию многокомпонентной загрузки.

Вопрос: Какие классы хранилищ предлагает Amazon S3?

Сервис Amazon S3 предлагает несколько классов хранилища, предназначенных для различных примеров использования. Существует четыре класса хранилищ с высокой степенью надежности: это стандартное хранилище Amazon S3 общего назначения (S3 Standard) для часто используемых данных; стандартное хранилище нечастого доступа Amazon S3 (S3 Standard – IA) или хранилище нечастого доступа Amazon S3 в одной зоне доступности (S3 One Zone – IA) для данных, требующих длительного хранения, но менее частого доступа; и Amazon S3 Glacier для длительного хранения архивных данных. Подробнее об этих классах хранилищ см. на странице «Классы хранилищ Amazon S3»

Вопрос: Как Amazon распоряжается моими данными в Amazon S3?

Amazon хранит ваши данные и прослеживает их использование для выставления счета. Amazon не имеет доступа к вашим данным ни с какими целями, не связанными с сервисом Amazon S3, за исключением случаев, когда это требуется законом. Дополнительную информацию см. в Лицензионном соглашении Amazon Web Services.

Вопрос: Хранит ли Amazon в Amazon S3 свои данные?

Да. Разработчики в компании Amazon используют Amazon S3 для самых разнообразных проектов. Многие из этих проектов используют Amazon S3 в качестве надежного хранилища данных, используемых в критически важных для бизнеса процессах.

Вопрос: Как организованы данные в Amazon S3?

Amazon S3 – это простое хранилище объектов на основе ключа. При хранении данных объектам назначается уникальный ключ, который может использоваться впоследствии для доступа к данным. Ключи могут иметь любые строковые значения; их можно создавать так, чтобы имитировать иерархические атрибуты. Кроме того, для организации данных во всех корзинах и/или с любыми префиксами S3 можно воспользоваться функцией S3 Object Tagging.

Вопрос: В каком интерфейсе можно работать с Amazon S3?

Amazon S3 предоставляет простые, стандартизированные интерфейсы веб-сервисов REST и SOAP, предназначенные для работы с любым инструментарием интернет-разработки. Мы намеренно упростили все системные процессы, чтобы позволить просто добавлять новые протоколы раздачи и функциональные уровни.

Вопрос: Насколько надежен Amazon S3?

Amazon S3 предоставляет любому разработчику доступ к той же масштабируемой, высокодоступной, быстрой и недорогой инфраструктуре хранения данных, которую Amazon использует для управления своей собственной глобальной сетью веб-сайтов. Класс хранилища S3 Standard рассчитан на обеспечение доступности на уровне 99,99 %, класс хранилища S3 Standard-IA — на уровне 99,9 %, а класс хранилища S3 One Zone-IA — на уровне 99,5 %. Использование хранилищ всех перечисленных классов регулируется Соглашением об уровне обслуживания Amazon S3.

Вопрос: Как будет работать Amazon S3 в случае внезапного всплеска трафика из приложения клиента?

Amazon S3 с самого начала был создан для обработки трафика из любого интернет-приложения. Оплата по мере использования и неограниченный объем ресурсов предотвращают дополнительные издержки и прерывание сервиса. Огромный масштаб Amazon S3 позволяет нам равномерно распределять нагрузку, чтобы пики трафика не сказывались на отдельных приложениях.

Вопрос: Предлагает ли Amazon S3 Соглашение об уровне обслуживания (SLA)?

Да. Соглашение об уровне обслуживания Amazon S3 предусматривает компенсацию в случае, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Регионы AWS

Вопрос: Где хранятся мои данные?

При создании корзины Amazon S3 можно выбрать регион AWS. Хранилища классов S3 Standard, S3 Standard – IA и S3 Glacier обеспечивают автоматическое хранение объектов на нескольких устройствах, расположенных как минимум в трех зонах доступности, расстояние между которыми в пределах региона AWS составляет несколько километров. Объекты, размещаемые в хранилище класса S3 One Zone – IA, сохраняются с избыточностью в пределах одной зоны доступности в выбранном регионе AWS. Дополнительные сведения о доступности Amazon S3 в конкретных регионах AWS см. на странице «Продукты и сервисы по регионам».

Вопрос: Что такое регион AWS?

Регион AWS – это географическое местоположение, где AWS предоставляет множество физически разделенных и изолированных зон доступности, которые объединены в сеть с низкой задержкой, высокой пропускной способностью и высокой избыточностью.

Вопрос: Что такое зона доступности AWS (AZ)?

Зона доступности AWS – это изолированное местоположение в регионе AWS. В каждом регионе AWS сервис S3 использует как минимум три зоны доступности, расстояние между которыми составляет несколько километров, что обеспечивает защиту от локальных стихийных бедствий, таких как пожары, наводнения и пр.

Хранилища классов Amazon S3 Standard, S3 Standard – IA и S3 Glacier реплицируют данные как минимум в трех зонах доступности для обеспечения защиты данных в случае полного выхода одной из зон доступности из строя. Это условие остается в силе и в регионах, где публично доступно менее трех зон доступности. Объекты, размещенные в хранилищах этих классов, доступны из всех зон доступности в регионе AWS.

Хранилища класса Amazon S3 One Zone – IA реплицируют данные в пределах одной зоны доступности. Данные, размещаемые в хранилищах этого класса, могут пострадать в случае повреждения зоны доступности.

Вопрос: Как решить, в каком регионе AWS хранить данные?

Следует принять во внимание несколько факторов, исходя из потребностей вашего конкретного приложения. Может иметь смысл хранить данные в регионе, который...

  • ...расположен близко к вашим клиентам, центрам обработки данных или другим ресурсам AWS с целью понижения задержки при доступе к данным.
  • ...удален от других ваших узлов и систем в целях географической избыточности и аварийного восстановления.
  • ...позволяет удовлетворить определенным юридическим и нормативным требованиям.
  • ...позволяет понизить затраты на хранилище. В целях экономии средств можно выбрать менее дорогой регион. Подробней о ценах сервиса см. на странице цен на Amazon S3.

Вопрос: В каких частях света доступен сервис Amazon S3?

Сервис Amazon S3 доступен в регионах AWS по всему миру, и клиенты могут его использовать независимо от своего местоположения. Требуется только решить, в каких регионах AWS вы хотите хранить свои данные в Amazon S3. Список регионов AWS, в которых в настоящее время доступен сервис S3, см. в таблице доступности сервисов AWS по регионам.

Оплата

Вопрос: Сколько стоит Amazon S3?

Используя сервис Amazon S3, вы платите только за то, что реально используете. Минимальный сбор не взимается. Оценить сумму своего ежемесячного счета можно с помощью Калькулятора AWS.

Чем ниже наши расходы, тем меньшую плату мы взимаем. Некоторые цены могут меняться в зависимости от региона Amazon S3. При выставлении счетов цены основываются на местоположении корзины. Плата за передачу данных через запрос COPY внутри региона Amazon S3 не взимается. Плата за передачу данных через запрос COPY между регионами AWS взимается по тарифам, указанным в разделе цен на странице описания Amazon S3. Плата за передачу данных между Amazon EC2 и Amazon S3 внутри одного региона (например, за передачу данных между Amazon EC2 в регионе Северная Вирджиния и Amazon S3 в регионе Восток США (Северная Вирджиния)) не взимается. Плата за передачу данных между Amazon EC2 и Amazon S3 в различных регионах (например, между Amazon EC2 в регионе Северная Калифорния и Amazon S3 в регионе Восток США (Северная Вирджиния)) взимается по тарифам, указанным на странице цен на Amazon S3.

Вопрос: Каков принцип оплаты пользования сервисом Amazon S3?

Для начала работы с сервисом не требуются предоплата или какие-либо обязательства. В конце месяца с вашей кредитной карты будет автоматически снята сумма за пользование сервисом по итогам месяца. Расходы за текущий расчетный период можно просмотреть в любое время на веб-сайте Amazon Web Services, войдя в аккаунт Amazon Web Services и нажав на «Account Activity» под «Your Web Services Account».

Уровень бесплатного пользования AWS позволяет приступить к работе с Amazon S3 бесплатно во всех регионах, кроме региона AWS GovCloud. После регистрации новые клиенты AWS бесплатно получают 5 ГБ хранилища Amazon S3 Standard, 20 000 запросов GET, 2000 запросов PUT, 15 ГБ входящего трафика и 15 ГБ исходящего трафика ежемесячно в течение одного года.

Amazon S3 взимает плату за следующие типы использования. Обратите внимание на то, что приведенные расчеты не учитывают возможность применения уровня бесплатного пользования AWS.

Использованный объем хранилища

Все цены на хранилище Amazon S3 приводятся на странице цен на Amazon S3.

Объем подлежащего оплате за месяц хранилища основан на среднем объеме хранилища, использованном на протяжении месяца. Это включает все данные объектов и метаданные, хранимые в корзинах, созданных под вашим аккаунтом AWS. Мы измеряем использование хранилища по формуле «ПериодХранения-БайтЧасы», которая суммируется в конце месяца для подсчета платы за месяц.

Пример использования хранилища:

Предположим, клиент хранит 100 ГБ (107 374 182 400 байт) данных в хранилище Amazon S3 Standard в своей корзине в течение первых 15 дней в марте и 100 ТБ (109 951 162 777 600 байт) данных в хранилище Amazon S3 Standard в течение последних 16 дней в марте.

К концу марта объем использования в байт-часах будет следующим: всего использовано байт-часов = [107 374 182 400 байт x 15 дней x 24 часа] + [109 951 162 777 600 байт x 16 дней x 24 часа] = 42 259 901 212 262 400 байт-часов.

Переведем в ГБ-месяцы: 42 259 901 212 262 400 байт-часов / 1 073 741 824 байт в 1 ГБ / 744 часа в месяце = 52 900 ГБ-месяцев

Данный объем использования подпадает под три различных уровня пользования. Ежемесячная стоимость ниже вычисляется для региона Восток США (Сев. Вирджиния). Уровень 50 ТБ: 51 200 ГБ x 0,023 USD = 1177,60 USD. Уровень от 50 ТБ до 450 ТБ: 1700 ГБ x 0,022 USD = 37,40 USD

Всего за хранение = 1177,60 USD + 37,40 USD = 1215,00 USD

Передача входящих данных через сеть

Тарифы на передачу входящих данных в Amazon S3 приводятся на странице цен на Amazon S3. Это соответствует объему данных, посылаемых в ваши корзины Amazon S3. 

Передача исходящих данных через сеть

Тарифы на передачу исходящих данных из Amazon S3 приводятся на странице цен на Amazon S3. В Amazon S3 эта плата взимается каждый раз, когда данные считываются с любой из ваших корзин в местоположении за пределами данного региона Amazon S3.

Уровни расценок на передачу исходящих данных учитывают совокупный объем передаваемых вами исходящих данных из данного региона в Интернет через Amazon EC2, Amazon S3, Amazon RDS, Amazon SimpleDB, Amazon SQS, Amazon SNS и Amazon VPC. Данные уровни не применяются при передаче исходящих данных из Amazon S3 в одном регионе AWS в другой регион AWS.

Пример передачи исходящих данных:
Предположим, вы передаете 1 ТБ данных из Amazon S3 в регионе Восток США (Северная Вирджиния) в Интернет каждый день в течение месяца, в котором 31 день. Предположим, вы также передаете 1 TБ данных из инстанса Amazon EC2 из того же региона в Интернет в течение того же 31-дневного месяца.

Совокупный объем передаваемых вами данных будет 62 TБ (31 TБ из Amazon S3 и 31 TБ из Amazon EC2). Это равняется 63 488 ГБ (62 TБ * 1024 ГБ/TБ).

Данный объем использования попадает под три различных уровня пользования. Приведенные ниже расчеты стоимости исходящих данных основаны на предположении, что передача данных происходит в регионе Восток США (Северная Вирджиния).
Уровень 10 TБ: 10 239 ГБ (10 × 1024 ГБ/TБ – 1 (бесплатно)) x 0,09 USD = 921,51 USD
Уровень от 10 TБ до 50 TБ: 40 960 ГБ (40×1024) x 0,085 USD = 3481,60 USD
Уровень от 50 TБ до 150 TБ: 12 288 ГБ (остаток) x 0,070 USD = 860,16 USD

Всего за передачу исходящих данных = 921,51 USD + 3481,60 USD + 860,16 USD= 5263,27 USD

Запрос данных

Цены на запросы в Amazon S3 приводятся в таблице цен на Amazon S3.

Пример запроса:
Предположим, вы передаете 10 000 файлов в Amazon S3 и 20 000 файлов из Amazon S3 каждый день в течение месяца марта. Затем вы удаляете 5 000 файлов 31 марта.
Всего запросов PUT = 10 000 запросов x 31 день = 310 000 запросов
Всего запросов GET = 20 000 запросов x 31 день = 620 000 запросов
Всего запросов DELETE = 5 000 запросов x 1 день = 5 000 запросов

Исходя из предположения, что ваша корзина расположена в регионе Восток США (Северная Вирджиния), цена за запросы рассчитана ниже.
310 000 запросов PUT: 310 000 запросов x 0,005 USD/1 000 = 1,55 USD
620 000 запросов GET: 620 000 запросов x 0,004 USD/10 000 = 0,25 USD
5 000 запросов DELETE = 5 000 запросов x 0,00 USD (бесплатно) = 0,00 USD

Извлечение данных

Цены за извлечение данных из Amazon S3 применяются к классам хранилищ нечастого доступа S3 Standard-IA и S3 One Zone-IA; они приведены на странице цен на Amazon S3.

Пример извлечения данных
Предположим, что в одном месяце вы извлекли 300 ГБ данных из хранилища S3 Standard – IA, из которых 100 ГБ были переданы в Интернет, 100 ГБ были переданы в EC2 в том же регионе AWS и 100 ГБ были переданы в CloudFront в том же регионе AWS.

Стоимость извлечения данных за месяц составит: 300 ГБ х 0,01 USD = 3,00 USD. Обратите внимание, что с вас также будет взиматься плата за передачу данных по сети в отношении той части данных, что вышла в сеть Интернет.

Сведения о ценах на объекты, архивированные в хранилище Amazon S3 Glacier, см. по ссылке.

 * * Использование уровня бесплатного пользования рассчитывается каждый месяц во всех регионах, за исключением региона AWS GovCloud, и автоматически применяется к счету. Неиспользованные в рамках месячного доступа ресурсы не переходят на последующие месяцы. Действуют определенные ограничения. Дополнительные сведения см. в условиях предложения.

Вопрос: Почему цены отличаются в зависимости от выбранного региона Amazon S3?

Чем ниже наши расходы, тем меньшую плату мы взимаем. Например, в регионе Восток США (Северная Вирджиния) наши расходы ниже, чем в регионе Запад США (Северная Калифорния).

Вопрос: Как оплачивается управление версиями?

Каждая помещаемая на хранение или запрашиваемая версия объекта оплачивается по обычным тарифам Amazon S3. Например, рассмотрим следующий сценарий для иллюстрации стоимости хранилища при использовании функции управления версиями (предположим, что в текущем месяце 31 день):

1) 1-й день месяца: вы выполняете операцию PUT в 4 ГБ (4 294 967 296 байт) в своей корзине.
2) 16-й день месяца: вы выполняете операцию PUT в 5 ГБ (5 368 709 120 байт) в той же корзине, используя тот же ключ, что и при первой операции PUT в 1-й день.

Анализируя затраты на хранилище при вышеуказанных операциях, обратите внимание, что объект в 4 ГБ с 1-го дня не удаляется из корзины, когда объект в 5 ГБ записывается на 15-й день. Вместо этого объект в 4 ГБ сохраняется как более старая версия, а объект в 5 ГБ становится последней записанной версией объекта в корзине. В конце месяца:

Всего использованных Байт-Часов
[4 294 967 296 байт x 31 день x (24 часа / день)] + [5 368 709 120 байт x 16 дней x (24 часа / день)] = 5 257 039 970 304 Байт-Часов.

Переводя в ГБ-Месяцы:
5 257 039 970 304 байт-часов x (1 ГБ / 1 073 741 824 байт) x (1 месяц / 744 часа) = 6,581 ГБ-месяцев

Стоимость вычисляется на основе текущего тарифа для конкретного региона, который можно узнать на странице цен на Amazon S3.

Вопрос: Как оплачивается доступ в Amazon S3 через Консоль управления AWS?

При доступе в сервис через консоль управления AWS действуют стандартные цены на Amazon S3. Для оптимизации результатов консоль управления AWS может выполнять запросы заранее. Кроме того, некоторые интерактивные операции посылают более одного запроса в сервис.

Вопрос: Как начисляется плата, если к корзинам Amazon S3 осуществляется доступ из другого аккаунта AWS?

При доступе к данным с другого аккаунта AWS применяются стандартные цены Amazon S3. Кроме того, можно установить для своей корзины настройку «Requester Pays» (Платит инициатор). В этом случае стоимость запросов к данным Amazon S3 и их загрузки будет оплачивать инициатор.

Дополнительную информацию по настройке Requester Pays для корзины см. в документации по Amazon S3.

Вопрос: Ваши цены указаны с учетом налогов?

Если не указано иное, представленные здесь цены не включают применимые налоги и сборы, в том числе НДС и применимый налог с продаж. Для клиентов с платежным адресом в Японии использование сервисов AWS облагается потребительским налогом Японии.

Подробнее о налогах на сервисы AWS »

Безопасность

Вопрос: Насколько безопасно хранить данные в Amazon S3?    

Amazon S3 безопасен по умолчанию. После создания ресурсов Amazon S3 доступ к ним имеют только их владельцы. Amazon S3 поддерживает аутентификацию пользователей для управления доступом к данным. Можно использовать механизмы управления доступом, такие как политики управления корзинами и списки управления доступом (ACL) для выборочного предоставления разрешений пользователям и группам пользователей. Консоль Amazon S3 выделяет общедоступные корзины, указывает на источник общедоступности, а также предупреждает пользователя, если производимые изменения в политиках и списке контроля доступа корзины сделают эту корзину общедоступной.

Существует также возможность загружать данные в сервис Amazon S3 и из него в безопасном режиме через адреса SSL, используя протокол HTTPS. Если требуется дополнительная безопасность, можно использовать вариант шифрования на стороне сервера (SSE) для шифрования данных при хранении. Корзины Amazon S3 можно настроить на автоматическое шифрование объектов перед сохранением, если входящие запросы на хранение не предоставляют никакой информации о шифровании. Кроме того, можно использовать собственные библиотеки шифрования для шифрования данных перед их передачей на хранение в Amazon S3.

Вопрос: Как управлять доступом к своим данным, хранимым в Amazon S3?

Клиенты могут использовать четыре механизма управления доступом к ресурсам Amazon S3: политики Identity and Access Management (IAM), политики на уровне корзин, списки контроля доступа (ACL) и аутентификацию строки запроса. Сервис IAM позволяет организациям с большим штатом сотрудников создавать данные многочисленных пользователей и управлять этими данными, используя единый аккаунт AWS. С помощью политик IAM можно предоставлять пользователям IAM средства точного управления корзинами и объектами Amazon S3, в то же время также сохраняя за собой полный контроль над всем, что делают пользователи. С помощью политик на уровне корзин можно определить правила, которые применяются в целом ко всем запросам на ресурсы в Amazon S3, например предоставление прав на запись на подгруппу ресурсов в Amazon S3. Клиенты также могут ограничить доступ на основании типа запроса, например источник ссылки HTTP или IP – адрес. С помощью ACL клиенты могут предоставлять определенные разрешения (т.е. READ, WRITE, FULL_CONTROL) определенным пользователям на отдельную корзину или объект. С помощью аутентификации строки запроса можно создавать URL-адрес объекта Amazon S3, действующий только в течение ограниченного времени. Подробнее о различных политиках управления доступом к Amazon S3 см. в теме Access Control Руководства разработчика Amazon S3.

Вопрос: Поддерживает ли Amazon S3 аудит доступа к данным?

Да. При необходимости можно настроить корзину Amazon S3 так, чтобы все запросы к ней фиксировались в журнале доступа. Кроме того, если требуется записывать в журналы информацию сервиса IAM и идентификации пользователей, можно настроить AWS CloudTrail для регистрации событий, связанных с данными.

Записи в журналах доступа можно использованы в целях аудита. В них могут фиксироваться такие данные о запросе, как тип запроса, ресурсы, указанные в запросе, а также время и дата обработки запроса.

Вопрос: Какие возможности существуют для шифрования данных, хранимых в Amazon S3?

Можно выбрать механизм шифрования данных с помощью SSE-S3, SSE-C, SSE-KMS или клиентской библиотеки, такой как Amazon S3 Encryption Client. Все четыре метода позволяют хранить зашифрованные данные в покое в Amazon S3.

SSE-S3 предоставляет комплексное решение, в котором Amazon берет на себя управление ключами и их защиту с использованием несколько уровней безопасности. Если вы предпочитаете, чтобы Amazon управлял вашими ключами, рекомендуем выбрать SSE-S3.

SSE-C позволяет использовать преимущества Amazon S3 при шифровании и расшифровке объектов, сохраняя при этом контроль над используемыми для шифрования объектов ключами. При использовании SSE-C отпадает необходимость во внедрении или использовании клиентской версии библиотеки для шифрования и расшифровки хранимых в Amazon S3 объектов, но вам нужно будет управлять ключами, посылаемыми в Amazon S3 для шифрования и расшифровки объектов. Используйте SSE-C, если вы предпочитаете поддерживать свои собственные ключи шифрования, но не желаете внедрять или использовать клиентскую версию библиотеки шифрования.

SSE-KMS позволяет использовать AWS Key Management Service (AWS KMS) для управления ключами шифрования. Использование AWS KMS для управления ключами имеет несколько дополнительных преимуществ. AWS KMS применяет отдельные разрешения на использование главного ключа, обеспечивая таким образом дополнительный уровень контроля, а также защиту от несанкционированного доступа к вашим объектам, хранимым в Amazon S3. AWS KMS предоставляет аудит с информацией о том, кто и когда использовал ваш ключ и к какому объекту, а также о безуспешных попытках получить доступ к данным пользователями, не имеющими прав на расшифровку данных. Кроме того, AWS KMS предоставляет клиенту дополнительные элементы управления безопасностью для соответствия таким требованиям отрасли, как PCI-DSS, HIPAA/HITECH и FedRAMP.

Используя клиентскую библиотеку шифрования, такую как Amazon S3 Encryption Client, вы сохраняете контроль над ключами и завершаете шифрование и расшифровку объектов клиентом с помощью выбираемой вами библиотеки шифрования. Некоторые клиенты предпочитают иметь полный контроль над шифрованием и расшифровкой объектов; таким образом, только зашифрованные объекты передаются через Интернет в Amazon S3. Используйте клиентскую библиотеку шифрования, если вы предпочитаете сохранить контроль над своими ключами шифрования, можете внедрить или использовать клиентскую версию библиотеки шифрования и вам необходимо, чтобы объекты были зашифрованы перед доставкой на хранение в Amazon S3.

Дополнительную информацию о работе с Amazon S3 SSE-S3, SSE-C или SSE-KMS см. в теме Using Encryption Руководства разработчика Amazon S3.

Вопрос: Можно ли соблюдать требования правил ЕС для конфиденциальных данных, используя Amazon S3?

Сервис предоставляет возможность хранить все данные в ЕС, выбрав регион ЕС (Франкфурт), ЕС (Ирландия), ЕС (Лондон) или ЕС (Париж). Ответственность за выполнение законов ЕС о конфиденциальности данных лежит на вас. Подробнее см. на странице центра GDPR на AWS.

Вопрос: Где найти дополнительную информацию о безопасности в AWS?

Дополнительные сведения о безопасности см. в документе Amazon Web Services: обзор процессов обеспечения безопасности.

Вопрос: Что такое адрес Amazon VPC для Amazon S3?

Конечная точка Amazon VPC для Amazon S3 представляет собой логический объект в облаке VPC, который поддерживает связь только с S3. VPC Endpoint направляет запросы к S3, а отклики – обратно к VPC. Подробнее о конечных точках VPC см. в разделе «Использование конечных точек VPC».

Вопрос: Можно ли предоставить доступ к корзине Amazon S3 для определенного адреса Amazon VPC?

С помощью политик Amazon S3 можно ограничить доступ к корзине из определенной конечной точки Amazon VPC или из набора точек. Теперь в политики корзин S3 добавлена поддержка условия aws:sourceVpce, которое можно использовать для ограничения доступа. Дополнительные сведения и образцы политик см. в разделе «Использование конечных точек VPC».

Вопрос: Что такое Amazon Macie?

Amazon Macie — это сервис обеспечения безопасности на базе искусственного интеллекта. Он помогает клиентам предотвращать потерю данных путем автоматического обнаружения, классификации и защиты конфиденциальных данных, хранящихся в Amazon S3. Amazon Macie использует машинное обучение для распознавания конфиденциальных данных, таких как персональная информация (PII) или интеллектуальная собственность, определяет их коммерческую ценность и обеспечивает наглядное представление того, где хранятся эти данные, как к ним осуществляется доступ и как они используются в организации клиента. Amazon Macie непрерывно проводит мониторинг действий по доступу к данным для выявления отклонений от нормы и генерирует подробные предупреждения, если обнаруживает риск несанкционированного доступа или неумышленной утечки данных.

Вопрос: Для чего предназначен сервис Amazon Macie?

Amazon Macie предназначен для защиты от угроз безопасности путем непрерывного контроля за данными для доступа и другими важными данными клиента. Amazon Macie предоставляет автоматизированный, практически не требующий обслуживания способ обнаружения и классификации коммерческих данных клиентов. Он предоставляет элементы управления с помощью созданных по шаблонам функций Lambda, позволяющие отменить доступ или вызвать политику сброса пароля при обнаружении подозрительного поведения систем или несанкционированного доступа к данным сущностей или сторонних приложений. После создания предупреждения можно использовать Amazon Macie для реагирования на инцидент, используя Amazon CloudWatch Events для быстрого принятия мер по защите данных.

Вопрос: Как Amazon Macie защищает данные?

В процессе классификации данных Amazon Macie идентифицирует объекты клиентов в корзинах S3 и передает содержимое объектов в память для анализа. Если для сложных форматов файлов требуется более глубокий анализ, Amazon Macie загружает полную копию объекта. Копия сохраняется только на время полного анализа объекта. Сразу после того, как Amazon Macie проанализировал содержимое файла для классификации данных, он удаляет сохраняемый контент и сохраняет только метаданные, необходимые для будущего анализа. Клиенты могут в любое время отменить разрешение на доступ Amazon Macie к данным в корзине Amazon S3. Подробнее об этом см. в Руководстве пользователя Amazon Macie.

Надежность и защита данных

Вопрос. Насколько надежно хранилище Amazon S3?

Хранилища Amazon S3 Standard, S3 Standard – IA, S3 One Zone – IA и S3 Glacier обеспечивают надежность хранения объектов на уровне 99,999999999 % в течение расчетного года. Такой уровень надежности соответствует среднегодовым ожидаемым потерям объектов на уровне 0,000000001 %. Например, при хранении 10 000 000 объектов в Amazon S3 можно в среднем ожидать потерю одного объекта раз в 10 000 лет. Кроме того, хранилища Amazon S3 Standard, S3 Standard – IA и S3 Glacier обеспечивают защиту данных в случае полного выхода из строя зоны доступности S3.

Как и для любой среды, рекомендуется иметь резервную копию и применять меры безопасности, защищающие от умышленного или случайного удаления. Для данных, хранимых в S3, рекомендации включают настройку безопасных прав доступа, межрегиональную репликацию, управление версиями и регулярно проверяемую резервную копию. 

Вопрос. Каким образом в Amazon S3 и Amazon S3 Glacier обеспечена надежность на уровне 99,999999999 %?

Перед подтверждением успешного выполнения операции хранилища классов Amazon S3 Standard, S3 Standard – IA и S3 Glacier обеспечивают избыточное сохранение объектов на нескольких устройствах, расположенных как минимум в трех зонах доступности в пределах региона Amazon S3. Хранилища класса S3 One Zone – IA обеспечивают избыточное сохранение данных на нескольких устройствах в пределах одной зоны доступности. За счет быстрого обнаружения и устранения любых потерь избыточности эти сервисы устойчивы к одновременным сбоям устройств. Кроме того, в них выполняются регулярные проверки целостности данных с помощью контрольных сумм.

Вопрос: Какие контрольные суммы Amazon S3 использует для обнаружения повреждений данных?

Amazon S3 использует сочетание контрольной суммы Content-MD5 и циклических проверок избыточности (CRC) для выявления повреждения данных. Amazon S3 проверяет эти контрольные суммы на данных в покое и восстанавливает любые повреждения, используя резервную копию данных. Кроме того, при сохранении или извлечении данных сервис вычисляет контрольную сумму всего трафика с тем, чтобы определить поврежденные пакеты.

Вопрос: Что такое управление версиями?

Функция управления версиями позволяет сохранять, извлекать и восстанавливать любую версию любого объекта, сохраненного в корзине сервиса Amazon S3. После включения функции управления версиями для корзины Amazon S3 будет сохранять существующие объекты каждый раз, когда вы выполняете операцию PUT, POST, COPY или DELETE на них. По умолчанию на запросы GET извлекается последняя записанная версия. Более старые версии перезаписанного или удаленного объекта можно извлечь, указав в запросе номер версии.

Вопрос: Почему следует использовать управление версиями?

Amazon S3 предоставляет клиентам инфраструктуру хранилища с высокой степенью надежности. Управление версиями предлагает дополнительный уровень защиты, предоставляя механизм восстановления, когда клиенты случайно переписывают или удаляют объекты. Эта функция позволяет легко восстанавливать систему после непреднамеренных действий пользователей и сбоев приложений. Управление версиями можно также использовать для хранения данных и архивирования.

Вопрос: Как начать использовать управление версиями?

Для начала использования управления версиями необходимо включить параметр настройки корзины Amazon S3. Дополнительные сведения о включении функции управления версиями см. в технической документации по Amazon S3.

Вопрос: Как управление версиями предохраняет меня от случайного удаления объектов?

Когда пользователь выполняет операцию DELETE на объекте, последующие простые (без использования управления версиями) запросы уже не смогут извлекать объект. Однако все версии этого объекта будут по-прежнему сохраняться в корзине Amazon S3 и могут быть извлечены или восстановлены. Только владелец корзины Amazon S3 может окончательно удалить версию. Можно установить правила управления жизненным циклом для управления сроками хранения и расходами на хранение нескольких версий объектов.

Вопрос: Можно ли завести специальную корзину или настроить для объектов Amazon S3 период отката для восстановления после удаления и перезаписи?

Для реализации периода отката для объектов в Amazon S3 можно использовать правила управления жизненным циклом в сочетании с управлением версиями. Например, для корзины с включенным управлением версиями можно установить правило, которое архивирует все предыдущие версии в более экономичный класс хранилища Glacier и удаляет их через 100 дней, что обеспечит 100-дневный период отката любых изменений данных и поможет снизить расходы на хранилище.

Вопрос: Как обеспечить максимальную защиту сохраненных версий?

Для обеспечения дополнительного уровня безопасности можно использовать в системе управления версиями многофакторную аутентификацию (MFA) для выполнения удаления. По умолчанию все запросы к вашей корзине Amazon S3 требуют подтверждения ваших прав доступа к аккаунту AWS. Если на корзине Amazon S3 включено управление версиями с функцией MFA Delete, для окончательного удаления версии объекта требуются два этапа аутентификации: права доступа к аккаунту AWS и действительный шестизначный код и серийный номер устройства аутентификации, находящегося в ваших руках. Дополнительную информацию о включении функции управления версиями с MFA Delete, включая приобретение и активацию устройства аутентификации, см. в технической документации по Amazon S3.

Вопрос: Как оплачивается управление версиями?

Каждая помещаемая на хранение или запрашиваемая версия объекта оплачивается по обычным тарифам Amazon S3. Например, рассмотрим следующий сценарий для иллюстрации стоимости хранилища при использовании функции управления версиями (предположим, что в текущем месяце 31 день):

1) 1-й день месяца: вы выполняете операцию PUT в 4 ГБ (4 294 967 296 байт) в своей корзине.
2) 16-й день месяца: вы выполняете операцию PUT в 5 ГБ (5 368 709 120 байт) в той же корзине, используя тот же ключ, что и при первой операции PUT в 1-й день.

Анализируя затраты на хранилище при вышеуказанных операциях, обратите внимание, что объект в 4 ГБ с 1-го дня не удаляется из корзины, когда объект в 5 ГБ записывается на 15-й день. Вместо этого объект в 4 ГБ сохраняется как более старая версия, а объект в 5 ГБ становится последней записанной версией объекта в корзине. В конце месяца:

Всего использованных Байт-Часов
[4 294 967 296 байт x 31 день x (24 часа / день)] + [5 368 709 120 байт x 16 дней x (24 часа / день)] = 5 257 039 970 304 Байт-Часов.

Переводя в ГБ-Месяцы:
5 257 039 970 304 байт-часов x (1 ГБ / 1 073 741 824 байт) x (1 месяц / 744 часа) = 6,581 ГБ-месяцев

Стоимость вычисляется на основе текущего тарифа для конкретного региона, который можно узнать на странице цен на Amazon S3.

S3 Intelligent-Tiering

Вопрос. Что такое S3 Intelligent-Tiering?

Amazon S3 Intelligent-Tiering (S3 Intelligent-Tiering) – класс хранилища S3 для данных с неизвестными или меняющимися сценариями доступа, которые сложно изучить. Это первый класс облачного хранилища, обеспечивающий автоматическое сокращение затрат путем перемещения объектов с одного уровня доступа на другой при изменении сценариев доступа. Один уровень оптимизирован для частого доступа, а второй уровень предназначен для нечастого доступа, и стоимость его использования ниже.

Объекты, загруженные или перемещенные на уровень S3 Intelligent-Tiering, автоматически сохраняются на уровне для частого доступа. S3 Intelligent-Tiering работает путем отслеживания сценариев доступа и последующего перемещения объектов, доступ к которым не осуществлялся в течение 30 дней подряд, на уровень нечастого доступа. Если после этого запрашивается доступ к этим перемещенным объектам, S3 Intelligent-Tiering перемещает их обратно на уровень для частого доступа. Это означает, что все объекты, хранящиеся в системе S3 Intelligent-Tiering, доступны всегда, когда это необходимо. За извлечение объектов плата не взимается, так что вы не столкнетесь с неожиданным повышением платежей при изменении сценариев доступа.

Вопрос. В каких случаях следует использовать S3 Intelligent-Tiering?

Класс S3 Intelligent-Tiering предназначен для данных с неизвестными сценариями доступа или меняющимися сценариями доступа, которые сложно изучить. Он идеально подходит для данных, сценарии доступа к которым сложно прогнозировать. S3 Intelligent-Tiering также можно использовать для хранения новых данных, к которым часто обращаются сразу после загрузки, но по мере их устаревания доступ к ним осуществляется реже. Затем можно переместить данные в хранилище S3 One Zone-IA для архивации в S3 Glacier.

Вопрос. Какую производительность обеспечивает хранилище S3 Intelligent-Tiering?

Хранилище S3 Intelligent-Tiering обеспечивает ту же производительность, что и хранилище S3 Standard.

Вопрос. Какую надежность и доступность обеспечивает хранилище S3 Intelligent-Tiering?

Хранилище S3 Intelligent-Tiering обеспечивает ту же надежность 99,999999999 %, что и хранилище S3 Standard. S3 Intelligent-Tiering обеспечивает доступность на уровне 99,9 %, а Соглашение об уровне обслуживания предусматривает компенсацию в том случае, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос. Как поместить данные в хранилище S3 Intelligent-Tiering?

Поместить данные в хранилище S3 Intelligent-Tiering можно двумя способами. Можно напрямую отправлять данные методом PUT в хранилище S3 Intelligent-Tiering, указав xx_xx в заголовке x-amz-storage, или задать политики жизненного цикла для перемещения объектов из хранилищ S3 Standard или S3 Standard-IA в S3 Intelligent-Tiering.

Вопрос. Подпадают ли объекты в S3 Intelligent-Tiering под действие Соглашения об уровне обслуживания Amazon S3?

Да, хранилище S3 Intelligent-Tiering регулируется Соглашением об уровне обслуживания Amazon S3, и клиенты могут рассчитывать на компенсацию, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос. Как изменятся задержка и пропускная способность в результате использования хранилища S3 Intelligent-Tiering?

При использовании хранилища S3 Intelligent-Tiering следует ожидать ту же задержку и пропускную способность, что и при использовании стандартного хранилища S3 Standard.

Вопрос. Определен ли минимальный срок хранения данных в хранилище S3 Intelligent-Tiering?

Минимальный срок хранения в S3 Intelligent-Tiering составляет 30 дней, то есть за данные, удаленные, перезаписанные или перенесенные в хранилище S3 другого класса до истечения 30 дней, начисляется стандартная плата плюс пропорционально рассчитанная плата по количеству дней, оставшихся до минимального 30-дневного срока хранения.  

Вопрос. Определен ли минимальный размер объекта для хранилища S3 Intelligent-Tiering?

Для S3 Intelligent-Tiering не задан минимальный оплачиваемый размер объекта, но объекты меньше 128 КБ не включаются в данные для автоматической смены уровней и всегда хранятся по тарифам для частого доступа.

Вопрос. Можно ли перемещать объекты из хранилища S3 Intelligent-Tiering в хранилище Amazon S3 Glacier?

Да. Помимо политик жизненного цикла для миграции объектов из хранилища S3 Intelligent-Tiering в S3 One Zone-IA, можно настроить политики жизненного цикла, позволяющие архивировать объекты в хранилище S3 Glacier.

Вопрос. Можно ли создать корзину, в которой разные объекты размещались бы в разных классах хранилища?

Да. Можно создать корзину, в которой разные объекты будут размещены в хранилищах S3 Standard, S3 Intelligent-Tiering, S3 Standard – IA и S3 One Zone – IA.

Вопрос. Доступно ли хранилище S3 Intelligent-Tiering во всех регионах AWS, в которых работает Amazon S3?

Да.

Стандартное хранилище S3 нечастого доступа (S3 Standard – IA)

Вопрос: Что такое стандартное хранилище S3 нечастого доступа?

Стандартное хранилище Amazon S3 нечастого доступа (S3 Standard – IA) – это хранилище Amazon S3 для данных, доступ к которым выполняется относительно редко, но при необходимости должен обеспечиваться быстро. Хранилище S3 Standard – IA обеспечивает такую же высокую надежность, пропускную способность и низкие задержки, как и хранилище класса Amazon S3 Standard, но отличается более низкими ценами за гигабайт сохраняемых и извлекаемых данных. Такое сочетание низкой стоимости и высокой производительности делает S3 Standard – IA идеальным выбором для долгосрочного хранения данных, резервного копирования, а также хранения данных на случай аварийного восстановления. Класс хранилища S3 Standard – IA устанавливается на уровне объекта и может применяться в одной корзине с классами хранилищ S3 Standard или S3 One Zone – IA, что позволяет автоматически переносить объекты между классами хранилищ с помощью политик жизненного цикла S3 без каких-либо изменений в приложении.

Вопрос: В каких случаях следует использовать S3 Standard-IA?

Класс хранилища S3 Standard – IA является идеальным выбором для хранения данных, доступ к которым осуществляется относительно редко, но при этом должен обеспечиваться быстро. S3 Standard – IA идеально подходит для длительного хранения файлов, для устаревающих данных синхронизации, общих данных или других данных, подверженных устареванию.

Вопрос: Какую производительность обеспечивает хранилище S3 Standard-IA?

S3 Standard – IA обеспечивает ту же производительность, что и хранилища классов S3 Standard и S3 One Zone – IA.


Вопрос. Какую надежность и доступность обеспечивает хранилище S3 Standard – IA?

Хранилище S3 Standard – IA обеспечивает надежность на уровне 99,999999999 % (аналогично хранилищам классов S3 Standard и S3 Glacier). S3 Standard – IA обеспечивает доступность на уровне 99,9 %, а Соглашение об уровне обслуживания предусматривает компенсацию в том случае, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос: Как поместить данные в хранилище S3 Standard-IA?

Поместить данные в хранилище S3 Standard – IA можно двумя способами. Можно непосредственно выполнить для записи в S3 Standard – IA запрос PUT, указав в заголовке запроса x-amz-storage-class значение STANDARD_IA. Как вариант, можно задать политики жизненного цикла для переноса объектов из класса хранилища S3 Standard в S3 Standard – IA.

Вопрос: Подпадают ли объекты в S3 Standard-IA под действие Соглашения об уровне обслуживания Amazon S3?

Да, хранилище S3 Standard-IA регулируется Соглашением об уровне обслуживания, и клиенты могут рассчитывать на компенсацию, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос: Как изменятся задержка и пропускная способность в результате использования хранилища S3 Standard-IA?

При использовании S3 Standard – IA следует ожидать тех же показателей задержки и пропускной способности, что и при использовании хранилищ класса S3 Standard.

Вопрос: Как начисляется плата за использование хранилища S3 Standard-IA?

Общую информацию о ценах на хранилище S3 Standard-IA см. на странице цен на Amazon S3.

Вопрос: Какая плата начисляется за изменение класса хранилища объекта с S3 Standard-IA на S3 Standard с помощью запроса на копирование?

В этом случае начисляется плата за выполнение запроса COPY хранилищем S3 Standard – IA и за извлечение данных из хранилища S3 Standard – IA.

Вопрос: Предусмотрена ли при использовании S3 Standard-IA плата за минимальный срок хранения?

S3 Standard – IA предназначено для продолжительного хранения и нечастого доступа к данным, которые требуется хранить месяцы и годы. Если данные удаляются из S3 Standard – IA в течение первых 30 дней, плата начисляется за полные 30 дней хранения. Общую информацию о ценах на S3 Standard-IA см. на странице цен на Amazon S3.

Вопрос: Предусмотрена ли при использовании S3 Standard-IA плата за минимальный размер хранимого объекта?

Хранилище S3 Standard – IA предназначено для крупных объектов, при этом предусмотрена минимальная плата за хранение объектов на уровне 128 КБ. За объекты размером менее 128 КБ будет взиматься плата как за объекты по 128 КБ. Например, за объект размером 6 КБ в хранилище S3 Standard – IA будет взиматься плата за хранение фактических 6 КБ и дополнительных 122 КБ. Общую информацию о ценах на S3 Standard-IA см. на странице цен на Amazon S3.

Вопрос. Можно ли перемещать объекты из хранилища S3 Standard – IA в хранилище S3 One Zone – IA или S3 Glacier?

Да. Помимо политик жизненного цикла для миграции объектов из хранилища S3 Standard в S3 Standard – IA можно настроить политики жизненного цикла, позволяющие перемещать объекты из хранилища S3 Standard – IA в хранилище S3 One Zone – IA или S3 Glacier.

Хранилище S3 нечастого доступа в одной зоне доступности (S3 One Zone – IA)

Вопрос: Что представляет собой класс хранилища нечастого доступа в одной зоне доступности (S3 One Zone-IA)?

S3 One Zone – IA представляет собой класс хранилища Amazon S3, который можно выбрать для хранения объектов в одной зоне доступности. S3 One Zone – IA обеспечивает избыточное хранение данных в пределах одной зоны доступности и стоит на 20 % дешевле, чем географически избыточное хранилище S3 Standard – IA, обеспечивающее избыточное хранение данных в нескольких географически изолированных зонах доступности.

В соответствии с Соглашением об уровне обслуживания (SLA) хранилище S3 One Zone – IA обеспечивает доступность на уровне 99% и надежность на уровне 99,999999999% в пределах зоны доступности. Однако, в отличие от классов хранилища S3 Standard и S3 Standard-IA, при повреждении зоны доступности все данные, хранящиеся в классе хранилища S3 One Zone-IA, будут утеряны.

Хранилище S3 One Zone – IA предоставляет те же возможности Amazon S3, что и хранилища S3 Standard и S3 Standard – IA; его можно использовать посредством API Amazon S3, интерфейса командной строки или консоли сервиса. Класс хранилища S3 One Zone – IA устанавливается на уровне объектов и может применяться в одной корзине с классами хранилищ S3 Standard и S3 Standard – IA. С помощью политик жизненного цикла S3 можно автоматически переносить объекты между классами хранилищ без каких-либо изменений в приложении.

Вопрос: Каковы наиболее подходящие примеры использования хранилища S3 One Zone-IA?

Клиенты могут использовать S3 One Zone – IA в качестве хранилища нечастого доступа для таких данных, как резервные копии, копии для аварийного восстановления, или для других легко восстанавливаемых данных.

Вопрос: Какую производительность обеспечивает хранилище S3 One Zone-IA?

Хранилище класса S3 One Zone – IA обеспечивает производительность, аналогичную хранилищам S3 Standard и S3 Standard – IA.

Вопрос: Насколько надежно хранилище класса S3 One Zone-IA?

Класс хранилищ S3 One Zone – IA обеспечивает надежность на уровне 99,999999999% в пределах зоны доступности. Однако хранилище S3 One Zone – IA не обеспечивает защиту данных в случае потери связи с зоной доступности или ее полного выхода из строя. В этом случае все данные, хранящиеся в классе хранилища S3 One Zone – IA, будут утеряны. Для сравнения: хранилища S3 Standard, S3 Standard – IA и S3 Glacier спроектированы таким образом, чтобы выдерживать потерю связи с зоной доступности или ее выход из строя. S3 One Zone – IA может обеспечить уровень надежности и доступности, сравнимый с современными физическими ЦОД или выше такового, предоставляя в то же время дополнительные преимущества в виде эластичности хранилища и функциональных возможностей Amazon S3.

Вопрос: Какую доступность обеспечивает хранилище класса S3 One Zone-IA в соответствии с Соглашением об уровне обслуживания (SLA)?

В соответствии с Соглашением об уровне обслуживания (SLA) хранилище S3 One Zone – IA обеспечивает доступность на уровне 99 %. Для сравнения: хранилище S3 Standard по Соглашению об уровне обслуживания обеспечивает доступность на уровне 99,9 %, S3 Standard – IA – также на уровне 99 %. Как и все классы хранилищ S3, хранилище S3 One Zone – IA предоставляется с Соглашением об уровне обслуживания, по которому клиенты получают кредиты на обслуживание, если доступность в любом учетном периоде оказывается ниже заявленных обязательств. См. Соглашение об уровне обслуживания Amazon S3.

Вопрос: Как использование хранилища S3 One Zone-IA повлияет на задержки и пропускную способность?

При использовании хранилища класса S3 One Zone – IA следует ожидать тех же показателей задержек и пропускной способности, что и при использовании хранилищ классов Amazon S3 Standard и S3 Standard – IA.

Вопрос: Как начисляется плата за использование хранилища S3 One Zone-IA?

Как и в случае хранилища S3 Standard – IA, при использовании S3 One Zone – IA плата начисляется за объем сохраненных данных в месяц, пропускную способность, количество выполненных запросов, раннее удаление, хранение мелких объектов, а также извлечение данных. Ежемесячная плата за хранение данных в Amazon S3 One Zone – IA на 20 % ниже соответствующих тарифов Amazon S3 Standard – IA, а плата за пропускную способность, количество выполненных запросов, раннее удаление, хранение мелких объектов и извлечение данных начисляется по тем же тарифам.

Как и в случае использования хранилища S3 Standard – IA, при удалении объекта из S3 One Zone – IA в течение 30 дней с момента создания взимается плата за раннее удаление. Например, если вы выполнили запрос PUT для записи объекта, а через 10 дней решили его удалить, плата будет начислена за 30 дней хранения.

Как и в хранилище S3 Standard – IA, минимальный размер объекта в хранилище класса S3 One Zone – IA составляет 128 КБ. За объекты размером менее 128 КБ будет взиматься плата как за объекты по 128 КБ. Например, за объект размером 6 КБ в хранилище S3 One Zone – IA будет взиматься плата за хранение фактических 6 КБ и дополнительных 122 КБ. Информацию о ценах на S3 One Zone – IA см. на странице цен.

Вопрос: «Zone» в контексте S3 One Zone-IA — это то же самое, что и зона доступности AWS?

Да. Каждый регион AWS представляет собой отдельную географическую область. В каждом регионе имеется несколько изолированных местоположений, называемых зонами доступности. Хранилище класса Amazon S3 One Zone – IA использует одну зону доступности AWS в пределах региона.

Вопрос: Отличаются ли принципы работы сервисов Amazon EC2 и Amazon S3 с ресурсами, специфичными для зоны доступности?

Да. Amazon EC2 предоставляет возможность выбрать зону доступности в пределах региона для размещения таких ресурсов, как вычислительные инстансы. При использовании S3 One Zone – IA зона доступности AWS в регионе назначается автоматически, исходя из доступности ресурсов.

Вопрос: Можно ли создать корзину, в которой разные объекты размещались бы в разных классах хранилища и зонах доступности?

Да. Можно создать корзину, в которой разные объекты будут размещены в хранилищах S3 Standard, S3 Standard – IA и S3 One Zone – IA.

Вопрос: Хранилище S3 One Zone-IA доступно во всех регионах AWS, где работает S3?

Да.

Вопрос: Насколько надежно хранилище S3 One Zone-IA защищено от аварийных ситуаций?

В каждой зоне доступности применяются резервные системы электропитания и сети передачи данных. В пределах региона AWS зоны доступности располагаются в различных поймах и сейсмических районах; они отделены друг от друга географически для обеспечения защиты в случае пожара. Хранилища классов S3 Standard и S3 Standard – IA обеспечивают защиту от аварийных ситуаций путем избыточного хранения данных в нескольких зонах доступности. Хранилище S3 One Zone-IA обеспечивает защиту от сбоев оборудования в пределах зоны доступности, но не от выхода из строя самой зоны доступности. В этом случае все данные, хранящиеся в классе хранилища S3 One Zone-IA, будут утеряны. Среди вариантов S3 One Zone – IA, S3 Standard и S3 Standard – IA клиенты могут выбрать класс хранилища, который наилучшим образом соответствует требованиям, предъявляемым к надежности и доступности хранилища.

Amazon S3 Glacier

Вопрос. Почему Amazon Glacier теперь называется Amazon S3 Glacier?

Клиенты долгое время воспринимали Amazon Glacier, наш сервис резервного копирования и архивного хранения, как класс хранилища Amazon S3. Фактически, очень большая доля данных, хранящихся сейчас в Amazon Glacier, поступает непосредственно от клиентов, использующих политики жизненного цикла S3 для перемещения менее востребованных данных в Amazon Glacier. Теперь Amazon Glacier официально является частью Amazon S3 и называется Amazon S3 Glacier (S3 Glacier). Все существующие непосредственные интерфейсы API Glacier продолжат функционировать, как раньше, но теперь использовать интерфейсы API S3 для сохранения данных в хранилище класса S3 Glacier стало еще проще.

Вопрос. Предоставляет ли Amazon S3 возможность архивирования объектов в более дешевые варианты хранилища?

Да, Amazon S3 позволяет использовать очень экономичный сервис Amazon S3 Glacier в качестве хранилища архивных данных. Amazon S3 Glacier позволяет хранить данные по цене всего 0,004 USD за гигабайт в месяц. Чтобы сохранить расходы на низком уровне и удовлетворить различные потребности в извлечении данных, Amazon S3 Glacier предлагает три варианта доступа к архивам с продолжительностью извлечения от нескольких минут до нескольких часов. В качестве примеров использования для архивирования можно указать цифровые мультимедиа-архивы, финансовые и медицинские записи, необработанные данные геномных последовательностей, резервные копии баз данных для длительного хранения, а также данные, которые должны сохраняться согласно нормативным требованиям.

Вопрос. Как сохранить данные в хранилище класса Amazon S3 Glacier?

Если вам требуется незамедлительно архивировать хранилище либо ваши решения о времени переноса объектов в S3 Glacier невозможно выразить с помощью политики жизненного цикла Amazon S3, метод S3 PUT в Glacier позволяет использовать интерфейсы API S3 для отправки в хранилище класса S3 Glacier отдельных объектов. Задержек при переносе нет, и вы сами определяете время переноса. Это также отличный вариант для принятия решений по классу хранилища приложением без необходимости создания политики на уровне корзины.

С помощью правил управления жизненным циклом можно автоматически архивировать наборы объектов из Amazon S3 в хранилище S3 Glacier на основании срока существования объектов. Для создания правил архивирования используйте консоль управления Amazon S3, AWS SDK или API Amazon S3. Правила определяют префикс и период времени. Поле префикса (например, “logs/”) определяет объект(ы), к которым правило применяется. Промежуток времени указывает или количество дней с даты создания объекта (т. е. 180 дней), или указанную дату, после которой желаема архивация объекта(-ов). Любые объекты в S3 Standard, S3 Standard – IA или S3 IA One Zone – IA, имена которых начинаются с указанного префикса и срок хранения которых превысил указанный период времени, архивируются в Amazon S3 Glacier. Для извлечения данных сервиса Amazon S3, хранимых в S3 Glacier, необходимо инициировать задание на извлечение с помощью API Amazon S3 или Консоли управления. После завершения задания на извлечение данных доступ к ним можно получить с помощью запроса объектов GET сервиса Amazon S3.

Подробнее о работе с правилами управления жизненным циклом при архивировании в S3 Glacier см. в теме Object Archival Руководства разработчика Amazon S3.

Вопрос. Можно ли использовать API Amazon S3 или консоль управления для вывода списка объектов, заархивированных в Amazon S3 Glacier?

Да. Как и объекты других классов хранилищ Amazon S3 (S3 Standard, S3 Standard – IA и S3 One Zone – IA), объекты S3 Glacier, сохраненные с помощью API или консоли управления Amazon S3, имеют соответствующие имена, определенные пользователем. С помощью API LIST сервиса S3 или отчета S3 Inventory можно получить текущий список имен всех объектов Amazon S3 в режиме реального времени, в том числе объектов, размещенных в хранилище класса S3 Glacier.

Вопрос. Можно ли использовать API Amazon Glacier для прямого доступа к объектам, заархивированным в Amazon S3 Glacier?

Поскольку сервис Amazon S3 поддерживает привязку определенного пользователем имени объекта к присвоенному системой Amazon S3 Glacier идентификатору, доступ к объектам Amazon S3, размещенным в хранилище класса S3 Glacier, осуществляется с помощью API Amazon S3 или консоли управления Amazon S3.

Вопрос. Как извлечь объекты, заархивированные в хранилище Amazon S3 Glacier? Отправляются ли уведомления после восстановления объекта?

Для извлечения данных сервиса Amazon S3, сохраненных в хранилище класса S3 Glacier, необходимо инициировать запрос на извлечение с помощью API Amazon S3 или консоли управления Amazon S3. В ходе запроса на извлечение создается временная копия данных в хранилище класса S3 RRS или S3 Standard – IA, при этом архивные данные в S3 Glacier остаются неизменными. Временная копия будет храниться в S3 на протяжении указанного пользователем срока (в днях). После извлечения доступ к временной копии из Amazon S3 можно получить, выполнив запрос GET сервиса Amazon S3 к заархивированному объекту.

Благодаря уведомлениям о восстановлении теперь можно получать оповещение о событии S3 Event Notification, когда объект успешно восстанавливается из хранилища S3 Glacier и вам становится доступна его временная копия. Владелец корзины (или другие лица, которым политикой IAM предоставлено соответствующее разрешение) может настроить отправку оповещений в Amazon Simple Queue Service (SQS) или Amazon Simple Notification Service (SNS). Оповещения также могут доставляться в AWS Lambda для обработки функцией Lambda.

Вопрос. Сколько времени потребуется на восстановление объектов, заархивированных в S3 Glacier, и можно ли ускорить выполняемый запрос, чтобы восстановление прошло быстрее?

Обрабатывая задание на извлечение данных, Amazon S3 сначала извлекает запрошенные данные из S3 Glacier, а затем создает временную копию запрашиваемых данных в S3 (что обычно занимает несколько минут). Время доступа к запрашиваемым данным зависит от выбранного пользователем варианта извлечения: ускоренное, стандартное или пакетное. При использовании ускоренного извлечения доступ к данным предоставляется обычно в течение 1–5 минут для любых объектов, кроме самых крупных (более 250 МБ). Извлечение объектов по стандартному варианту обычно занимает 3–5 часов. Пакетное извлечение обычно выполняется за 5–12 часов. Дополнительная информация о вариантах извлечения из S3 Glacier приводится в вопросах и ответах по S3 Glacier.

S3 Restore Speed Upgrade имеет приоритет над текущим процессом восстановления, предоставляя уровень более быстрого восстановления при срочном доступе к данным. Вы можете использовать S3 Restore Speed Upgrade, отправив еще один запрос на восстановление того же объекта с новым параметром уровня (tier). Для запроса S3 Restore Speed Upgrade необходимо выбрать более высокую скорость восстановления, чем у уже выполняемого запроса. Другие параметры, такие как Object Expiry Time, не меняются. Значение Object Expiry Time можно изменить после завершения восстановления. Оплата взимается за каждый запрос на восстановление и согласно расценкам за гигабайт для уровня ускоренного восстановления. Например, если вы создали запрос уровня Bulk, а затем создали запрос S3 Restore Speed Upgrade уровня Expedited, чтобы отменить выполняемый запрос Bulk, с вас будет взята оплата за оба запроса и платеж за извлечение соответствующего количества гигабайт для уровня Expedited.

Вопрос. Какая плата взимается за архивирование объектов в Amazon S3 Glacier?

Плата за хранилище класса Amazon S3 Glacier начисляется в зависимости от объема хранилища, использованного за месяц, и от количества запросов на перенос объектов в Amazon S3 Glacier, связанных с политиками жизненного цикла. Объекты, архивированные в Amazon S3 Glacier, хранятся не менее 90 дней. При этом плата за объекты, которые удаляются до истечения 90 дней, будет взиматься согласно тарифам на хранение, пропорционально оставшимся дням. Действующие цены см. на странице цен на Amazon S3.

Вопрос. Как рассчитывается стоимость хранилища для объектов Amazon S3, архивируемых в Amazon S3 Glacier?

Объем подлежащего оплате за месяц хранилища основан на среднем объеме хранилища, использованном на протяжении месяца и измеряемом в гигабайт – месяцах (ГБ-Месяцах). Amazon S3 рассчитывает размер объектов как объем хранимых данных плюс дополнительные 32 КБ данных в Amazon S3 Glacier плюс дополнительные 8 КБ данных в хранилище класса S3 Standard. Amazon S3 Glacier занимает дополнительно 32 КБ данных на каждый объект для своего индекса и метаданных, необходимых для идентификации и извлечения данных. Amazon S3 требует 8 КБ для хранения и поддержания определяемого пользователем имени и метаданных объектов, архивируемых в Amazon S3 Glacier. С помощью API LIST сервиса Amazon S3 или отчета S3 Inventory можно получить актуальный список всех имен объектов Amazon S3 в режиме реального времени, в том числе объектов, размещенных в хранилище класса Amazon S3 Glacier. Например, если вы заархивировали 100 000 объектов в 1 ГБ каждый, оплачиваемое хранилище было бы:

1,000032 гигабайта на каждый объект x 100 000 объектов = 100 003,2 гигабайта хранилища Amazon S3 Glacier.
0,000 008 гигабайт на каждый объект x 100 000 объектов = 0,8 гигабайт хранилища Amazon S3 Standard.

Стоимость вычисляется на основе текущего тарифа для конкретного региона AWS, который можно узнать на странице цен на Amazon S3.

Вопрос. Какой объем данных можно извлечь из Amazon S3 Glacier бесплатно?

На уровне бесплатного пользования AWS можно бесплатно извлекать из Amazon S3 Glacier до 10 ГБ данных в месяц. Уровень бесплатного пользования позволяет извлекать данные в любое время в течение месяца, при этом будет использоваться стандартный способ извлечения Amazon S3 Glacier.

Вопрос. Как оплачивается удаление из Amazon S3 Glacier объектов, которые хранились менее 90 дней?

Хранилище Amazon S3 Glacier разработано для применения в тех случаях, когда данные сохраняются в течение нескольких месяцев, лет или десятилетий. Удаление данных, заархивированных в Amazon S3 Glacier, выполняется бесплатно, если удаляемые объекты хранились в Amazon S3 Glacier 90 дней или дольше. Если заархивированный в Amazon S3 Glacier объект удаляется или перезаписывается в течение 90 дней после архивирования, взимается плата за досрочное удаление. Эта плата пропорциональна. При удалении 1 ГБ данных через 30 дней после их загрузки взимается плата за досрочное удаление, равная стоимости 60 дней хранения в Amazon S3 Glacier. При удалении 1 ГБ данных через 60 дней после их загрузки взимается плата за досрочное удаление, равная стоимости 30 дней хранения в Amazon S3 Glacier.

Вопрос. Какова стоимость извлечения данных из Amazon S3 Glacier? 

Существует три способа извлечения данных из Amazon S3 Glacier: ускоренное, стандартное и пакетное извлечение. Для каждого способа установлен свой тариф за гигабайт извлекаемых данных и за запрос каждого архива (т. е. запрос одного архива учитывается как один запрос). Подробную информацию о расценках S3 Glacier по регионам AWS см. на странице цен на Amazon S3 Glacier.

Вопрос: Какая серверная инфраструктура используется для классов хранилища S3 Glacier?

Как правило, AWS не раскрывает информацию о серверной инфраструктуре и архитектуре вычислительных, сетевых сервисов и сервисов хранилищ. Мы делаем акцент на практических преимуществах для клиента: производительности, надежности, доступности и безопасности. Однако клиенты часто задают нам этот вопрос. Мы используем ряд технологий, позволяющих нам предлагать клиентам текущие цены. Наши сервисы основаны на распространенных технологиях хранилищ данных. Они реализованы в специально спроектированных системах с оптимальными экономическими характеристиками и работают под управлением собственного программного обеспечения AWS. Максимальная эффективность доступа к хранилищу в сервисе S3 Glacier достигается благодаря оптимизации последовательности ввода‑вывода.

Amazon S3 Glacier Deep Archive

Вопрос: Что такое S3 Glacier Deep Archive?

S3 Glacier Deep Archive — это новый класс хранилища Amazon S3, позволяющий использовать надежное и безопасное объектное хранилище для долгосрочного хранения данных, доступ к которым осуществляется один‑два раза в год. S3 Glacier Deep Archive стоит от 0,00099 USD за гигабайт в месяц – менее одной десятой цента, или 1 USD за терабайт в месяц. S3 Glacier Deep Archive представляет собой самое дешевое хранилище в облаке. Сервис обходится существенно дешевле, чем хранение и обслуживание данных в локальных библиотеках магнитных лент или в удаленных архивах.

Вопрос: Каковы наиболее подходящие примеры использования хранилища S3 One Zone-IA?

S3 Glacier Deep Archive — это идеальный класс хранилища, обеспечивающий автономную защиту наиболее важных наборов данных вашей компании, или для случаев, когда требуется долгосрочное хранение данных в соответствии с корпоративными, договорными или нормативными требованиями. Клиенты считают S3 Glacier Deep Archive отличным выбором для защиты интеллектуальной собственности, финансовых и медицинских записей, результатов исследований, юридических документов, исследований по сейсморазведке и долгосрочных резервных копий, особенно в отраслях со строгими нормативными требованиями, таких как финансовые услуги, здравоохранение, нефтегазовый и государственный сектор. Кроме того, некоторым организации, например в сфере мультимедиа и развлечений, требуется сохранять резервную копию основной интеллектуальной собственности. Зачастую клиенты, использующие S3 Glacier Deep Archive, могут сократить использование или совсем отказаться от локальных библиотек магнитных лент и локальных служб ленточной архивации.

Вопрос: Чем S3 Glacier Deep Archive отличается от S3 Glacier?

S3 Glacier Deep Archive расширяет для вас возможности архивирования данных, позволяя выбрать класс хранилища, оптимальный по стоимости хранения и извлечения данных, а также по времени извлечения данных. Выберите S3 Glacier, если для некоторых архивных данных требуется доступ в пределах 1-5 минут, что достигается благодаря функции ускоренного извлечения. S3 Glacier Deep Archive, напротив, предназначен для данных, доступ к которым выполняется редко и с малой степенью вероятности, но для которых требуется долговременное и надежное хранение. S3 Glacier Deep Archive на 75 % дешевле, чем S3 Glacier, и при стандартной скорости извлечения обеспечивает извлечение в течение 12 часов. Вы также можете сократить расходы на извлечение, выбрав «Пакетное извлечение», которое предоставит вам данные в течение 48 часов.

Вопрос: Какую надежность и доступность обеспечивает S3 Glacier Deep Archive?

S3 Glacier Deep Archive обеспечивает надежность на уровне 99,999999999 % (аналогично хранилищам классов S3 Standard и S3 Glacier). S3 Glacier Deep Archive обеспечивает доступность на уровне 99,9 %, а Соглашение об уровне обслуживания предусматривает компенсацию в том случае, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос: Подпадают ли объекты в S3 Glacier Deep Archive под действие Соглашения об уровне обслуживания Amazon S3?

Да, хранилище S3 Glacier Deep Archive регулируется Соглашением об уровне обслуживания, и клиенты могут рассчитывать на компенсацию, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос. Как начать работу с S3 Glacier Deep Archive?

Самый простой способ хранения данных в S3 Glacier Deep Archive — использование API S3 для прямой загрузки данных. Просто укажите «S3 Glacier Deep Archive» в качестве класса хранилища. Вы можете сделать это с помощью Консоли управления AWS, API REST сервиса S3, AWS SDK или интерфейса командной строки AWS.

Также для начала работы с S3 Glacier Deep Archive можно создать политики переноса данных с помощью S3 Lifecycle, что позволяет определить жизненный цикл вашего объекта и снизить стоимость его хранения. Эти политики переноса объектов в S3 Glacier Deep Archive можно определить по срокам хранения объекта. Вы можете указать политику для всей корзины S3 или для конкретных префиксов. Стоимость переноса данных в рамках жизненного цикла определяется стоимостью загрузки S3 Glacier Deep Archive.

Ленточный шлюз как облачная функция виртуальной ленточной библиотеки AWS Storage Gateway теперь интегрируется в S3 Glacier Deep Archive, позволяя хранить виртуальные долгосрочные резервные копии и ленточные архивы в S3 Glacier Deep Archive, обеспечивая самую низкую стоимость хранения данных в облаке. Для начала работы создайте новую виртуальную ленту с помощью консоли AWS Storage Gateway или API и в качестве цели архивного хранения укажите S3 Glacier или S3 Glacier Deep Archive. Когда приложение резервного копирования извлекает ленту, она архивируется в выбранное целевое хранилище.

Вопрос: Как вы рекомендуете переносить данные из моих существующих ленточных архивов в S3 Glacier Deep Archive?

Есть множество способов переноса данных из существующих ленточных архивов в S3 Glacier Deep Archive. Вы можете воспользоваться ленточным шлюзом AWS для интеграции с существующими приложениями резервного копирования через интерфейс виртуальной ленточной библиотеки (VTL). Этот интерфейс представляет виртуальные ленты для приложения резервного копирования. Их можно использовать для хранения данных в Amazon S3, S3 Glacier и S3 Glacier Deep Archive без дополнительной подготовки.

Также для переноса данных вы можете использовать AWS Snowball или Snowmobile. Snowball и Snowmobile позволяют ускорить перенос терабайтов и петабайтов данных в облако AWS и из него благодаря использованию безопасных физических устройств хранения для перемещения данных. Использование Snowball и Snowmobile решает распространенные проблемы, связанные с передачей больших объемов данных, такие как высокая стоимость, длительность передачи по сети и обеспечение безопасности.

И наконец, вы можете использовать сервис AWS Direct Connect для настройки выделенного сетевого соединения между локальной сетью и платформой AWS. Во многих случаях Direct Connect позволяет снизить затраты, повысить пропускную способность и обеспечить более стабильную работу вашей сети по сравнению с подключением через Интернет.

Вопрос: Как я могу извлечь свои объекты, хранящиеся в S3 Glacier Deep Archive?

Для извлечения данных, хранящихся в S3 Glacier Deep Archive, необходимо инициировать запрос на восстановление с помощью интерфейсов API Amazon S3 или консоли управления Amazon S3. В ходе запроса на восстановление создается временная копия данных в хранилище класса S3 One Zone-IA, при этом архивные данные в S3 Glacier Deep Archive остаются неизменными. Временная копия будет храниться в S3 на протяжении указанного пользователем срока (в днях). После извлечения доступ к временной копии из Amazon S3 можно получить, выполнив запрос GET сервиса Amazon S3 к заархивированному объекту.

При восстановлении заархивированного объекта вы можете указать один из следующих параметров в элементе TIer в тексте запроса: уровень по умолчанию Standard позволяет получить доступ к любому из заархивированных объектов в течение 12 часов, а Bulk позволяет недорого извлекать большие объемы (до нескольких петабайтов) данных, и обычно эта задача выполняется в течение 48 часов.

Вопрос: Как начисляется плата за использование хранилища S3 Glacier Deep Archive?

Стоимость хранилища S3 Glacier Deep Archive зависит от объема данных в ГБ, от количества запросов PUT и запросов на изменение жизненного цикла, от объема извлеченных данных в ГБ и от количества запросов на восстановление. Эта модель ценообразования схожа с моделью S3 Glacier. Общую информацию о ценах на S3 Glacier Deep Archive см. на странице цен на Amazon S3.

Вопрос: Как использование S3 Glacier Deep Archive будет отображаться в моем счете AWS и в инструменте управления затратами AWS?

Использование и стоимость S3 Glacier Deep Archive будет отображаться как отдельная позиция в вашем ежемесячном счете за обслуживание AWS, отдельно от оплаты за использование Amazon S3. Однако если вы используете инструмент управления затратами на AWS, оплата за использование S3 Glacier Deep Archive в подробных ежемесячных отчетах о расходах будет включена в раздел «Расходы и использование Amazon S3», а не выделена в отдельную позицию.

 

Вопрос: Существует ли минимальный срок хранения и минимальная плата за хранение объектов для S3 Glacier Deep Archive?

S3 Glacier Deep Archive предназначен для долговременных, но редко используемых данных, которые хранятся в течение 7-10 лет и более. Объекты, архивированные в S3 Glacier Deep Archive, хранятся не менее 180 дней. При этом плата за объекты, которые удаляются до истечения 180 дней, будет взиматься согласно тарифам на хранение, пропорционально оставшимся дням. Общую информацию о ценах на S3 Glacier Deep Archive см. на странице цен на Amazon S3.

S3 Glacier Deep Archive использует минимальный оплачиваемый объем 40 КБ для хранения объектов. Можно сохранять и более мелкие объекты, но плата за них будет взиматься как за объекты размером 40 КБ. Общую информацию о ценах на S3 Glacier Deep Archive см. на странице цен на Amazon S3.

 

Вопрос: Как S3 Glacier Deep Archive интегрируется с другими сервисами AWS?

Deep Archive интегрирован с функциями Amazon S3, включая анализ классов хранения S3, назначение тегов объектам S3, политики управления жизненным циклом S3, компонуемые объекты, блокировку объектов S3 и межрегиональную репликацию S3. Благодаря функциям управления хранилищем S3 вы можете использовать одну корзину Amazon S3 для хранения произвольной комбинации данных S3 Glacier Deep Archive, S3 Standard, S3 Standard-IA, S3 One Zone-IA и S3 Glacier. Это позволяет администраторам хранилищ принимать решения на основании характера данных и шаблонов доступа к данным. Клиенты могут использовать политики управления жизненным циклом Amazon S3 для автоматического переноса данных в более дешевые классы хранилищ по мере старения данных или на основании политики межрегиональной репликации S3 для репликации данных в другой регион.

Сервис AWS Storage Gateway объединяет ленточный шлюз с классом хранилища S3 Glacier Deep Archive, позволяя хранить виртуальные ленты в хранилище класса Amazon S3 с наименьшими затратами, что на 75 % снижает ежемесячные расходы на долговременное хранение данных в облаке. С помощью этой функции ленточный шлюз поддерживает архивирование ваших новых виртуальных лент непосредственно в S3 Glacier и S3 Glacier Deep Archive, помогая выполнять требования к резервному копированию, архивированию и восстановлению. Ленточный шлюз помогает перенести резервные ленточные копии в AWS без каких-либо изменений в существующих рабочих процессах резервного копирования. Ленточный шлюз поддерживает большинство ведущих приложений резервного копирования, таких как Veritas, Veeam, Commvault, Dell EMC NetWorker, IBM Spectrum Protect (в ОС Windows) и Microsoft Data Protection Manager.

Вопрос: Какая серверная инфраструктура используется для класса хранилища S3 Glacier Deep Archive?

Как правило, AWS не раскрывает информацию о серверной инфраструктуре и архитектуре вычислительных, сетевых сервисов и сервисов хранилищ. Мы делаем акцент на практических преимуществах для клиента: производительности, надежности, доступности и безопасности. Однако клиенты часто задают нам этот вопрос. Мы используем ряд технологий, позволяющих нам предлагать клиентам текущие цены. Наши сервисы основаны на распространенных технологиях хранилищ данных. Они реализованы в специально спроектированных системах с оптимальными экономическими характеристиками и работают под управлением собственного программного обеспечения AWS. Максимальная эффективность доступа к хранилищу в сервисе S3 Glacier Deep Archive достигается благодаря оптимизации последовательности ввода‑вывода.

Запросы к данным без извлечения

Вопрос: Что представляет собой возможность запросов к данным без извлечения?

Amazon S3 предоставляет клиентам возможность запуска сложных запросов к хранящимся данным без необходимости их перемещения на отдельную аналитическую платформу. Возможность выполнения запроса к данным без извлечения в Amazon S3 может существенно повысить производительность и снизить стоимость аналитических решений, использующих S3 в качестве озера данных. S3 предлагает разнообразные варианты выполнения запросов к данным без извлечения, в том числе посредством S3 Select, Amazon Athena и Amazon Redshift Spectrum. Можно выбрать вариант, который лучше всего подходит для конкретного примера использования. Amazon S3 Select можно использовать вместе с AWS Lambda для создания бессерверных приложений, использующих возможности обработки на месте на базе S3 Select.

Вопрос: Что такое S3 Select?

S3 Select – это одна из возможностей Amazon S3. Она позволяет извлекать конкретные данные из содержимого объекта с помощью простых SQL-выражений, не извлекая при этом весь объект. Используйте S3 Select для извлечения подмножества данных с помощью классов SQL, таких как SELECT и WHERE, из объектов, хранимых в формате CSV, JSON или Apache Parquet. Такой же подход работает и с объектами, сжатие которых выполняется с помощью GZIP или BZIP2 (только для объектов CSV и JSON), а также для объектов с шифрованием на стороне сервера.

Вопрос: Как можно использовать S3 Select?

S3 Select можно использовать для извлечения из объекта меньшего по размеру и целевым образом заданного набора данных с помощью простых SQL-операторов. При совместном использовании S3 Select и AWS Lambda можно создавать бессерверные приложения, в которых данные из Amazon S3 будут просто и эффективно извлекаться с помощью S3 Select, а не путем извлечения и обработки целого объекта. Кроме того, S3 Select можно использовать вместе с инфраструктурами обработки больших данных – Presto, Apache Hive, Apache Spark – для сканирования и фильтрации данных в Amazon S3.

Вопрос: Какие преимущества дает S3 Select?

S3 Select предоставляет новый метод извлечения конкретных данных из содержимого объекта, хранящегося в Amazon S3, без извлечения целого объекта с использованием SQL-операторов. S3 Select упрощает работу и способен до 400 % увеличить производительность сканирования за счет фильтрации содержимого объектов в меньший по размеру и целевым образом заданный набор данных. С помощью S3 Select можно также выполнять рабочий анализ файлов журналов в Amazon S3 без запуска вычислительного кластера или управления им.

Вопрос: Что такое Amazon Athena?

Amazon Athena — это сервис интерактивных запросов, позволяющий анализировать данные в Amazon S3 с помощью стандартных SQL-запросов. Athena – бессерверный сервис, здесь нет инфраструктуры, требующей настройки или управления, поэтому можно сразу же приступить к анализу данных. Не нужно даже загружать данные в Athena, поскольку сервис работает непосредственно с данными, размещенными в хранилище S3 любого класса. Чтобы начать, просто войдите в Консоль управления Athena, задайте свою схему и приступайте к выполнению запросов. Сервис Amazon Athena использует Presto с полной поддержкой стандартных запросов SQL и работает с различными стандартными форматами данных, включая CSV, JSON, ORC и Apache Parquet и Avro. Athena идеально подходит для быстрого выполнения спонтанных запросов, просто интегрируется с Amazon QuickSight, обеспечивая удобную визуализацию, а также может выполнять сложные задачи анализа с использованием масштабных операций объединения, оконных функций и массивов.

Вопрос: Что такое Amazon Redshift Spectrum?

Amazon Redshift Spectrum — это возможность сервиса Amazon Redshift, которая позволяет выполнять запросы к эксабайтам неструктурированных данных в Amazon S3 без загрузки или выполнения ETL-операций. При отправке запроса он поступает на SQL-сервер Amazon Redshift, который генерирует и оптимизирует план запроса. Amazon Redshift определяет, какие данные являются локальными, а какие находятся в Amazon S3, генерирует план минимизации объема данных Amazon S3, которые необходимо прочитать, и запрашивает исполнителей Amazon Redshift Spectrum из общего пула ресурсов, чтобы прочитать и обработать данные из Amazon S3.

Redshift Spectrum при необходимости масштабируется до тысяч инстансов, поэтому запросы выполняются быстро при любых объемах данных. Теперь можно использовать для данных Amazon S3 тот же синтаксис SQL, что и для запросов Amazon Redshift, и подключаться к тому же адресу Amazon Redshift, используя привычные инструменты бизнес-аналитики. Redshift Spectrum позволяет разделить вычислительные ресурсы и хранилища и масштабировать их независимо друг от друга. Можно настроить необходимое количество кластеров Amazon Redshift, чтобы выполнять запросы к озеру данных Amazon S3, обеспечивая высокую доступность и неограниченную параллельную обработку. С Redshift Spectrum можно хранить данные где угодно и в каком угодно формате – они всегда будут под рукой для обработки.

Оповещения о событиях

Вопрос: Что такое оповещения о событиях Amazon S3?

Amazon S3 может посылать оповещения о выполнении в Amazon S3 таких операций, как PUT, POST, COPY или DELETE. Оповещения могут быть посланы через Amazon SNS, Amazon SQS или напрямую в AWS Lambda.

Вопрос: Как можно использовать оповещения о событиях Amazon S3?

Оповещения о событиях в Amazon S3 позволяют запускать рабочие процессы, отправлять предупреждения или выполнять другие действия при изменении объектов, хранимых в корзине S3. Оповещения о событиях S3 можно использовать для настройки триггеров, запускающих выполнение определенных действий, таких как перекодировка мультимедийных файлов по завершению загрузки, обработка файлов данных по мере их поступления или синхронизация объектов S3 с другими хранилищами данных. Также вы можете настроить оповещения о событиях на основе префиксов и суффиксов имени объекта. Например, можно получать оповещения об объектах, имя которых начинается с «images/».

Вопрос: Что включено в оповещения о событиях Amazon S3?

Подробное описание информации, включенной в оповещения о событиях Amazon S3, см. в теме Configuring Amazon S3 Event Notifications Руководства разработчика Amazon S3.

Вопрос: Как настроить оповещения о событиях Amazon S3?

Подробную информацию о настройке оповещений о событиях см. в теме Configuring Amazon S3 Event Notifications Руководства разработчика Amazon S3. Подробнее о сервисах AWS для обмена сообщениями см. в документации по Amazon SNS и документации по Amazon SQS.

Вопрос: Сколько стоит использование оповещений о событиях Amazon S3?

Amazon S3 не взимает дополнительную плату за оповещения о событиях. Оплачивается только использование Amazon SNS или Amazon SQS для доставки оповещений о событиях или стоимость исполнения функции AWS Lambda. Сведения о ценах на Amazon SNS, Amazon SQS или AWS Lambda см. на страницах цен на данные сервисы.

Amazon S3 Transfer Acceleration

Вопрос: Что такое S3 Transfer Acceleration?

Функция Amazon S3 Transfer Acceleration обеспечивает быструю, простую и безопасную передачу файлов на большие расстояния между вашим клиентом и вашей корзиной Amazon S3. В S3 Transfer Acceleration используются распределенные по всему миру периферийные местоположения AWS для сервиса Amazon CloudFront. После того как данные окажутся в периферийном местоположении AWS, они будут направлены в вашу корзину Amazon S3 по оптимизированному сетевому маршруту.

Вопрос: Как начать работу с S3 Transfer Acceleration?

Чтобы начать работу с S3 Transfer Acceleration, включите S3 Transfer Acceleration в корзине S3 с помощью консоли Amazon S3, API Amazon S3 или интерфейса командной строки AWS. После включения S3 Transfer Acceleration можно будет направлять запросы PUT и GET сервиса Amazon S3 на доменное имя s3-accelerate для соответствующего адреса. Для ускоренной передачи данных приложение должно использовать при передаче данных один из следующих адресов для подключения к корзине: .s3-accelerate.amazonaws.com или .s3-accelerate.dualstack.amazonaws.com для адреса «dual-stack». Для стандартной передачи данных можно будет по-прежнему использовать обычные адреса.

Существует ряд условий, которые должны быть выполнены, чтобы корзины поддерживали S3 Transfer Acceleration. Подробную информацию см. в Руководстве разработчика Amazon S3.

Вопрос: Какова скорость работы S3 Transfer Acceleration?

S3 Transfer Acceleration позволяет полностью использовать имеющуюся полосу пропускания и свести к минимуму влияние расстояний на пропускную способность. Это обеспечивает неизменно высокую скорость передачи данных в Amazon S3 независимо от местонахождения клиента. Уровень ускорения зависит главным образом от доступной пропускной способности, расстояния между источником и местом назначения и показателями потери пакетов на сетевом маршруте. В целом ускорение будет тем выше, чем дальше источник от места назначения, чем шире полоса пропускания и/или чем больше размер объекта.

Один из клиентов зафиксировал сокращение среднего времени вдвое при получении файлов размером 300 МБ от глобальной базы пользователей, находящихся в США, Европе и некоторых странах Азии, в корзину в регионе Азия и Тихий океан (Сидней). Другой клиент наблюдал повышение пропускной способности на 500 % для пользователей из Юго-Восточной Азии и Австралии при загрузке файлов размером 250 МБ (часть из них размером 50 МБ) в корзину S3 в регионе Восток США (Северная Вирджиния).

Попробуйте инструмент сравнения скорости для предварительной оценки прироста производительности при передаче от конкретного местоположения.

Вопрос: В каких случаях стоит использовать S3 Transfer Acceleration?

Возможность S3 Transfer Acceleration предназначена для оптимизации скорости передачи данных в корзины S3 по всему миру. При выполнении загрузки в централизованную корзину из географически рассредоточенных местоположений или при регулярной передаче гигабайтов или терабайтов данных через целые континенты функция S3 Transfer Acceleration позволит сэкономить при передаче часы или даже дни.

Вопрос: Безопасно ли использовать S3 Transfer Acceleration?

Возможность S3 Transfer Acceleration так же безопасна, как и обычная передача данных в Amazon S3. Она поддерживает все инструменты безопасности сервиса Amazon S3, например ограничение доступа по IP-адресу клиента. Возможность S3 Transfer Acceleration взаимодействует с клиентами по стандартному протоколу TCP и не требует изменений в настройках брандмауэра. Данные не сохраняются в периферийных местоположениях AWS.

Вопрос: Что произойдет, если передача данных с использованием S3 Transfer Acceleration окажется не быстрее обычной передачи данных с помощью Amazon S3?

Каждый раз, когда для загрузки объекта в корзину используется S3 Transfer Acceleration, мы проверяем, действительно ли передача данных с помощью S3 Transfer Acceleration выполняется быстрее, чем обычная передача данных с помощью Amazon S3. Если передача данных с использованием S3 Transfer Acceleration оказывается не быстрее, чем обычная передача Amazon S3 того же объекта в тот же регион назначения AWS, AWS не начисляет плату за использование функции S3 Transfer Acceleration для этой передачи и игнорирует использование системы S3 Transfer Acceleration для этой загрузки.

Вопрос: Можно ли использовать S3 Transfer Acceleration для многокомпонентных загрузок?

Да, S3 Transfer Acceleration поддерживает все возможности на уровне корзин, включая многокомпонентные загрузки.

Вопрос: В каких случаях стоит выбрать S3 Transfer Acceleration, а в каких — команды PUT/POST сервиса Amazon CloudFront?

Возможность S3 Transfer Acceleration оптимизирует протокол TCP и расширяет логические функции передачи данных между клиентом и корзиной S3, поэтому ее стоит выбрать, когда требуется увеличение пропускной способности. Если размер передаваемых объектов или передаваемого набора данных менее 1 ГБ, для оптимальной скорости передачи данных воспользуйтесь командами PUT/POST сервиса Amazon CloudFront.

Вопрос: В каких случаях стоит выбрать S3 Transfer Acceleration, а в каких — семейство устройств AWS Snow (Snowball, Snowball Edge или Snowmobile)?

Семейство устройств AWS Snow идеально подходит для единовременного перемещения больших пакетов данных. Время перемещения данных с его помощью обычно составляет 5–7 дней. Как правило, S3 Transfer Acceleration при полностью используемой полосе пропускания шириной 1 Гбит/с обеспечивает за такое же время передачу до 75 ТБ. Обычно в тех случаях, когда передача через Интернет может занять более недели, или при необходимости повторных передач и наличии полосы пропускания шириной свыше 25 Мбит/с целесообразно использовать S3 Transfer Acceleration. Можно также использовать обе возможности: сначала переместить основной объем данных с помощью одного или нескольких устройств AWS Snowball, а затем передавать текущие инкрементные изменения с помощью S3 Transfer Acceleration.

Вопрос: Можно ли дополнить подключение AWS Direct Connect возможностью S3 Transfer Acceleration?

AWS Direct Connect подходит клиентам, которым требуется использование частной сети или у которых есть доступ к обмену данными AWS Direct Connect. S3 Transfer Acceleration оптимально подходит для отправки данных от распределенных клиентских местоположений через публичный Интернет или для тех случаев, когда неоднородные условия сети ухудшают пропускную способность. Некоторые клиенты, использующие AWS Direct Connect, используют S3 Transfer Acceleration для передачи данных из удаленных офисов, где скорость передачи данных через Интернет может быть низкой.

Вопрос: Можно ли дополнить сервис AWS Storage Gateway или шлюз стороннего поставщика использованием S3 Transfer Acceleration?

Если вы можете задать адрес корзины назначения в шлюзе стороннего поставщика с использованием доменного имени для адреса сервера в S3 Transfer Acceleration, преимущества будут очевидны.

Подробнее о таком использовании AWS можно узнать в разделе «Файловый шлюз» на странице вопросов и ответов по сервису Storage Gateway.

Вопрос: Можно ли дополнить интегрированное ПО стороннего поставщика возможностью S3 Transfer Acceleration?

Да. Пакеты ПО, которые подключаются непосредственно к Amazon S3, могут использовать преимущества S3 Transfer Acceleration при отправке заданий в Amazon S3.

Подробнее о решениях партнеров в сфере хранения данных »

Вопрос: Соответствует ли S3 Transfer Acceleration требованиям HIPAA?

Да, AWS расширила программу соответствия требованиям HIPAA. Теперь Amazon S3 Transfer Acceleration соответствует требованиям HIPAA. Если вы заключили с AWS договор делового партнерства (BAA), можно использовать Amazon S3 Transfer Acceleration для быстрой, простой и безопасной передачи файлов, включая закрытую медицинскую информацию (PHI), на большие расстояния между клиентом и корзиной Amazon S3.

Подробнее о соответствии требованиям HIPAA »

Управление хранилищем

Назначение тегов объектам S3

Вопрос: Что такое теги объектов S3?

Теги объектов S3 – это пары «ключ-значение», назначаемые объектам S3. Эти пары можно создавать, обновлять и удалять в любое время в течение жизненного цикла объекта. С их помощью можно создавать политики Identity and Access Management (IAM), настраивать политики жизненного цикла сервиса S3, а также настраивать метрики хранилища. Эти теги на уровне объектов могут затем использоваться для управления перемещением данных между хранилищами разных классов и управления объектами, срок действия которых истекает, в фоновом режиме.

Вопрос: Как присваивать теги своим объектам?

Добавлять теги можно для новых объектов при их загрузке или для существующих объектов. Для каждого объекта S3 можно добавить до десяти тегов, при этом для добавления тегов объектов можно использовать Консоль управления AWS, API REST, интерфейс командной строки AWS или AWS SDK.

Вопрос: Почему следует использовать теги объектов?

Теги объектов – это инструмент, который упрощает управление хранилищем S3. Благодаря наличию возможности создавать, обновлять и удалять теги в любое время в течение всего жизненного цикла объекта можно адаптировать хранилище к любым потребностям бизнеса. С помощью этих тегов можно контролировать доступ к объектам, которым присвоены специальные пары «ключ-значение», что позволяет обеспечить дополнительную защиту конфиденциальных данных, предоставив к ним доступ только выбранной группе или пользователю. С помощью тегов объектов можно также помечать объекты, которые относятся к определенному проекту или бизнес-подразделению. Эти теги можно использовать вместе с политиками жизненного цикла S3 для управления переносом в хранилища других классов (S3 Standard-IA, S3 One Zone-IA и S3 Glacier) или в репликации S3 в разных регионах для выборочной репликации данных между регионами AWS.

Вопрос: Как обновлять теги у своих объектов?

Теги объектов можно изменять в любое время в течение всего жизненного цикла объекта S3. Для обновления тегов объектов можно использовать Консоль управления AWS, API REST, интерфейс командной строки AWS или AWS SDK. Учтите, что все изменения тегов, которые выполняются без использования Консоли управления AWS, выполняются над полным набором тегов. Если у определенного объекта есть пять тегов и необходимо добавить шестой, в запрос следует включить исходные пять тегов.

Вопрос: Будет ли выполняться репликация тегов объектов при использовании межрегиональной репликации?

Репликация тегов объектов между регионами AWS может выполняться при использовании межрегиональной репликации. Клиентам с включенной межрегиональной репликацией для репликации тегов требуются новые разрешения. Дополнительные сведения о настройке межрегиональной репликации см. в разделе «Настройка межрегиональной репликации» Руководства разработчика Amazon S3.

Вопрос: Какова стоимость тегов объектов?

Плата за теги объектов начисляется по количеству тегов и запросов для их добавления. Плата за запросы, связанные с добавлением и обновлением Тегов объектов, взимается по существующим тарифам на запросы. Подробнее см. на странице цен на Amazon S3.

Storage Class Analysis

Вопрос: Что представляет собой Storage Class Analysis?

С помощью Storage Class Analysis можно анализировать частоту доступа к хранилищу и переносить определенные данные в хранилище более подходящего класса. Эта новая возможность S3 автоматически выявляет данные, к которым редко обращаются, и помогает перенести их в хранилище S3 Standard – IA. Политика Storage Class Analysis позволяет выполнять мониторинг всей корзины либо объектов с определенным префиксом/тегом. После выявления данных, к которым редко обращаются, можно просто создать новую политику S3 для управления жизненным циклом объектов на основании полученных результатов. Storage Class Analysis также обеспечивает ежедневное визуальное представление данных об использовании хранилища в Консоли управления AWS. Соответствующие данные можно экспортировать в корзину S3 для последующего анализа с помощью удобных инструментов бизнес-аналитики, например Amazon QuickSight.

Вопрос: Как начать работу со Storage Class Analysis?

Чтобы выявить редко запрашиваемые данные, которые можно перенести в хранилище класса S3 Standar-IA, S3 One Zone-IA либо заархивировать в хранилище класса S3 Glacier, можно воспользоваться Консолью управления AWS или API PUT Bucket Analytics сервиса S3 для настройки политик Storage Class Analysis. Для управления метриками Storage Class Analysis, S3 Inventory и S3 CloudWatch требуется перейти на вкладку «Management» (Управление) в консоли S3.

Вопрос: Как начисляется плата за использование Storage Class Analysis?

Общую информацию о ценах на Storage Class Analysis см. на странице цен на Amazon S3.

Вопрос: Как часто обновляются данные Storage Class Analysis?

Данные Storage Class Analysis в консоли управления S3 обновляются ежедневно. Кроме того, можно настроить Storage Class Analysis таким образом, чтобы соответствующие отчеты экспортировались в выбранную корзину S3.

S3 Inventory

Вопрос: Что такое S3 Inventory?

Отчет S3 Inventory предоставляет альтернативу синхронному API Amazon S3 List, позволяющую выполнять задачи по расписанию. Можно настроить S3 Inventory для предоставления выходных данных объектов и соответствующих им метаданных корзины S3 или префикса в формате CSV, ORC или Parquet на ежедневной или еженедельной основе. С помощью S3 Inventory можно упростить и ускорить рабочие бизнес-процессы и задачи обработки больших данных. S3 Inventory можно также использовать для проверки состояния шифрования и репликации объектов на предмет соответствия требованиям бизнеса и применимых нормативных актов. 

Вопрос: Как начать работу с S3 Inventory?

С помощью консоли управления AWS или вызова API PUT Bucket Inventory можно настроить создание ежедневного или еженедельного отчета по инвентаризации всех объектов в корзине S3 или набора объектов с общим префиксом. При настройке можно указать корзину S3 для сохранения отчета S3 Inventory, формат выходных файлов (CSV, ORC или Parquet), а также определенные метаданные объектов, актуальные для конкретного бизнес-приложения, такие как имя объекта, размер, дата последнего изменения, класс хранилища, идентификатор версии, маркер удаления, метка устаревшей версии, метка многокомпонентной загрузки, состояние репликации или шифрования.

Вопрос: Можно ли шифровать файлы отчетов S3 Inventory?

Да, можно настроить шифрование всех файлов, записываемых S3 Inventory, с помощью шифрования на стороне сервера в S3 или KMS. Подробнее см. в руководстве пользователя.

Вопрос: Как можно использовать S3 Inventory?

S3 Inventory можно использовать для прямой передачи данных в рабочие процессы приложений или в задания по обработке больших данных. Можно также делать запросы к S3 Inventory с использованием стандартного языка SQL с помощью Amazon Athena, Amazon Redshift Spectrum или других инструментов, например Presto, Hive и Spark.

Подробнее о запросах к S3 Inventory с помощью Athena »

Вопрос: Как начисляется плата за использование S3 Inventory?

Цены на S3 Inventory см. на странице цен на Amazon S3. После настройки шифрования с помощью шифрования на стороне сервера KMS будет взиматься плата за шифрование по тарифам сервиса KMS; подробнее см. на странице цен на KMS.

Пакетные операции S3

Вопрос. Что представляют собой пакетные операции S3 Batch Operations?

Batch Operations S3 – возможность, которую клиенты могут использовать для автоматизации выполнения, управления и аудита определенных запросов API S3 или функций AWS Lambda в отношении множества объектов, хранящихся в Amazon S3 в больших объемах. Клиенты могут использовать S3 Batch Operations для автоматизации замены наборов тегов на объектах S3, обновления списков управления доступом (ACL) для объектов S3, копирования объектов из одной корзины в другую, инициации восстановления из Amazon Glacier в хранилища других классов S3, а также для выполнения самостоятельно заданных операций с помощью функций AWS Lambda.

С помощью S3 Batch Operations можно путем нескольких нажатий в Консоли управления S3 или одного запроса API внести изменение в миллиарды объектов; при этом не потребуется писать собственный код приложения или запускать вычислительные кластеры для управления хранилищами. Инструмент S3 Batch Operations не только позволяет управлять работой хранилища для множества различных объектов, он также осуществляет повторные попытки, отображает ход выполнения операций, доставляет оповещения, создает отчет о выполнении и отправляет события в AWS CloudTrail для всех операций, проведенных над целевыми объектами. S3 Batch Operations можно использовать из Консоли управления S3 либо с помощью AWS CLI и SDK. Зарегистрируйтесь в S3 Batch Operations Preview здесь.

Вопрос. Как начать работу с S3 Batch Operations?

Начать работу с S3 Batch Operations можно, используя Консоль управления S3, интерфейс командной строки AWS (CLI) или пакет средств разработки ПО AWS (SDK) для создания первого задания S3 Batch Operations. Задание S3 Batch Operations состоит из списка целевых объектов, над которыми требуется провести операцию, и типа проводимой операции. Начните с выбора отчета S3 Inventory или составления собственного списка целевых объектов для выполнения операций S3 Batch Operations. Отчет S3 Inventory – файл со списком всех объектов, хранящихся в корзине S3 или имеющих определенный префикс. Затем выберите в перечне операций, поддерживаемых S3 Batch Operations, нужные вам действия, например замену наборов тегов, изменение ACL, копирование хранилища из одной корзины в другую или инициацию восстановления из S3 Glacier в хранилище S3 другого класса. Затем можно настроить созданные задания S3 Batch Operations с помощью определенных параметров, таких как значения тегов, участники списка ACL или срок восстановления. Для дополнительной настройки действий хранилища под свои потребности можно написать собственную функцию AWS Lambda и вызывать этот код с помощью S3 Batch Operations.

Когда вы создадите свое задание S3 Batch Operations, оно выполнит обработку вашего списка объектов, дождется подтверждения (если необходимо) и затем начнет выполнять заданную операцию. Ход выполнения задания можно просматривать программным образом или через консоль S3, можно получать оповещения о выполнении и просматривать отчет о выполнении, в котором приводятся подробные сведения об изменениях в хранилище. Дополнительную информацию о S3 Batch Operations можно найти на странице возможностей Amazon S3.

Вопрос. Как управлять заданиями в S3 Batch Operations? Как задать их приоритетность?  

Заданиями S3 Batch Operations можно управлять с помощью Консоли управления S3 либо с помощью интерфейсов API AWS, CLI и пакетов SDK. Выбрав регион AWS на консоли или используя запрос ListJobs, можно просмотреть список заданий (до 1000 на каждый запрос) в каждом регионе AWS с возможностью сортировки по состоянию задания. Эти списки можно использовать для того, чтобы увидеть, какие задания активны, завершены или ожидают выполнения. Если одно из ваших заданий более важное или срочное, чем другие, можно повысить его приоритет до более высокого уровня, чтобы ускорить выполнение. Для отмены какого-либо задания используйте запрос CancelJob или выберите задание и нажмите «Cancel» на консоли.

Для просмотра хода выполнения активного задания используйте запрос DescribeJob или щелкните задание на Консоли управления S3. После выбора задания вы увидите его состояние, количество успешно выполненных операций, количество операций с ошибками, количество оставшихся операций и процент выполнения. Также для отслеживания того, когда выполнение заданий начинается и завершается, можно использовать оповещения.

S3 Object Lock

Вопрос. Что такое Amazon S3 Object Lock?

Amazon S3 Object Lock – это новая возможность Amazon S3, которая блокирует удаление версий объектов в течение периода хранения, установленного клиентом. Эта возможность позволяет применять политики хранения в качестве дополнительного уровня защиты данных либо для выполнения нормативных требований. Рабочие нагрузки можно переносить из существующих систем для однократной записи и многократного чтения (WORM) в Amazon S3 и настроить S3 Object Lock на уровне объектов или корзин для предотвращения удаления версий объектов до заданной даты, которую вы можете определить самостоятельно или в соответствии с нормативными требованиями. Защита S3 Object Lock обеспечивается независимо от класса хранилища, в котором находится объект, а также при переносах из одного класса хранилища в другой в течение жизненного цикла S3.

Вопрос. Какие задачи позволяет решать Amazon S3 Object Lock?

S3 Object Lock следует использовать, если на вас распространяются законодательные требования по защите данных по правилам WORM либо если вы хотите использовать дополнительный уровень защиты данных в Amazon S3. S3 Object Lock может помочь в выполнении законодательных требований о том, что данные должны храниться в неизменяемом формате, а также может обеспечить защиту от случайного или злонамеренного удаления данных в Amazon S3.

Вопрос. Как работает сервис Amazon S3 Object Lock?

Amazon S3 Object Lock блокирует удаление объекта в течение заданного периода сохранения. В сочетании с управлением версиями S3, которое защищает объекты от перезаписи, таким образом можно обеспечить неизменность объектов в течение всего срока применения защиты WORM. Защиту WORM можно применить либо путем задания даты Retain Until Date или Legal Hold для объекта с помощью AWS SDK, CLI, REST API или Консоли управления S3. Настройки сохранения можно задать в запросе PUT либо применить к существующему объекту после его создания.

Срок сохранения Retain Until Date определяет период времени, в течение которого объект будет неизменным. После присвоения Retain Until Date объекту этот объект будет невозможно удалить или изменить, пока не пройдет Retain Until Date. Если пользователь попытается удалить объект до прохождения Retain Until Date, в операции будет отказано.

S3 Object Lock можно настроить в одном из двух режимов. При использовании в режиме Governance аккаунты AWS с определенными разрешениями IAM могут снимать защиту WORM с объекта. Если вам требуется большая надежность по неизменности для выполнения законодательных требований, можно использовать режим Compliance. В режиме Compliance защиту WORM не может снять ни один пользователь, в том числе аккаунт root.

Кроме того, можно сделать объект неизменным, применив к нему Legal Hold. Legal Hold устанавливает на объект бессрочную защиту S3 Object Lock, которая действует, пока ее не снимут явным образом. Для установки и снятия защиты Legal Hold аккаунт AWS должен иметь разрешение на запись для действия PutObjectLegalHold. Legal Hold можно применить к любому объекту в корзине с поддержкой защиты S3 Object Lock, независимо от наличия у этого объекта в текущий момент защиты WORM на какой‑либо срок сохранения.

Вопрос: Какие электронные хранилища AWS могут использоваться с учетом нормативных требований к финансовым сервисам?

Для клиентов из сферы финансовых услуг S3 Object Lock обеспечивает дополнительную поддержку брокерской и дилерской деятельности, поскольку эти компании обязаны хранить записи в нестираемом и неперезаписываемом формате в соответствии с нормативными требованиями Правила Комиссии по ценным бумагам и биржам 17a-4(f), Правила Агентства по регулированию деятельности финансовых институтов 4511 или Норматива Комиссии по торговле товарными фьючерсами 1.31. Вы легко можете указать необходимое время хранения записей, чтобы хранить нужные архивы в оригинальной форме в течение указанного срока, а также хранить определенные данные для судебных нужд в течение неограниченного периода (пока соответствующее требование не будет снято).

Вопрос: Какие документы AWS поддерживают требования SEC 17a-4(f)(2)(i) и CFTC 1.31(c) по оповещению регулятора?

Отправьте регулятору или выбранному вами уполномоченному контролирующему органу (DEA) оповещение о намерении использовать сервис Amazon S3 в качестве электронного хранилища, а также экземпляр оценки компании Cohasset. В рамках этих требований AWS не является уполномоченной третьей стороной (D3P). Обязательно выберите D3P и укажите эту информацию в оповещении для своего DEA.

Метрики CloudWatch для S3

Вопрос: Как начать работу с метриками CloudWatch для S3?

Можно использовать Консоль управления AWS для включения ежеминутных метрик CloudWatch для запросов для корзины S3 или настройки фильтров для метрик на основании префикса или тега объекта. Кроме того, можно выполнить вызов API PUT Bucket Metrics сервиса S3, чтобы включить и настроить публикацию метрик хранилища S3. Метрики CloudWatch для запросов появятся в CloudWatch через 15 минут после включения. Метрики CloudWatch для запросов по умолчанию выключены для всех корзин, а отчет по ним составляется один раз в день.

Вопрос: Можно ли привести метрики CloudWatch для запросов в соответствие с требованиями приложения или организационной структурой бизнеса?

Да. Метрики запросов CloudWatch для S3 можно настроить для создания метрик определенной корзины S3, а также настроить фильтры для метрик, используя префикс или тег объекта.

Вопрос: Какие предупреждения можно установить для метрик своего хранилища?

Можно использовать CloudWatch для задания пороговых значений для всех результатов подсчета, таймеров или измерений метрик хранилища и выполнения определенного действия при превышении порогового значения. Например, можно установить пороговое значение, выраженное в процентах, для ответов, содержащих информацию об ошибке с кодом 4xx, и когда значения хотя бы трех точек данных превысят пороговое значение, CloudWatch выдаст предупреждение ответственному специалисту DevOps.

Вопрос: Как начисляется плата за использование метрик CloudWatch для S3?

Метрики CloudWatch для хранилища предоставляются бесплатно. Плата за запросы к метрикам CloudWatch начисляется по тарифам для пользовательских метрик Amazon CloudWatch. Общую информацию о ценах на метрики CloudWatch для S3 см. на странице цен на Amazon CloudWatch.

Управление жизненным циклом S3

Вопрос: Что такое управление жизненным циклом S3?

Функция управления жизненным циклом сервиса S3 предоставляет возможность определить жизненный цикл вашего объекта посредством предопределенной политики и уменьшить стоимость его хранения. Можно настроить политику жизненного цикла для автоматического переноса объектов, размещенных в хранилище класса S3 Standard, в хранилища S3 Standard-IA, S3 One Zone-IA, и/или S3 Glacier в зависимости от срока существования данных. Можно также настроить политики окончания жизненного цикла для автоматического удаления объектов на основе срока их хранения. Можно настроить политику окончания срока многокомпонентной загрузки, прекращающую незавершенные многокомпонентные загрузки на основании их продолжительности.

Вопрос: Как создать политику управления жизненным циклом S3?

Создавать политики жизненного цикла и управлять ими можно с помощью Консоли управления AWS, API REST сервиса S3, AWS SDK или интерфейса командной строки AWS. Вы можете определить политику на уровне префикса или корзины.

Вопрос: Какова стоимость использования управления жизненным циклом S3?

За настройку и использование политик управления жизненным циклом плата не взимается. Плата за выполнение запроса на перенос объектов начисляется по количеству объектов, которые начинают соответствовать критериям переноса, указанным в правилах жизненного цикла. Подробную информацию о ценах см. на странице цен на Amazon S3.

Вопрос: Как можно использовать политики управления жизненным циклом?

По мере устаревания данных они становятся менее важными, менее ценными и/или от них уже не требуется соответствие требованиям. Amazon S3 имеет в своем составе обширную библиотеку политик, которая позволяет автоматизировать процессы перемещения данных между классами хранилищ. К примеру, можно настроить перемещение нечасто используемых объектов в классы хранилищ с меньшей стоимостью (например, S3 Standard – IA или S3 One Zone – IA) по истечении некоторого периода времени. По истечении еще какого-то периода времени эти объекты могут перемещаться в хранилище Amazon S3 Glacier для архивации в соответствии с определенными требованиями. Если политика компании это позволяет, можно также задать политику жизненного цикла для удаления объектов. Такие правила могут незаметно для пользователя снизить затраты на хранение данных и упростить управление данными. Эти политики также включают оптимальные рекомендации по удалению ненужных объектов и атрибутов для снижения затрат и оптимизации производительности.

Вопрос: Как использовать управление жизненным циклом Amazon S3 для снижения затрат на хранилище Amazon S3?

С помощью политик жизненного цикла Amazon S3 можно настроить миграцию объектов из хранилища класса S3 Standard в хранилище S3 Standard-IA, S3 One Zone-IA и/или их архивацию в S3 Glacier. Дополнительно можно задать политику жизненного цикла S3 для удаления объектов по истечении определенного периода времени. С помощью такой определяемой правилами автоматизации можно быстро и легко понизить затраты на хранилище, а также сэкономить время. В каждом правиле можно указать префикс, промежуток времени, перенос в хранилище S3 Standard-IA, S3 One Zone-IA или S3 Glacier, а также окончание срока хранения. Например, можно создать правило, архивирующее в S3 Glacier все объекты с общим префиксом "logs/" через 30 дней после их создания и прекращающее хранение этих объектов после 365 дней с момента их создания. Можно создать отдельное правило, прекращающее хранение всех объектов с префиксом backups/ через 90 дней с момента их создания. Политики жизненного цикла S3 применяются как к существующим, так и к новым объектам S3, обеспечивая оптимизацию хранилища и максимальную экономию при размещении любых данных в S3 без затрат времени на проверку и перемещение данных вручную. В рамках правила управления жизненным циклом объектов поле префикса определяет объекты, к которым правило применяется. Для того чтобы применить правило к отдельному объекту, необходимо указать имя ключа. Для того чтобы применить правило к набору объектов, необходимо указать их общий префикс (например, “logs/”). Для удаления объектов можно указать действие переноса (архивацию объектов или окончание срока действия). Укажите время: конкретную дату (например, 31 января 2015 года) или количество дней с момента создания (например, 30 дней), по истечении которого следует выполнять архивацию или удаление объектов. Можно создать несколько правил для разных префиксов.

Вопрос: Как настроить объекты, чтобы они были удалены через определенный промежуток времени?

Для удаления объектов из корзин через определенное количество дней можно настроить политику окончания жизненного цикла S3. Можно определить правила окончания срока действия набора объектов в корзине с помощью политики настройки жизненного цикла, которая применяется к корзине.

Подробнее о политиках окончания жизненного цикла S3 »

Вопрос: Почему стоит использовать политику жизненного цикла S3 для прекращения срока действия незавершенных многокомпонентных загрузок?

Политика жизненного цикла S3, прекращающая незавершенные многокомпонентные загрузки, позволяет сократить расходы за счет ограничения времени хранения данных, загруженных в результате таких многокомпонентных загрузок. Например, если приложение загружает несколько частей многокомпонентного объекта и не подтверждает их запись, плата за хранение этих компонентов все-таки будет взиматься. Соответствующая политика позволяет сократить расходы на хранилище S3 за счет удаления незавершенных многокомпонентных загрузок и связанных с ними данных через определенное количество дней.

Подробнее об использовании жизненного цикла S3 для прекращения срока действия незавершенных многокомпонентных загрузок »

Межрегиональная репликация

Вопрос: Что представляет собой межрегиональная репликация в Amazon S3?

Межрегиональная репликация (CRR) – это возможность Amazon S3, которая осуществляет автоматическую репликацию данных между регионами AWS. CRR позволяет с помощью тегов объектов S3 настроить репликацию на уровне корзин, общих префиксов или объектов. CRR позволяет предоставить доступ к данным с низкой задержкой в разных географических регионах. Функция CRR также полезна в тех случаях, когда для соблюдения правовых норм копии данных требуется хранить в сотнях километров друг от друга.

Вопрос: Как активировать CRR?

CRR настраивается на уровне корзин S3. Чтобы включить CRR для исходной корзины, необходимо задать целевую корзину для репликации в другом регионе. Для активации CRR можно использовать Консоль управления AWS, REST API, AWS CLI или AWS SDK. Управление версиями при использовании CRR должно быть включено и в исходной, и в целевой корзине. Дополнительные сведения см. в разделе Руководства разработчика Amazon S3, посвященном межрегиональной репликации.

Вопрос: Можно ли использовать CRR с правилами управления жизненным циклом S3?

Да. Можно настроить разные правила управления жизненным циклом S3 для исходной и целевой корзин. Например, можно настроить правило управления жизненным циклом для миграции данных из хранилища класса S3 Standard в хранилище класса S3 Standard-IA или S3 One Zone-IA либо для архивации данных в S3 Glacier в целевой корзине.

Теперь можно создать правила межрегиональной репликации S3 для создания прямых копий данных в хранилище класса S3 Glacier в другом регионе для создания резервной копии или других целей, при этом не требуется определение политик жизненного цикла данных.

Вопрос: Можно ли использовать CRR с объектами, зашифрованными с помощью AWS Key Management Service (KMS)?

Да, можно реплицировать объекты, зашифрованные KMS, путем указания ключа KMS назначения в настройках репликации.

Подробнее о репликации объектов, зашифрованных KMS »

Вопрос: Обеспечивается ли в процессе репликации безопасность передаваемых объектов и шифрование?

Да, объекты остаются зашифрованными на всех стадиях процесса CRR. Зашифрованные объекты безопасно передаются из региона источника в регион назначения по протоколу SSL.

Вопрос: Можно ли использовать CRR между разными аккаунтами AWS для защиты от злонамеренного или случайного удаления?

Да, можно настроить CRR между разными аккаунтами, чтобы хранить реплицированные данные в другом аккаунте в целевом регионе. Чтобы обеспечить владение данными источника и получателя разными владельцами и предоставить право собственности на реплицированное хранилище аккаунту назначения, можно установить в настройках репликации перезапись владельца CRR. 

Вопрос: Каковы цены на межрегиональную репликацию S3?

Плата взимается за хранилище Amazon S3 (в соответствии с выбранным классом хранилища S3), за запросы на копирование и за межрегиональную передачу реплицированных копий данных. За запросы на копирование и межрегиональную передачу данных плата начисляется в зависимости от региона источника. За хранение реплицированных данных плата начисляется в зависимости от целевого региона. Подробную информацию о ценах сервиса см. на странице цен на S3.

Если исходный объект загружается с использованием функции многокомпонентной загрузки, то он реплицируется с тем же количеством частей того же размера. Например, за объект размером 100 ГБ, загруженный с использованием многокомпонентной загрузки (800 частей по 128 МБ каждая), при репликации взимается оплата как за 802 запроса (800 запросов на загрузку частей + 1 запрос на начало многокомпонентной загрузки + 1 запрос на окончание многокомпонентной загрузки). Будет взиматься плата за запросы в размере 0,00401 USD (802 запроса x 0,005 USD/1000 запросов) и плата в размере 2 USD (0,020 USD/переданный ГБ x 100 GB) за межрегиональную передачу данных. По окончании репликации, будет взиматься оплата за хранение 100 GB данных по тарифам региона назначения.

Amazon S3 и IPv6

Вопрос: Что такое IPv6?

Каждый сервер и устройство, подключенные к Интернету, должны иметь уникальный адрес. Интернет-протокол версии 4 (IPv4) изначально имел 32-битную адресацию. Непрерывное развитие Интернета приведет к тому, что через некоторое время все доступные IPv4-адреса будут использованы. Интернет-протокол версии 6 (IPv6) использует новую схему адресации, предназначенную для того, чтобы обойти глобальное ограничение адресации протокола IPv4.

Вопрос: Как можно использовать протокол IPv6?

Amazon S3 поддерживает использование протокола IPv6. Приложения могут подключаться к Amazon S3 без необходимости использования программного обеспечения или систем для преобразования адресов IPv4 в адреса IPv6. Это дает возможность обеспечить соответствие требованиям, проще выполнять интеграцию с существующими локальными приложениями на базе IPv6 и устраняет необходимость применения дорогого сетевого оборудования для преобразования адресов. С адресами IPv6 теперь можно использовать существующие возможности фильтрации адресов, имеющиеся в политиках IAM и политиках корзин, расширив возможности обеспечения безопасности приложений, взаимодействующих с Amazon S3.

Вопрос: Как начать использовать протокол IPv6 в Amazon S3?

Вы можете начать работу, указав приложению новый адрес сервера Amazon S3 с «двойным стеком» (поддерживающий доступ по обоим протоколам, IPv4 и IPv6). В большинстве случаев для доступа по IPv6 дополнительных настроек не требуется, так как большинство сетевых клиентов предпочитают по умолчанию использовать адреса IPv6.

Вопрос: Меняется ли производительность Amazon S3 при использовании протокола IPv6?

Нет, качество функционирования сервиса Amazon S3 не зависит от того, будет при работе с ним использоваться протокол IPv4 или протокол IPv6.

Вопрос: Что делать, если мои клиенты сталкиваются с ограничениями политик, сетевыми или другими ограничениями при использовании протокола IPv6 для работы с Amazon S3?

Приложения, на работе которых отражается использование протокола IPv6, можно в любое время переключить на работу со стандартными адресами серверов, работающими только по протоколу IPv4.

Вопрос: Протокол IPv6 работает со всеми возможностями Amazon S3?

Нет, поддержка протокола IPv6 в настоящее время недоступна для хостинга веб-сайтов и доступа через BitTorrent. Все другие возможности при использовании доступа к Amazon S3 по протоколу IPv6 должны работать в штатном режиме.

Вопрос: Во всех ли регионах AWS поддерживается протокол IPv6?

Протокол IPv6 с Amazon S3 можно использовать во всех коммерческих регионах AWS, кроме регионов Китай (Пекин) и Китай (Нинся). Протокол IPv6 также можно использовать в регионе AWS GovCloud (США).

Готовы начать?

Product-Page_Standard-Icons_01_Product-Features_SqInk
Узнайте о возможностях продукта

Узнайте о возможностях управления данными, безопасности, управления доступом, аналитики данных и многом другом.

Подробнее 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Зарегистрировать бесплатный аккаунт

Получите мгновенный доступ к хранилищу AWS Free Tier и начните экспериментировать с Amazon S3. 

Регистрация 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Начать разработку в консоли

Начните разработку с помощью Amazon S3 в консоли AWS.

Начало работы