Общие вопросы и ответы по S3

Вопрос: Что такое Amazon S3?

Amazon S3 – это объектное хранилище, рассчитанное на хранение и извлечение любых объемов данных из любого места в Интернете. Это простой сервис хранилища, который обеспечивает чрезвычайно надежную, высокодоступную и бесконечно масштабируемую инфраструктуру для хранения данных по очень низким ценам.

Вопрос: Что можно делать с помощью Amazon S3?

Amazon S3 предоставляет простой интерфейс веб-сервиса, который можно использовать для хранения и извлечения любых объемов данных в любое время из любого места в Интернете. Такой веб-сервис позволяет просто создавать приложения, использующие интернет-хранилище. Поскольку сервис Amazon S3 обеспечивает широкие возможности масштабирования, а плата начисляется только за фактически использованные ресурсы, можно начать работу с небольших масштабов и наращивать приложение по мере необходимости, не жертвуя при этом производительностью или надежностью.

Сервис Amazon S3 спроектирован для максимальной гибкой работы. Вы можете хранить данные любого типа и в любом количестве; считывать те же самые данные миллион раз или только для аварийного восстановления; создавать простое FTP-приложение или сложное веб-приложение, сравнимое с розничным интернет-магазином Amazon.com. Amazon S3 позволяет разработчикам сосредоточиться на инновациях, не переживая о том, как хранить данные.

Вопрос: Как начать работу с Amazon S3?

Чтобы зарегистрироваться в сервисе Amazon S3, нажмите эту ссылку. Чтобы получить доступ к этому сервису, требуется аккаунт Amazon Web Services. Если аккаунта еще нет, вам будет предложено создать его в начале процесса регистрации в сервисе Amazon S3. После регистрации изучите документацию по Amazon S3 и образцы кода в Центре ресурсов, чтобы начать работу с Amazon S3.

Вопрос: Какие преимущества по сравнению с локальными решениями Amazon S3 открывает для разработчиков?

Сервис Amazon S3 позволяет любому разработчику использовать преимущества, которые дает Amazon работа в большом масштабе, без предварительной оплаты или снижения собственной производительности. Теперь разработчики могут свободно вводить новшества, зная, что они смогут без труда обеспечить быстрый, постоянный и безопасный доступ к данным, независимо от того, насколько успешным будет бизнес.

Вопрос: Какие типы данных могут храниться в Amazon S3?

Можно хранить практически любые типы данных в любом формате. Дополнительную информацию см. в Лицензионном соглашении Amazon Web Services.

Вопрос: Какой объем данных может храниться в Amazon S3?

Общий объем хранимых данных и количество объектов не ограничены. Размер отдельных объектов Amazon S3 может составлять от 0 байт до 5 ТБ. Самый крупный объект, который можно загрузить через один запрос PUT – 5 гигабайт. Для объектов крупнее 100 мегабайт клиентам рекомендуется использовать возможность многокомпонентной загрузки.

Вопрос: Какие классы хранилищ предлагает Amazon S3?

Сервис Amazon S3 предлагает несколько классов хранилища, предназначенных для различных примеров использования. К ним относятся хранилище общего назначения S3 Standard для часто используемых данных, S3 Intelligent-Tiering для данных с неизвестными или меняющимися схемами доступа, S3 Standard-Infrequent Access (S3 Standard – IA), S3 One Zone-Infrequent Access (S3 One Zone – IA) для данных, требующих длительного хранения, но менее частого доступа, Amazon S3 Glacier (S3 Glacier) и Amazon S3 Glacier Deep Archive (S3 Glacier Deep Archive) для долгосрочного хранения и цифровой архивации данных и S3 Outposts для локального хранения объектов в случае необходимости выполнить специфические требования к размещению данных. Подробнее об этих классах хранилищ см. на странице «Классы хранилищ Amazon S3»

Вопрос: Как Amazon распоряжается данными клиентов в Amazon S3?

Amazon хранит данные клиентов и прослеживает их использование для выставления счета. Amazon не имеет доступа к вашим данным ни с какими целями, не связанными с сервисом Amazon S3, за исключением случаев, когда это требуется законом. Дополнительную информацию см. в Лицензионном соглашении Amazon Web Services.

Вопрос: Хранит ли Amazon в Amazon S3 свои данные?

Да. Разработчики в компании Amazon используют Amazon S3 для самых разнообразных проектов. Многие из этих проектов используют Amazon S3 в качестве надежного хранилища данных в критически важных для бизнеса процессах.

Вопрос: Как организованы данные в Amazon S3?

Amazon S3 – это простое хранилище объектов на основе ключа. При хранении данных объектам назначается уникальный ключ, который может использоваться впоследствии для доступа к данным. Ключи могут иметь любые строковые значения; их можно создавать так, чтобы имитировать иерархические атрибуты. Кроме того, для организации данных во всех корзинах и (или) с любыми префиксами S3 можно воспользоваться возможностью назначения тегов объектам S3.

Вопрос: В каком интерфейсе можно работать с Amazon S3?

Amazon S3 предоставляет простые стандартизированные интерфейсы веб-сервисов REST и SOAP, предназначенные для работы с любым инструментарием интернет-разработки. Мы намеренно упростили все системные процессы, чтобы сделать проще добавление новых протоколов раздачи и функциональных уровней.

Вопрос: Насколько надежен Amazon S3?

Amazon S3 предоставляет любому разработчику доступ к той же высокомасштабируемой, высокодоступной, быстрой и недорогой инфраструктуре хранения данных, которую Amazon использует для управления своей собственной глобальной сетью веб-сайтов. Класс хранилища S3 Standard обеспечивает доступность на уровне 99,99 %, класс S3 Standard – IA – на уровне 99,9 %, класс S3 One Zone – IA – на уровне 99,5 %, а классы S3 Glacier и S3 Glacier Deep Archive обеспечивают доступность на уровне 99,99 % и сопровождаются SLA на уровне 99,9 %. Использование хранилищ всех перечисленных классов регулируется Соглашением об уровне обслуживания Amazon S3.

Вопрос: Как будет работать Amazon S3 в случае внезапного всплеска трафика из приложения клиента?

Amazon S3 с самого начала был создан для обработки трафика из любого интернет-приложения. Оплата по мере использования и неограниченный объем ресурсов предотвращают дополнительные издержки и прерывание сервиса. Огромный масштаб Amazon S3 позволяет нам равномерно распределять нагрузку, чтобы пики трафика не сказывались на отдельных приложениях.

Вопрос: Предлагает ли Amazon S3 Соглашение об уровне обслуживания (SLA)?

Да. Соглашение об уровне обслуживания Amazon S3 предусматривает компенсацию кредитами на обслуживание в случае, если уровень бесперебойной работы за любой расчетный период окажется ниже согласованного.

Вопрос: Что такое выделенные единицы ресурса (PCU) и в каких случаях следует их использовать?

Выделение ресурсов гарантирует, что ресурсы, необходимые для ускоренного извлечения данных, будут доступны в нужный момент. Каждая единица ресурса гарантирует, что каждые 5 минут можно выполнить минимум 3 ускоренных извлечения, и обеспечивает пропускную способность извлечения до 150 МБ/с. Можно выделить ресурсы для извлечения данных, если имеются определенные требования к скорости извлечения данных с использованием ускоренного метода извлечения. Без выделенных ресурсов запрос на ускоренное извлечение данных будет выполнен, если на момент поступления запроса имеются доступные ресурсы. Выделенные ресурсы можно приобрести с помощью консоли сервиса, SDK или интерфейса командной строки. Плата за каждую единицу выделенных ресурсов составляет 100 USD в месяц и начисляется с момента покупки.

Регионы AWS

Вопрос: Где хранятся мои данные?

При создании корзины Amazon S3 можно выбрать регион AWS. Хранилища классов S3 Standard, S3 Standard – IA и S3 Glacier обеспечивают автоматическое хранение объектов на нескольких устройствах, расположенных как минимум в трех зонах доступности, расстояние между которыми в пределах региона AWS составляет несколько километров. Объекты, размещаемые в хранилище класса S3 One Zone – IA, сохраняются с избыточностью в пределах одной зоны доступности в выбранном регионе AWS. При использовании S3 on Outposts данные размещаются в локальной среде Outpost, однако вы можете вручную переместить их в регион AWS. Дополнительные сведения о доступности Amazon S3 в конкретных регионах AWS см. на странице «Продукты и сервисы по регионам».

Вопрос: Что такое регион AWS?

Регион AWS – это географическое местоположение, где AWS предоставляет множество физически разделенных и изолированных зон доступности, которые объединены в сеть с низкой задержкой, высокой пропускной способностью и высокой избыточностью.

Вопрос: Что такое зона доступности AWS?

Зона доступности AWS – это физически изолированное местоположение в регионе AWS. В каждом регионе AWS сервис S3 использует как минимум три зоны доступности, расстояние между которыми составляет несколько километров, что обеспечивает защиту от локальных стихийных бедствий, таких как пожары, наводнения и пр.

Хранилища классов Amazon S3 Standard, S3 Standard – IA и S3 Glacier реплицируют данные как минимум в трех зонах доступности для обеспечения защиты данных в случае полного выхода одной из зон доступности из строя. Это условие остается в силе и в регионах, где публично доступно менее трех зон доступности. Объекты, размещенные в хранилищах этих классов, доступны из всех зон доступности в регионе AWS.

Хранилища класса Amazon S3 One Zone – IA реплицируют данные в пределах одной зоны доступности. Данные, размещаемые в хранилищах этого класса, могут пострадать в случае повреждения зоны доступности.

Вопрос: Как решить, в каком регионе AWS хранить данные?

Следует принять во внимание несколько факторов, исходя из потребностей вашего конкретного приложения. Может иметь смысл хранить данные в регионе, который...

  • ...расположен близко к вашим клиентам, центрам обработки данных или другим ресурсам AWS с целью понижения задержки при доступе к данным.
  • ...удален от других ваших узлов и систем в целях географической избыточности и аварийного восстановления.
  • ...позволяет удовлетворить определенным юридическим и нормативным требованиям.
  • ...позволяет понизить затраты на хранилище. В целях экономии средств можно выбрать менее дорогой регион. Подробней о ценах сервиса см. на странице цен на Amazon S3.

Вопрос: В каких частях света доступен сервис Amazon S3?

Сервис Amazon S3 доступен в регионах AWS по всему миру, и клиенты могут его использовать независимо от своего местоположения. Требуется только решить, в каких регионах AWS вы хотите хранить свои данные в Amazon S3. Список регионов AWS, в которых в настоящее время доступен сервис S3, см. в таблице доступности сервисов AWS по регионам.

Оплата

Вопрос: Сколько стоит Amazon S3?

Используя сервис Amazon S3, вы платите только за то, что реально используете. Минимальные платежи отсутствуют. Вы можете оценить ежемесячные расходы с помощью Калькулятора цен AWS.

Чем ниже наши расходы, тем меньшую плату мы начисляем. Некоторые цены могут меняться в зависимости от региона Amazon S3. При выставлении счетов цены основываются на местоположении корзины. Плата за передачу данных через запрос COPY внутри региона Amazon S3 не взимается. Плата за передачу данных через запрос COPY между регионами AWS взимается по тарифам, указанным в разделе цен на странице описания Amazon S3. Плата за передачу данных между Amazon EC2 и Amazon S3 внутри одного региона (например в регионе Восток США (Северная Вирджиния)), не взимается. Плата за передачу данных между Amazon EC2 и Amazon S3 в различных регионах (например, между Amazon EC2 в регионе Восток США (Северная Вирджиния) и Amazon S3 в регионе Запад США (Северная Калифорния)), взимается по тарифам, указанным на странице цен на Amazon S3. Для ознакомления с ценами S3 on Outposts посетите страницу цен на Outposts.

Вопрос. Каков принцип оплаты пользования сервисом Amazon S3?

Для начала работы с сервисом не требуются предоплата или какие-либо обязательства. В конце месяца с указанной кредитной карты будет автоматически списана сумма за пользование сервисом по итогам месяца. Расходы за текущий расчетный период можно просмотреть в любое время на веб-сайте Amazon Web Services, войдя в аккаунт Amazon Web Services и нажав на «Billing and Cost Management console» под «Your Web Services Account».

Уровень бесплатного пользования AWS* позволяет приступить к работе с Amazon S3 бесплатно во всех регионах, кроме региона AWS GovCloud. После регистрации новые клиенты AWS бесплатно получают 5 ГБ хранилища Amazon S3 Standard, 20 000 запросов GET, 2000 запросов PUT, 15 ГБ входящего трафика и 15 ГБ исходящего трафика ежемесячно в течение одного года.

Amazon S3 взимает плату за следующие типы использования. Обратите внимание на то, что приведенные расчеты не учитывают возможность применения уровня бесплатного пользования AWS.

Использованный объем хранилища

Все цены на хранилище Amazon S3 приводятся на странице цен на Amazon S3.

Объем подлежащего оплате за месяц хранилища основан на среднем объеме хранилища, использованном на протяжении месяца. Это включает все данные объектов и метаданные, хранимые в корзинах, созданных под вашим аккаунтом AWS. Мы измеряем использование хранилища по формуле «ПериодХранения-БайтЧасы», которая суммируется в конце месяца для подсчета платы за месяц.

Пример использования хранилища:

Предположим, клиент хранит 100 ГБ (107 374 182 400 байт) данных в хранилище Amazon S3 Standard в своей корзине в течение первых 15 дней в марте и 100 ТБ (109 951 162 777 600 байт) данных в хранилище Amazon S3 Standard в течение последних 16 дней в марте.

К концу марта объем использования в байт-часах будет следующим: всего использовано байт-часов = [107 374 182 400 байт x 15 дней x 24 часа] + [109 951 162 777 600 байт x 16 дней x 24 часа] = 42 259 901 212 262 400 байт-часов.

Переведем в ГБ-месяцы: 42 259 901 212 262 400 байт-часов / 1 073 741 824 байт в 1 ГБ / 744 часа в месяце = 52 900 ГБ-месяцев

Данный объем использования подпадает под три различных уровня пользования. Ежемесячная стоимость ниже вычисляется для региона Восток США (Сев. Вирджиния). Уровень 50 ТБ: 51 200 ГБ x 0,023 USD = 1177,60 USD. Уровень от 50 ТБ до 450 ТБ: 1700 ГБ x 0,022 USD = 37,40 USD

Всего за хранение = 1177,60 USD + 37,40 USD = 1215,00 USD

Передача входящих данных через сеть

Тарифы на передачу входящих данных в Amazon S3 приводятся на странице цен на Amazon S3. Это соответствует объему данных, посылаемых в ваши корзины Amazon S3. 

Передача исходящих данных через сеть

Тарифы на передачу исходящих данных из Amazon S3 приводятся на странице цен на Amazon S3. В Amazon S3 эта плата взимается каждый раз, когда данные считываются с любой из ваших корзин в местоположении за пределами данного региона Amazon S3.

Уровни расценок на передачу исходящих данных учитывают совокупный объем передаваемых вами исходящих данных из данного региона в Интернет через Amazon EC2, Amazon S3, Amazon RDS, Amazon SimpleDB, Amazon SQS, Amazon SNS и Amazon VPC. Данные уровни не применяются при передаче исходящих данных из Amazon S3 в одном регионе AWS в другой регион AWS.

Пример передачи исходящих данных:
Предположим, вы передаете 1 ТБ данных из Amazon S3 в регионе Восток США (Северная Вирджиния) в Интернет каждый день в течение месяца, в котором 31 день. Предположим, вы также передаете 1 TБ данных из инстанса Amazon EC2 из того же региона в Интернет в течение того же 31-дневного месяца.

Совокупный объем передаваемых вами данных будет 62 TБ (31 TБ из Amazon S3 и 31 TБ из Amazon EC2). Это равняется 63 488 ГБ (62 TБ * 1024 ГБ/TБ).

Данный объем использования попадает под три различных уровня пользования. Приведенные ниже расчеты стоимости исходящих данных основаны на предположении, что передача данных происходит в регионе Восток США (Северная Вирджиния).
Уровень 10 TБ: 10 239 ГБ (10 × 1024 ГБ/TБ – 1 (бесплатно)) x 0,09 USD = 921,51 USD
Уровень от 10 TБ до 50 TБ: 40 960 ГБ (40×1024) x 0,085 USD = 3481,60 USD
Уровень от 50 TБ до 150 TБ: 12 288 ГБ (остаток) x 0,070 USD = 860,16 USD

Всего за передачу исходящих данных = 921,51 USD + 3481,60 USD + 860,16 USD= 5263,27 USD

Запрос данных

Цены на запросы в Amazon S3 приводятся в таблице цен на Amazon S3.

Пример запроса:
Предположим, вы передаете 10 000 файлов в Amazon S3 и 20 000 файлов из Amazon S3 каждый день в течение месяца марта. Затем вы удаляете 5 000 файлов 31 марта.
Всего запросов PUT = 10 000 запросов x 31 день = 310 000 запросов
Всего запросов GET = 20 000 запросов x 31 день = 620 000 запросов
Всего запросов DELETE = 5 000 запросов x 1 день = 5 000 запросов

Исходя из предположения, что ваша корзина расположена в регионе Восток США (Северная Вирджиния), цена за запросы рассчитана ниже.
310 000 запросов PUT: 310 000 запросов x 0,005 USD/1 000 = 1,55 USD
620 000 запросов GET: 620 000 запросов x 0,004 USD/10 000 = 0,25 USD
5 000 запросов DELETE = 5 000 запросов x 0,00 USD (бесплатно) = 0,00 USD

Извлечение данных

Цены за извлечение данных из Amazon S3 применяются к классам хранилищ нечастого доступа S3 Standard-IA и S3 One Zone-IA; они приведены на странице цен на Amazon S3.

Пример извлечения данных
Предположим, что в одном месяце вы извлекли 300 ГБ данных из хранилища S3 Standard – IA, из которых 100 ГБ были переданы в Интернет, 100 ГБ были переданы в EC2 в том же регионе AWS и 100 ГБ были переданы в CloudFront в том же регионе AWS.

Стоимость извлечения данных за месяц составит: 300 ГБ х 0,01 USD = 3,00 USD. Обратите внимание, что с вас также будет взиматься плата за передачу данных по сети в отношении той части данных, что вышла в сеть Интернет.

Сведения о ценах на объекты, архивированные в хранилище Amazon S3 Glacier, см. по ссылке.

 * * Использование уровня бесплатного пользования рассчитывается каждый месяц во всех регионах, за исключением региона AWS GovCloud, и автоматически применяется к счету. Неиспользованные в рамках месячного доступа ресурсы не переходят на последующие месяцы. Действуют определенные ограничения. Дополнительные сведения см. в условиях предложения.

Вопрос: Почему цены отличаются в зависимости от выбранного региона Amazon S3?

Чем ниже наши расходы, тем меньшую плату мы взимаем. Например, в регионе Восток США (Северная Вирджиния) наши расходы ниже, чем в регионе Запад США (Северная Калифорния).

Вопрос: Как оплачивается управление версиями?

Каждая помещаемая на хранение или запрашиваемая версия объекта оплачивается по обычным тарифам Amazon S3. Например, рассмотрим следующий сценарий для иллюстрации стоимости хранилища при использовании функции управления версиями (предположим, что в текущем месяце 31 день):

1) 1-й день месяца: вы выполняете операцию PUT в 4 ГБ (4 294 967 296 байт) в своей корзине.
2) 16-й день месяца: вы выполняете операцию PUT в 5 ГБ (5 368 709 120 байт) в той же корзине, используя тот же ключ, что и при первой операции PUT в 1-й день.

Анализируя затраты на хранилище при вышеуказанных операциях, обратите внимание, что объект в 4 ГБ с 1-го дня не удаляется из корзины, когда объект в 5 ГБ записывается на 15-й день. Вместо этого объект в 4 ГБ сохраняется как более старая версия, а объект в 5 ГБ становится последней записанной версией объекта в корзине. В конце месяца:

Всего использованных Байт-Часов
[4 294 967 296 байт x 31 день x (24 часа / день)] + [5 368 709 120 байт x 16 дней x (24 часа / день)] = 5 257 039 970 304 Байт-Часов.

Переводя в ГБ-Месяцы:
5 257 039 970 304 байт-часов x (1 ГБ / 1 073 741 824 байт) x (1 месяц / 744 часа) = 6,581 ГБ-месяцев

Стоимость вычисляется с учетом текущего тарифа для конкретного региона, который можно узнать на странице цен на Amazon S3.

Вопрос: Как оплачивается доступ в Amazon S3 через Консоль управления AWS?

При доступе в сервис через консоль управления AWS действуют стандартные цены на Amazon S3. Для оптимизации результатов консоль управления AWS может выполнять запросы заранее. Кроме того, некоторые интерактивные операции посылают более одного запроса в сервис.

Вопрос: Как начисляется плата, если к корзинам Amazon S3 осуществляется доступ из другого аккаунта AWS?

При доступе к данным с другого аккаунта AWS применяются стандартные цены Amazon S3. Кроме того, можно установить для своей корзины настройку «Requester Pays» (Платит инициатор). В этом случае стоимость запросов к данным Amazon S3 и их загрузки будет оплачивать инициатор.

Дополнительную информацию по настройке Requester Pays для корзины см. в документации по Amazon S3.

Вопрос: Ваши цены указаны с учетом налогов?

Если не указано иное, представленные здесь цены не включают применимые налоги и сборы, в том числе НДС и применимый налог с продаж. Для клиентов с платежным адресом в Японии использование сервисов AWS облагается потребительским налогом Японии.

Подробнее о налогах на сервисы AWS »

Безопасность

Вопрос: Насколько безопасно хранить данные в Amazon S3?    

Amazon S3 безопасен по умолчанию. После создания ресурсов Amazon S3 доступ к ним имеют только их владельцы. Amazon S3 поддерживает аутентификацию пользователей для управления доступом к данным. Можно использовать механизмы управления доступом, такие как политики управления корзинами и списки управления доступом (ACL) для выборочного предоставления разрешений пользователям и группам пользователей. Консоль Amazon S3 выделяет общедоступные корзины, указывает на источник общедоступности, а также предупреждает пользователя, если производимые изменения в политиках и списке контроля доступа корзины сделают эту корзину общедоступной. Необходимо включить Block Public Access для всех учетных записей и корзин, которые не должны быть общедоступными.

Существует также возможность загружать данные в сервис Amazon S3 и из него в безопасном режиме через адреса SSL, используя протокол HTTPS. Если требуется дополнительная безопасность, можно использовать вариант шифрования на стороне сервера (SSE) для шифрования данных при хранении. Корзины Amazon S3 можно настроить на автоматическое шифрование объектов перед сохранением, если входящие запросы на хранение не предоставляют никакой информации о шифровании. Кроме того, можно использовать собственные библиотеки шифрования для шифрования данных перед их передачей на хранение в Amazon S3.

Вопрос: Как управлять доступом к своим данным, хранимым в Amazon S3?

Клиенты могут использовать четыре механизма управления доступом к ресурсам Amazon S3: политики Identity and Access Management (IAM), политики на уровне корзин, списки контроля доступа (ACL) и аутентификацию строки запроса. Сервис IAM позволяет организациям с большим штатом сотрудников создавать данные многочисленных пользователей и управлять этими данными, используя единый аккаунт AWS. С помощью политик IAM можно предоставлять пользователям IAM средства точного управления корзинами и объектами Amazon S3, в то же время также сохраняя за собой полный контроль над всем, что делают пользователи. С помощью политик на уровне корзин можно определить правила, которые применяются в целом ко всем запросам на ресурсы в Amazon S3, например предоставление прав на запись на подгруппу ресурсов в Amazon S3. Клиенты также могут ограничить доступ на основании типа запроса, например источник ссылки HTTP или IP – адрес. С помощью ACL клиенты могут предоставлять определенные разрешения (т.е. READ, WRITE, FULL_CONTROL) определенным пользователям на отдельную корзину или объект. С помощью аутентификации строки запроса можно создавать URL-адрес объекта Amazon S3, действующий только в течение ограниченного времени. Подробнее о различных политиках управления доступом к Amazon S3 см. в теме Контроль доступа Руководства разработчика Amazon S3.

Вопрос: Поддерживает ли Amazon S3 аудит доступа к данным?

Да. При необходимости можно настроить корзину Amazon S3 так, чтобы все запросы к ней фиксировались в журнале доступа. Кроме того, если требуется записывать в журналы информацию сервиса IAM и идентификации пользователей, можно настроить AWS CloudTrail для регистрации событий, связанных с данными.

Записи в журналах доступа можно использованы в целях аудита. В них могут фиксироваться такие данные о запросе, как тип запроса, ресурсы, указанные в запросе, а также время и дата обработки запроса.

Вопрос: Какие возможности существуют для шифрования данных, хранимых в Amazon S3?

Можно выбрать механизм шифрования данных с помощью SSE-S3, SSE-C, SSE-KMS или клиентской библиотеки, такой как Amazon S3 Encryption Client. Все четыре метода позволяют хранить зашифрованные данные в покое в Amazon S3.

SSE-S3 предоставляет комплексное решение, в котором Amazon берет на себя управление ключами и их защиту с использованием несколько уровней безопасности. Если вы предпочитаете, чтобы Amazon управлял вашими ключами, рекомендуем выбрать SSE-S3.

SSE-C позволяет использовать преимущества Amazon S3 при шифровании и расшифровке объектов, сохраняя при этом контроль над используемыми для шифрования объектов ключами. При использовании SSE-C отпадает необходимость во внедрении или использовании клиентской версии библиотеки для шифрования и расшифровки хранимых в Amazon S3 объектов, но вам нужно будет управлять ключами, посылаемыми в Amazon S3 для шифрования и расшифровки объектов. Используйте SSE-C, если вы предпочитаете поддерживать свои собственные ключи шифрования, но не желаете внедрять или использовать клиентскую версию библиотеки шифрования.

SSE-KMS позволяет использовать AWS Key Management Service (AWS KMS) для управления ключами шифрования. Использование AWS KMS для управления ключами имеет несколько дополнительных преимуществ. AWS KMS применяет отдельные разрешения на использование главного ключа, обеспечивая таким образом дополнительный уровень контроля, а также защиту от несанкционированного доступа к вашим объектам, хранимым в Amazon S3. AWS KMS предоставляет аудит с информацией о том, кто и когда использовал ваш ключ и к какому объекту, а также о безуспешных попытках получить доступ к данным пользователями, не имеющими прав на расшифровку данных. Кроме того, AWS KMS предоставляет клиенту дополнительные элементы управления безопасностью для соответствия таким требованиям отрасли, как PCI-DSS, HIPAA/HITECH и FedRAMP.

Используя клиентскую библиотеку шифрования, такую как Amazon S3 Encryption Client, вы сохраняете контроль над ключами и завершаете шифрование и расшифровку объектов клиентом с помощью выбираемой вами библиотеки шифрования. Некоторые клиенты предпочитают иметь полный контроль над шифрованием и расшифровкой объектов; таким образом, только зашифрованные объекты передаются через Интернет в Amazon S3. Используйте клиентскую библиотеку шифрования, если вы предпочитаете сохранить контроль над своими ключами шифрования, можете внедрить или использовать клиентскую версию библиотеки шифрования и вам необходимо, чтобы объекты были зашифрованы перед доставкой на хранение в Amazon S3.

Дополнительную информацию о работе с Amazon S3 SSE-S3, SSE-C или SSE-KMS см. в теме Использование шифрования Руководства разработчика Amazon S3.

Вопрос: Можно ли соблюдать требования правил ЕС для конфиденциальных данных, используя Amazon S3?

Сервис предоставляет возможность хранить все данные в ЕС, выбрав регион ЕС (Франкфурт), ЕС (Ирландия), ЕС (Лондон) или ЕС (Париж). Кроме того, вы можете использовать S3 on Outposts для хранения всех данных на локальной основе в Outpost, а также у вас есть возможность переместить данные из одного экземпляра Outposts в другой либо в регион AWS. Ответственность за выполнение законов ЕС о конфиденциальности данных лежит на вас. Подробнее см. на странице центра GDPR на AWS. Если у вас есть более специфические требования к расположению данных либо вы должны выполнять некоторые альтернативные нормы конфиденциальности данных, для чего необходимо хранить данные в таком расположении, для которого не подходят регионы AWS, вы можете использовать S3 on Outposts.

Вопрос. Где найти дополнительную информацию о безопасности в AWS?

Подробнее о безопасности в AWS см. на странице по безопасности AWS.

Вопрос: Что такое адрес Amazon VPC для Amazon S3?

Конечная точка Amazon VPC для Amazon S3 представляет собой логический объект в облаке VPC, который поддерживает связь только с S3. VPC Endpoint направляет запросы к S3, а отклики – обратно к VPC. Подробнее об адресах VPC см. в разделе «Использование адресов VPC».

Вопрос: Можно ли предоставить доступ к корзине Amazon S3 для определенного адреса Amazon VPC?

С помощью политик Amazon S3 можно ограничить доступ к корзине из определенной конечной точки Amazon VPC или из набора точек. Теперь в политики корзин S3 добавлена поддержка условия aws:sourceVpce, которое можно использовать для ограничения доступа. Дополнительные сведения и образцы политик см. в разделе Использование адресов VPC.

Вопрос: Что такое Amazon Macie?

Amazon Macie — это сервис обеспечения безопасности на базе искусственного интеллекта. Он помогает клиентам предотвращать потерю данных путем автоматического обнаружения, классификации и защиты конфиденциальных данных, хранящихся в Amazon S3. Amazon Macie использует машинное обучение для распознавания конфиденциальных данных, таких как персональная информация (PII) или интеллектуальная собственность, определяет их коммерческую ценность и обеспечивает наглядное представление того, где хранятся эти данные, как к ним осуществляется доступ и как они используются в организации клиента. Amazon Macie непрерывно проводит мониторинг действий по доступу к данным для выявления отклонений от нормы и генерирует подробные предупреждения, если обнаруживает риск несанкционированного доступа или неумышленной утечки данных.

Вопрос: Для чего предназначен сервис Amazon Macie?

Amazon Macie предназначен для защиты от угроз безопасности путем непрерывного контроля за данными для доступа и другими важными данными клиента. Amazon Macie предоставляет автоматизированный, практически не требующий обслуживания способ обнаружения и классификации коммерческих данных клиентов. Он предоставляет элементы управления с помощью созданных по шаблонам функций Lambda, позволяющие отменить доступ или вызвать политику сброса пароля при обнаружении подозрительного поведения систем или несанкционированного доступа к данным сущностей или сторонних приложений. После создания предупреждения можно использовать Amazon Macie для реагирования на инцидент, используя Amazon CloudWatch Events для быстрого принятия мер по защите данных.

Вопрос: Как Amazon Macie защищает данные?

В процессе классификации данных Amazon Macie идентифицирует объекты клиентов в корзинах S3 и передает содержимое объектов в память для анализа. Если для сложных форматов файлов требуется более глубокий анализ, Amazon Macie загружает полную копию объекта. Копия сохраняется только на время полного анализа объекта. Сразу после того, как Amazon Macie проанализировал содержимое файла для классификации данных, он удаляет сохраняемый контент и сохраняет только метаданные, необходимые для будущего анализа. Клиенты могут в любое время отменить разрешение на доступ Amazon Macie к данным в корзине Amazon S3. Подробнее об этом см. в Руководстве пользователя Amazon Macie.

Вопрос. Что такое Access Analyzer для S3?

Access Analyzer для S3 – это компонент, который ведет мониторинг существующих политик доступа, гарантируя, что они предоставляют только санкционированный доступ к ресурсам S3. Access Analyzer для S3 оценивает политики доступа к корзине, а также позволяет обнаруживать и оперативно устранять корзины с потенциально несанкционированным доступом.

Вопрос. Как работает Access Analyzer для S3?

Access Analyzer для S3 отправляет вам оповещение при наличии корзины с настройками, разрешающими доступ для всех в Интернете, или корзины, доступной из других аккаунтов AWS. Вы получаете данные аналитики или результаты с информацией об источниках и уровне публичного или общего доступа. Например, Access Analyzer для S3 заблаговременно сообщит, если доступ для чтения или записи был ненамеренно предоставлен посредством списка контроля доступа (ACL) или политики корзин. Получив такие данные аналитики, вы сможете немедленно задать или восстановить необходимую политику доступа.

При проверке результатов, указывающих на возможный общий доступ к корзине, можно полностью заблокировать публичный доступ к корзине одним нажатием в консоли управления S3. Можно также перейти к настройкам разрешений на уровне корзины, чтобы точно указать уровни доступа.

Для определенных и подтвержденных случаев использования, требующих публичного доступа, например для хостинга статических веб-сайтов, можно принять к сведению и заархивировать результаты для корзины, указав, что доступ к корзине должен остаться публичным или общим. В любой момент можно вернуться и изменить эти настройки корзины. В целях аудита результаты Access Analyzer для S3 можно загрузить в виде отчета CSV.

Вопрос. Как включить Access Analyzer для S3?

Чтобы начать работать с Access Analyzer для S3, откройте консоль IAM и включите AWS Identity and Access Management (IAM) Access Analyzer. После этого Access Analyzer для S3 автоматически начнет отображаться в консоли управления S3.

Access Analyzer для S3 доступен без дополнительной платы в консоли управления S3.

Надежность и защита данных

Вопрос. Насколько надежно хранилище Amazon S3?

Хранилища Amazon S3 Standard, S3 Standard – IA, S3 One Zone – IA, S3 Glacier и S3 Glacier Deep Archive обеспечивают надежность хранения объектов на уровне 99,999999999 % в течение расчетного года. Такой уровень надежности соответствует среднегодовым ожидаемым потерям объектов на уровне 0,000000001 %. Например, при хранении 10 000 000 объектов в Amazon S3 можно в среднем ожидать потерю одного объекта раз в 10 000 лет. Архитектура хранилища S3 on Outposts предназначена для надежного хранения данных с избыточностью сразу на нескольких устройствах и серверах вашего экземпляра Outpost. Кроме того, хранилища Amazon S3 Standard, S3 Standard – IA, S3 Glacier и S3 Glacier Deep Archive обеспечивают защиту данных в случае полного выхода из строя зоны доступности S3.

Как и для любой среды, рекомендуется иметь резервную копию и применять меры безопасности, защищающие от умышленного или случайного удаления. Для данных, хранимых в S3, рекомендации включают настройку безопасных прав доступа, межрегиональную репликацию, управление версиями и регулярно проверяемую резервную копию. 

Вопрос: Каким образом в Amazon S3 и Amazon S3 Glacier обеспечена надежность на уровне 99,999999999 %?

Перед подтверждением успешного выполнения операции хранилища классов Amazon S3 Standard, S3 Standard – IA и S3 Glacier обеспечивают избыточное сохранение объектов на нескольких устройствах, расположенных как минимум в трех зонах доступности в пределах региона Amazon S3. Хранилища класса S3 One Zone – IA обеспечивают избыточное сохранение данных на нескольких устройствах в пределах одной зоны доступности. Эти сервисы устойчивы к одновременным сбоям устройств за счет быстрого обнаружения и устранения любых потерь избыточности. Кроме того, они регулярно проверяют целостность данных с помощью контрольных сумм.

Вопрос: Какие контрольные суммы Amazon S3 использует для обнаружения повреждений данных?

Amazon S3 использует сочетание контрольной суммы Content-MD5 и циклических проверок избыточности (CRC) для выявления повреждения данных. Amazon S3 проверяет эти контрольные суммы на данных в покое и восстанавливает любые повреждения, используя резервную копию данных. Кроме того, при сохранении или извлечении данных сервис вычисляет контрольную сумму всего трафика с тем, чтобы определить поврежденные пакеты.

Вопрос: Что такое управление версиями?

Функция управления версиями позволяет сохранять, извлекать и восстанавливать любую версию любого объекта, сохраненного в корзине сервиса Amazon S3. После включения функции управления версиями для корзины Amazon S3 будет сохранять существующие объекты каждый раз, когда вы выполняете операцию PUT, POST, COPY или DELETE на них. По умолчанию на запросы GET извлекается последняя записанная версия. Более старые версии перезаписанного или удаленного объекта можно извлечь, указав в запросе номер версии.

Вопрос: Почему следует использовать управление версиями?

Amazon S3 предоставляет клиентам инфраструктуру хранилища с высокой степенью надежности. Управление версиями предлагает дополнительный уровень защиты, предоставляя механизм восстановления, когда клиенты случайно переписывают или удаляют объекты. Эта функция позволяет легко восстанавливать систему после непреднамеренных действий пользователей и сбоев приложений. Управление версиями можно также использовать для хранения данных и архивирования.

Вопрос: Как начать использовать управление версиями?

Для начала использования управления версиями необходимо включить параметр настройки корзины Amazon S3. Дополнительные сведения о включении функции управления версиями см. в технической документации по Amazon S3.

Вопрос: Как управление версиями предохраняет меня от случайного удаления объектов?

Когда пользователь выполняет операцию DELETE на объекте, последующие простые (без использования управления версиями) запросы уже не смогут извлекать объект. Однако все версии этого объекта будут по-прежнему сохраняться в корзине Amazon S3 и могут быть извлечены или восстановлены. Только владелец корзины Amazon S3 может окончательно удалить версию. Можно установить правила управления жизненным циклом для управления сроками хранения и расходами на хранение нескольких версий объектов.

Вопрос: Можно ли завести специальную корзину или настроить для объектов Amazon S3 период отката для восстановления после удаления и перезаписи?

Для реализации периода отката для объектов в Amazon S3 можно использовать правила управления жизненным циклом в сочетании с управлением версиями. Например, для корзины с включенным управлением версиями можно установить правило, которое архивирует все предыдущие версии в более экономичный класс хранилища Glacier и удаляет их через 100 дней, что обеспечит 100-дневный период отката любых изменений данных и поможет снизить расходы на хранилище.

Вопрос: Как обеспечить максимальную защиту сохраненных версий?

Для обеспечения дополнительного уровня безопасности можно использовать в системе управления версиями Multi-Factor Authentication (MFA) для выполнения удаления. По умолчанию все запросы к вашей корзине Amazon S3 требуют подтверждения ваших прав доступа к аккаунту AWS. Если на корзине Amazon S3 включено управление версиями с функцией MFA Delete, для окончательного удаления версии объекта требуются два этапа аутентификации: права доступа к аккаунту AWS и действительный шестизначный код и серийный номер устройства аутентификации, находящегося в ваших руках. Дополнительную информацию о включении функции управления версиями с MFA Delete, включая приобретение и активацию устройства аутентификации, см. в технической документации по Amazon S3.

Вопрос: Как оплачивается управление версиями?

Каждая помещаемая на хранение или запрашиваемая версия объекта оплачивается по обычным тарифам Amazon S3. Например, рассмотрим следующий сценарий для иллюстрации стоимости хранилища при использовании функции управления версиями (предположим, что в текущем месяце 31 день):

1) 1-й день месяца: вы выполняете операцию PUT в 4 ГБ (4 294 967 296 байт) в своей корзине.
2) 16-й день месяца: вы выполняете операцию PUT в 5 ГБ (5 368 709 120 байт) в той же корзине, используя тот же ключ, что и при первой операции PUT в 1-й день.

Анализируя затраты на хранилище при вышеуказанных операциях, обратите внимание, что объект в 4 ГБ с 1-го дня не удаляется из корзины, когда объект в 5 ГБ записывается на 15-й день. Вместо этого объект в 4 ГБ сохраняется как более старая версия, а объект в 5 ГБ становится последней записанной версией объекта в корзине. В конце месяца:

Всего использованных Байт-Часов
[4 294 967 296 байт x 31 день x (24 часа / день)] + [5 368 709 120 байт x 16 дней x (24 часа / день)] = 5 257 039 970 304 Байт-Часов.

Переводя в ГБ-Месяцы:
5 257 039 970 304 байт-часов x (1 ГБ / 1 073 741 824 байт) x (1 месяц / 744 часа) = 6,581 ГБ-месяцев

Стоимость вычисляется с учетом текущего тарифа для конкретного региона, который можно узнать на странице цен на Amazon S3.

S3 Access Points

Вопрос. Что такое Amazon S3 Access Points?

Сегодня клиенты управляют доступом к своим корзинам S3 с помощью единой политики корзин. Такая политика может контролировать доступ для сотен приложений с разными уровнями разрешений.

Amazon S3 Access Points при любом масштабе упрощает управление доступом к данным для приложений, использующих общие наборы данных в S3. С помощью S3 Access Points можно запросто создавать сотни точек доступа для каждой корзины и по-новому инициализировать доступ к общим наборам данных. Компонент Access Points обеспечивает настраиваемую схему доступа к корзине с помощью уникального имени хоста и политики доступа, которая применяет определенные разрешения и средства контроля сети к любому запросу через точку доступа.

Вопрос. Как работает S3 Access Points?

Каждый компонент S3 Access Point настраивается с особой политикой для каждого примера использования и приложения, при этом для корзины могут быть предусмотрены сотни точек доступа. Например, можно создать точку доступа к корзине S3, которая предоставляет доступ группам пользователей или приложений к озеру данных. Компонент Access Point может поддерживать как одного пользователя или приложение, так и группы пользователей и приложений, что позволяет раздельно управлять каждой точкой доступа. Каждая точка доступа связана с одной корзиной и содержит средство контроля сетевого источника и средство контроля Block Public Access. Например, можно создать точку доступа со средством контроля сетевого источника, которое разрешает доступ к хранилищу только из Virtual Private Cloud, логически изолированного раздела облака AWS. Кроме того, существует возможность создать точку доступа и настроить политику доступа для нее так, чтобы разрешить доступ только к объектам с определенными префиксами, например «finance».

Поскольку каждая точка доступа содержит уникальное имя DNS, теперь вы можете для новых и существующих корзин использовать любое название, уникальное для региона и аккаунта AWS. Использование точек доступа, запросы к которым возможны только из VPC, – простой и контролируемый способ сделать так, чтобы данные S3 оставались в VPC. Кроме того, политики управления сервисами AWS (SCP) позволяют сделать обязательным требованием для любой новой точки доступа в организации получение запросов только из VPC.

Вопрос. В чем разница между корзиной и точкой доступа?

Корзина – это логический контейнер для хранения объектов, а точка доступа предоставляет доступ к корзине и ее содержимому. Точка доступа – это отдельный ресурс Amazon, созданный для корзины с именем ресурса Amazon (ARN), именем хоста (в формате https://[имя_точки_доступа]-[ID аккаунта].s3-accesspoint.[регион].amazonaws.com), политикой управления доступом и средством контроля сетевого источника.

Вопрос. Зачем использовать точку доступа?

S3 Access Points упрощает управление доступом к данным для вашего приложения, настроенного для общих наборов данных в S3. Больше не нужно управлять единой комплексной политикой корзин с сотнями различных правил разрешений, которые необходимо записывать, читать, отслеживать и проверять. S3 Access Points позволяет создавать для конкретных приложений точки доступа, которые разрешают доступ к общим наборам данных с помощью политик, соответствующих конкретным приложениям.

С помощью Access Points можно разделить большую политику корзин на отдельные политики точек доступа для каждого приложения, которому требуется доступ к общим наборам данных. Это позволяет сосредоточиться на создании правильной политики доступа для приложения и не беспокоиться о нарушениях, вызванных работой других приложений с общими наборами данных. Можно также создать политику управления сервисами (SCP) и сделать обязательным требованием для всех точек доступа получение запросов только из Virtual Private Cloud (VPC). Это позволит защитить данные в частных сетях. С помощью точек доступа можно легко тестировать новые политики управления доступом перед переносом приложений в точку доступа или копированием политики в существующую точку доступа. S3 Access Points позволяет указать политики адреса VPC, которые разрешают доступ только к точкам доступа (следовательно и к корзине), принадлежащим определенным ID аккаунтов. Это упрощает создание политик доступа, которые разрешают доступ к корзинам в пределах одного аккаунта и блокируют любой другой доступ к S3 с использованием адреса VPC. S3 Access Points позволяет выбрать любое название, уникальное в пределах аккаунта и региона. Например, теперь можно создать точку доступа «test» во всех аккаунтах и регионах.

Вопрос. Как начать работу с S3 Access Points?

Вы можете начать создавать точки доступа для новых и существующих корзин, используя Консоль управления AWS, Интерфейс командной строки AWS (CLI), интерфейс прикладного программирования (API) и клиент комплекта средств разработки ПО AWS (SDK). Например, если ваша корзина находится в регионе Северная Калифорния согласно аккаунту AWS с ID 123456789012 и вы хотите предоставить доступ к данным только тем приложениям, которые работают в VPC «vpc-1a2b3c4d», то можете настроить новую точку доступа foo со значением «vpc» для параметра «network origin control» (средство контроля сетевого источника) при помощи следующей команды:

aws s3control create-access-point --bucket [название корзины] --name foo --account-id 123456789012 --vpc-configuration VpcId= vpc-1a2b3c4d

Если в вашем программном обеспечении используется имя хоста для подключения к корзине, укажите новое имя хоста точки доступа (foo-123456789012.s3-accesspoint.us-west-1.amazonaws.com), и вы начнете использовать точку доступа. Если в вашем программном обеспечении используется имя корзины, после обновления до последнего выпуска SDK AWS укажите ARN точки доступа (arn:aws:s3:us-west-1: 123456789012:accesspoint/foo) как имя корзины, чтобы выполнять запросы к данным через эту точку доступа. Обратите внимание, что точки доступа не поддерживают API CopyObject для создания копии объекта, который уже хранится в S3. В настоящее время мы работаем над поддержкой CopyObject с точками доступа.

Вопрос. Как управлять точками доступа?

Можно добавлять, просматривать и удалять точки доступа, а также изменять политики точек доступа через консоль S3 и интерфейс командной строки. Вы также сможете использовать шаблоны CloudFormation, чтобы начать работу с точками доступа. С помощью журналов AWS CloudTrail можно отслеживать и проверять операции с точками доступа, например их создание и удаление. Вы можете контролировать использование точек доступа с помощью поддержки AWS Organizations для SCP AWS.

Вопрос. Меняется ли из-за этого способ создания корзин?

Нет. Вы создаете корзину без подключенных к ней точек доступа.

Вопрос. Что происходит с моими существующими корзинами S3, к которым не подключены точки доступа?

Вы можете продолжать получать доступ к существующим корзинам напрямую, используя имя хоста корзины. Эти корзины без точек доступа продолжат функционировать так же, как и всегда. Для управления ими не нужно вносить изменения.

Вопрос. Как выполняется авторизация запросов при использовании точки доступа?

Для точек доступа S3 предусмотрена специальная политика точек доступа IAM. Вы записываете политики точек доступа так же, как политику корзин, используя в качестве ресурса ARN точки доступа. В соответствии с политиками точек доступа разрешается или запрещается доступ к данным S3 через точку доступа. Сервис Amazon S3 оценивает все релевантные политики, в том числе те, которые касаются пользователя, корзины, точки доступа, адреса VPC, и политики управления сервисами (SCP), а также списки контроля доступа. На основании оценки он определяет, необходимо ли выполнить авторизацию запроса.

Вопрос. Как записать политики точек доступа?

Можно записать политики точек доступа так же, как и политику корзин, используя правила IAM для управления разрешениями и ARN точки доступа в документе политики.

Вопрос. Есть два способа отклонения запросов на получение доступа, поступивших не из VPC. Чем отличается использование средств контроля сетевого источника в точках доступа от использования политики корзин?

Вы можете продолжать использовать политики корзин, чтобы ограничить доступ к корзинам, разрешив его только из определенных VPC. Точки доступа обеспечивают более легкий и проверяемый способ разрешить для общего набора данных (всего или части) трафик только из VPC в отношении всех приложений организации с использованием средств контроля API. С помощью политики управления сервисами (SCP) AWS Organizations можно сделать обязательным требованием для любой точки доступа, созданной в организации, установку значения «vpc» для параметра API «network origin control» (средство контроля сетевого источника). После этого любая новая созданная точка доступа автоматически ограничивает доступ к данным, разрешая его только для трафика из VPC. Нет необходимости указывать дополнительную политику в отношении доступа, чтобы запросы на получение данных обрабатывались только от указанных VPC.

Вопрос. Как настроить параметры Block Public Access (BPA) в моей точке доступа?

Вы можете настроить параметры Block Public Access (BPA) уникальным образом в каждой точке доступа во время создания. В настоящее время мы работаем над тем, чтобы изменение настроек BPA было возможно после создания. Amazon S3 применяет самые строгие ограничивающие сочетания настроек на уровнях точки доступа, корзины и аккаунта.

Вопрос. Можно ли применить политику запрета доступа к данным через Интернет для всех точек доступа в моей организации?

Да. Чтобы применить политику запрета доступа к данным через Интернет для точек доступа в организации, вам нужно для всех точек доступа разрешить доступ только из VPC. Для этого необходимо написать SCP AWS, которая поддерживает только значение «vpc» в параметре «network origin control» (средство контроля сетевого источника) в API «create_access_point()». Если у вас были ранее созданные точки доступа, взаимодействующие с Интернетом, их можно удалить. Вам также потребуется изменить политику корзин для каждой из корзин, чтобы дополнительно ограничить доступ по Интернету непосредственно к этим корзинам с использованием их имен хостов. Поскольку другие сервисы AWS могут напрямую получать доступ к вашей корзине, настройте политику так, чтобы разрешить доступ для нужных сервисов AWS. Примеры выполнения такой задачи показаны в документации к S3.

Вопрос. Как полностью отключить прямой доступ к корзине с использованием имени хоста корзины?

В настоящее время это невозможно, но вы можете подключить политику корзин, которая отклоняет запросы, сделанные без применения точки доступа. Дополнительные сведение приведены в документации к S3.

Вопрос. Можно ли заменить или удалить точку доступа из корзины?

Да. Если удалить точку доступа, доступ к связанной с нею корзине с использованием других точек доступа и имени хоста корзины не будет запрещен.

Вопрос. Как контролировать доступ к API управления точками доступа (создание и удаление точек доступа)?

Как и в случае контроля доступа к API управления корзинами, вы можете контролировать использование API управления точками доступа с помощью разрешений политик для ролей, групп и пользователей IAM.

Вопрос. Смогу ли я просматривать метрики по операциям, выполняемым через точку доступа?

Вы можете отслеживать и агрегировать метрики запросов по операциям, выполненным через точку доступа, используя журналы CloudTrail и S3 Server Access. Метрики CloudWatch уровня корзины включают запросы, сделанные через точки доступа.

Вопрос. Существует ли квота на количество создаваемых точек доступа?

По умолчанию для каждого аккаунта можно создать 1000 точек доступа на регион. Чтобы отправить запрос на увеличение этой квоты, посетите AWS Service Quotas.

Вопрос. Могут ли другие сервисы и компоненты AWS использовать точки доступа?

Да, некоторые сервисы AWS поддерживают использование точек доступа. Актуальный список приведен в документации к S3. Сервисы и компоненты AWS, которые сейчас не поддерживают S3 Access Points, могут продолжать использовать имя хоста корзины для доступа к ней. Обратите внимание, что в настоящее время мы работаем над поддержкой Amazon EMR и клиента Apache Hadoop S3A.

Вопрос. Какова стоимость Amazon S3 Access Points?

За точки доступа и за корзины, использующие точки доступа, дополнительная плата не взимается. Применяются обычные тарифы на запросы Amazon S3.

S3 Intelligent-Tiering

Вопрос. Что такое S3 Intelligent-Tiering?

Amazon S3 Intelligent-Tiering (S3 Intelligent-Tiering) – класс хранилища S3 для данных с неизвестными или меняющимися сценариями доступа, которые сложно изучить. Это первый класс облачного хранилища, обеспечивающий автоматическое сокращение затрат путем перемещения объектов с одного уровня доступа на другой при изменении сценариев доступа. Один уровень оптимизирован для частого доступа, а второй уровень предназначен для нечастого доступа, и стоимость его использования ниже.

Объекты, загруженные или перемещенные на уровень S3 Intelligent-Tiering, автоматически сохраняются на уровне для частого доступа. S3 Intelligent-Tiering работает путем отслеживания сценариев доступа и последующего перемещения объектов, доступ к которым не осуществлялся в течение 30 дней подряд, на уровень нечастого доступа. Если после этого запрашивается доступ к этим перемещенным объектам, S3 Intelligent-Tiering перемещает их обратно на уровень для частого доступа. Это означает, что все объекты, хранящиеся в системе S3 Intelligent-Tiering, доступны всегда, когда это необходимо. За извлечение объектов плата не взимается, так что вы не столкнетесь с неожиданным повышением платежей при изменении сценариев доступа.

Вопрос: В каких случаях следует использовать S3 Intelligent-Tiering?

Класс S3 Intelligent-Tiering предназначен для данных с неизвестными сценариями доступа или меняющимися сценариями доступа, которые сложно изучить. Он идеально подходит для данных, сценарии доступа к которым сложно прогнозировать. S3 Intelligent-Tiering также можно использовать для хранения новых данных, к которым часто обращаются сразу после загрузки, но по мере их устаревания доступ к ним осуществляется реже. Затем можно переместить данные в хранилище S3 One Zone – IA для архивации в S3 Glacier.

Вопрос: Какую производительность обеспечивает хранилище S3 Intelligent-Tiering?

Хранилище S3 Intelligent-Tiering обеспечивает ту же производительность, что и хранилище S3 Standard.

Вопрос: Какую надежность и доступность обеспечивает хранилище S3 Intelligent-Tiering?

Хранилище S3 Intelligent-Tiering обеспечивает ту же надежность 99,999999999 %, что и хранилище S3 Standard. S3 Intelligent-Tiering обеспечивает доступность на уровне 99,9 %, а Соглашение об уровне обслуживания предусматривает компенсацию в том случае, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос: Как поместить данные в хранилище S3 Intelligent-Tiering?

Поместить данные в хранилище S3 Intelligent-Tiering можно двумя способами. Можно напрямую отправлять данные методом PUT в хранилище S3 Intelligent-Tiering, указав INTELLIGENT_TIERING в заголовке x-amz-storage-class, или задать политики жизненного цикла для перемещения объектов из хранилищ S3 Standard или S3 Standard – IA в S3 Intelligent-Tiering.

Вопрос: Подпадают ли объекты в S3 Intelligent-Tiering под действие Соглашения об уровне обслуживания Amazon S3?

Да, хранилище S3 Intelligent-Tiering регулируется Соглашением об уровне обслуживания Amazon S3, и клиенты могут рассчитывать на компенсацию, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос: Как изменятся задержка и пропускная способность в результате использования хранилища S3 Intelligent-Tiering?

При использовании хранилища S3 Intelligent-Tiering следует ожидать ту же задержку и пропускную способность, что и при использовании стандартного хранилища S3 Standard.

Вопрос: Определен ли минимальный срок хранения данных в хранилище S3 Intelligent-Tiering?

Минимальный срок хранения в S3 Intelligent-Tiering составляет 30 дней, то есть за данные, удаленные, перезаписанные или перенесенные в хранилище S3 другого класса до истечения 30 дней, начисляется стандартная плата плюс пропорционально рассчитанная плата по количеству дней, оставшихся до минимального 30-дневного срока хранения.  

Вопрос: Определен ли минимальный размер объекта для хранилища S3 Intelligent-Tiering?

Для S3 Intelligent-Tiering не задан минимальный оплачиваемый размер объекта, но объекты меньше 128 КБ не включаются в данные для автоматической смены уровней и всегда хранятся по тарифам для частого доступа.

Вопрос: Можно ли перемещать объекты из хранилища S3 Intelligent-Tiering в хранилище Amazon S3 Glacier?

Да. Помимо политик жизненного цикла для миграции объектов из хранилища S3 Intelligent-Tiering в S3 One Zone – IA, можно настроить политики жизненного цикла, позволяющие архивировать объекты в хранилище S3 Glacier.

Вопрос: Можно ли создать корзину, в которой разные объекты размещались бы в разных классах хранилища?

Да. Можно создать корзину, в которой разные объекты будут размещены в хранилищах S3 Standard, S3 Intelligent-Tiering, S3 Standard – IA и S3 One Zone – IA.

Вопрос: Доступно ли хранилище S3 Intelligent-Tiering во всех регионах AWS, в которых работает Amazon S3?

Да

Стандартное хранилище S3 нечастого доступа (S3 Standard – IA)

Вопрос: Что такое стандартное хранилище S3 нечастого доступа?

Стандартное хранилище Amazon S3 нечастого доступа (S3 Standard – IA) – это хранилище Amazon S3 для данных, доступ к которым выполняется относительно редко, но при необходимости должен обеспечиваться быстро. Хранилище S3 Standard – IA обеспечивает такую же высокую надежность, пропускную способность и низкие задержки, как и хранилище класса Amazon S3 Standard, но отличается более низкими ценами за гигабайт сохраняемых и извлекаемых данных. Такое сочетание низкой стоимости и высокой производительности делает S3 Standard – IA идеальным выбором для долгосрочного хранения данных, резервного копирования, а также хранения данных на случай аварийного восстановления. Класс хранилища S3 Standard – IA устанавливается на уровне объекта и может применяться в одной корзине с классами хранилищ S3 Standard или S3 One Zone – IA, что позволяет автоматически переносить объекты между классами хранилищ с помощью политик жизненного цикла S3 без каких-либо изменений в приложении.

Вопрос: В каких случаях следует использовать S3 Standard – IA?

Класс хранилища S3 Standard – IA является идеальным выбором для хранения данных, доступ к которым осуществляется относительно редко, но при этом должен обеспечиваться быстро. S3 Standard – IA идеально подходит для длительного хранения файлов, для устаревающих данных синхронизации, общих данных или других данных, подверженных устареванию.

Вопрос: Какую производительность обеспечивает хранилище S3 Standard – IA?

S3 Standard – IA обеспечивает ту же производительность, что и хранилища классов S3 Standard и S3 One Zone – IA.


Вопрос: Какую надежность и доступность обеспечивает хранилище S3 Standard – IA?

Хранилище S3 Standard – IA обеспечивает надежность на уровне 99,999999999 % (аналогично хранилищам классов S3 Standard и S3 Glacier). S3 Standard – IA обеспечивает доступность на уровне 99,9 %, а Соглашение об уровне обслуживания предусматривает компенсацию в том случае, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос: Как поместить данные в хранилище S3 Standard – IA?

Поместить данные в хранилище S3 Standard – IA можно двумя способами. Можно непосредственно выполнить для записи в S3 Standard – IA запрос PUT, указав в заголовке запроса x-amz-storage-class значение STANDARD_IA. Как вариант, можно задать политики жизненного цикла для переноса объектов из класса хранилища S3 Standard в S3 Standard – IA.

Вопрос: Подпадают ли объекты в S3 Standard – IA под действие Соглашения об уровне обслуживания Amazon S3?

Да, хранилище S3 Standard – IA регулируется Соглашением об уровне обслуживания Amazon S3, и клиенты могут рассчитывать на компенсацию, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос: Как изменятся задержка и пропускная способность в результате использования хранилища S3 Standard – IA?

При использовании S3 Standard – IA следует ожидать тех же показателей задержки и пропускной способности, что и при использовании хранилищ класса S3 Standard.

Вопрос: Как начисляется плата за использование хранилища S3 Standard – IA?

Общую информацию о ценах на хранилище S3 Standard – IA см. на странице цен на Amazon S3.

Вопрос: Какая плата начисляется за изменение класса хранилища объекта с S3 Standard – IA на S3 Standard с помощью запроса на копирование?

В этом случае начисляется плата за выполнение запроса COPY хранилищем S3 Standard – IA и за извлечение данных из хранилища S3 Standard – IA.

Вопрос: Предусмотрена ли при использовании S3 Standard – IA плата за минимальный срок хранения?

S3 Standard – IA предназначено для продолжительного хранения и нечастого доступа к данным, которые требуется хранить месяцы и годы. Если данные удаляются из S3 Standard – IA в течение первых 30 дней, плата начисляется за полные 30 дней хранения. Общую информацию о ценах на S3 Standard – IA см. на странице цен на Amazon S3.

Вопрос: Предусмотрена ли при использовании S3 Standard – IA плата за минимальный размер хранимого объекта?

Хранилище S3 Standard – IA предназначено для крупных объектов, при этом предусмотрена минимальная плата за хранение объектов на уровне 128 КБ. За объекты размером менее 128 КБ будет взиматься плата как за объекты по 128 КБ. Например, за объект размером 6 КБ в хранилище S3 Standard – IA будет взиматься плата за хранение фактических 6 КБ и дополнительных 122 КБ. Общую информацию о ценах на S3 Standard – IA см. на странице цен на Amazon S3.

Вопрос: Можно ли перемещать объекты из хранилища S3 Standard – IA в хранилище S3 One Zone – IA или S3 Glacier?

Да. Помимо политик жизненного цикла для миграции объектов из хранилища S3 Standard в S3 Standard – IA можно настроить политики жизненного цикла, позволяющие перемещать объекты из хранилища S3 Standard – IA в хранилище S3 One Zone – IA или S3 Glacier.

Хранилище S3 нечастого доступа в одной зоне доступности (S3 One Zone – IA)

Вопрос: Что представляет собой класс хранилища нечастого доступа в одной зоне доступности (S3 One Zone-IA)?

S3 One Zone – IA представляет собой класс хранилища Amazon S3, который можно выбрать для хранения объектов в одной зоне доступности. S3 One Zone – IA обеспечивает избыточное хранение данных в пределах одной зоны доступности и стоит на 20 % дешевле, чем географически избыточное хранилище S3 Standard – IA, обеспечивающее избыточное хранение данных в нескольких географически изолированных зонах доступности.

В соответствии с Соглашением об уровне обслуживания (SLA) хранилище S3 One Zone – IA обеспечивает доступность на уровне 99% и надежность на уровне 99,999999999% в пределах зоны доступности. Однако, в отличие от классов хранилища S3 Standard и S3 Standard-IA, при повреждении зоны доступности все данные, хранящиеся в классе хранилища S3 One Zone-IA, будут утеряны.

Хранилище S3 One Zone – IA предоставляет те же возможности Amazon S3, что и хранилища S3 Standard и S3 Standard – IA; его можно использовать посредством API Amazon S3, интерфейса командной строки или консоли сервиса. Класс хранилища S3 One Zone – IA устанавливается на уровне объектов и может применяться в одной корзине с классами хранилищ S3 Standard и S3 Standard – IA. С помощью политик жизненного цикла S3 можно автоматически переносить объекты между классами хранилищ без каких-либо изменений в приложении.

Вопрос: Каковы наиболее подходящие примеры использования хранилища S3 One Zone – IA?

Клиенты могут использовать S3 One Zone – IA в качестве хранилища нечастого доступа для таких данных, как резервные копии, копии для аварийного восстановления, или для других легко восстанавливаемых данных.

Вопрос: какую производительность обеспечивает хранилище S3 One Zone – IA?

Хранилище S3 One Zone – IA обеспечивает тот же уровень производительности, что и хранилище S3 Standard и S3 Standard – хранилище для редко используемых данных.

Вопрос: Насколько надежно хранилище S3 One Zone – IA?

Класс хранилищ S3 One Zone – IA обеспечивает надежность на уровне 99,999999999% в пределах зоны доступности. Однако хранилище S3 One Zone – IA не обеспечивает защиту данных в случае потери связи с зоной доступности или ее полного выхода из строя. В этом случае все данные, хранящиеся в классе хранилища S3 One Zone – IA, будут утеряны. Для сравнения: хранилища S3 Standard, S3 Standard – IA и S3 Glacier спроектированы таким образом, чтобы выдерживать потерю связи с зоной доступности или ее выход из строя. S3 One Zone – IA может обеспечить уровень надежности и доступности, сравнимый с современными физическими ЦОД или выше такового, предоставляя в то же время дополнительные преимущества в виде эластичности хранилища и функциональных возможностей Amazon S3.

Вопрос: Какую доступность обеспечивает хранилище класса S3 One Zone – IA в соответствии с Соглашением об уровне обслуживания (SLA)?

В соответствии с Соглашением об уровне обслуживания (SLA) хранилище S3 One Zone – IA обеспечивает доступность на уровне 99 %. Для сравнения: хранилище S3 Standard по Соглашению об уровне обслуживания обеспечивает доступность на уровне 99,9 %, S3 Standard – IA – также на уровне 99 %. Как и все классы хранилищ S3, хранилище S3 One Zone – IA предоставляется с Соглашением об уровне обслуживания, по которому клиенты получают кредиты на обслуживание, если доступность в любом учетном периоде оказывается ниже заявленных обязательств. См. Соглашение об уровне обслуживания Amazon S3.

Вопрос: как использование хранилища S3 One Zone – IA повлияет на задержки и пропускную способность?

При использовании хранилища S3 One Zone – IA следует ожидать те же показатели задержек и пропускной способности, что и при использовании хранилищ классов Amazon S3 Standard и S3 Standard – IA.

Вопрос: как начисляется плата за использование хранилища S3 One Zone – IA?

Как и в случае хранилища S3 Standard – IA, при использовании S3 One Zone – IA плата начисляется за объем сохраненных данных в месяц, пропускную способность, количество выполненных запросов, раннее удаление, хранение мелких объектов, а также извлечение данных. Ежемесячная плата за хранение данных в Amazon S3 One Zone – IA на 20 % ниже соответствующих тарифов Amazon S3 Standard – IA, а плата за пропускную способность, количество выполненных запросов, раннее удаление, хранение мелких объектов и извлечение данных начисляется по тем же тарифам.

Как и в случае использования хранилища S3 Standard – IA, при удалении объекта из S3 One Zone – IA в течение 30 дней с момента создания взимается плата за раннее удаление. Например, если вы выполнили запрос PUT для записи объекта, а через 10 дней решили его удалить, плата будет начислена за 30 дней хранения.

Как и в хранилище S3 Standard – IA, минимальный размер объекта в хранилище класса S3 One Zone – IA составляет 128 КБ. За объекты размером менее 128 КБ будет взиматься плата как за объекты по 128 КБ. Например, за объект размером 6 КБ в хранилище S3 One Zone – IA будет взиматься плата за хранение фактических 6 КБ и дополнительных 122 КБ. Информацию о ценах на S3 One Zone – IA см. на странице цен.

Вопрос: «Zone» в контексте S3 One Zone – IA — это то же самое, что и зона доступности AWS?

Да. Каждый регион AWS представляет собой отдельную географическую область. В каждом регионе имеется несколько изолированных местоположений, называемых зонами доступности. Хранилище класса Amazon S3 One Zone – IA использует одну зону доступности AWS в пределах региона.

Вопрос: Отличаются ли принципы работы сервисов Amazon EC2 и Amazon S3 с ресурсами, специфичными для зоны доступности?

Да. Amazon EC2 предоставляет возможность выбрать зону доступности в пределах региона для размещения таких ресурсов, как вычислительные инстансы. При использовании S3 One Zone – IA зона доступности AWS в регионе назначается автоматически, исходя из доступности ресурсов.

Вопрос: Можно ли создать корзину, в которой разные объекты размещались бы в разных классах хранилища и зонах доступности?

Да. Можно создать корзину, в которой разные объекты будут размещены в хранилищах S3 Standard, S3 Standard – IA и S3 One Zone – IA.

Вопрос: Хранилище S3 One Zone – IA доступно во всех регионах AWS, где работает S3?

Да.

Вопрос: Насколько надежно хранилище S3 One Zone – IA защищено от аварийных ситуаций?

В каждой зоне доступности применяются резервные системы электропитания и сети передачи данных. В пределах региона AWS зоны доступности располагаются в различных поймах и сейсмических районах; они отделены друг от друга географически для обеспечения защиты в случае пожара. Хранилища классов S3 Standard и S3 Standard – IA обеспечивают защиту от аварийных ситуаций путем избыточного хранения данных в нескольких зонах доступности. Хранилище S3 One Zone-IA обеспечивает защиту от сбоев оборудования в пределах зоны доступности, но не от выхода из строя самой зоны доступности. В этом случае все данные, хранящиеся в классе хранилища S3 One Zone-IA, будут утеряны. Среди вариантов S3 One Zone – IA, S3 Standard и S3 Standard – IA клиенты могут выбрать класс хранилища, который наилучшим образом соответствует требованиям, предъявляемым к надежности и доступности хранилища.

S3 on Outposts

Вопрос. Что такое Amazon S3 on Outposts?

Amazon S3 on Outposts предоставляет возможности хранения объектов в вашей локальной среде с помощью API S3 и современных возможностей AWS. AWS Outposts – это полностью управляемый сервис, который делает инфраструктуру, сервисы, API и инструменты AWS доступными практически для любого центра обработки данных, колокационного центра или локального объекта. При использовании S3 on Outposts вы можете безопасно обрабатывать и хранить созданные на локальной основе данные клиентов, а затем перемещать их в регион AWS, предоставлять локальный доступ для приложений или хранить данные в своем экземпляре Outpost для компаний, расположенных в местах со специфическими требованиями к размещению данных и (или) относящихся к отраслям с повышенными требованиями к безопасности. Для получения дополнительной информации о S3 on Outposts посетите обзорную страницу.
 

Amazon S3 Glacier

Вопрос. Почему Amazon Glacier теперь называется Amazon S3 Glacier?

Клиенты долгое время воспринимали Amazon Glacier, наш сервис резервного копирования и архивного хранения, как класс хранилища Amazon S3. Фактически, очень большая доля данных, хранящихся сейчас в Amazon Glacier, поступает непосредственно от клиентов, использующих политики жизненного цикла S3 для перемещения менее востребованных данных в Amazon Glacier. Теперь Amazon Glacier официально является частью Amazon S3 и называется Amazon S3 Glacier (S3 Glacier). Все существующие непосредственные интерфейсы API Glacier продолжат функционировать, как раньше, но теперь использовать интерфейсы API S3 для сохранения данных в хранилище класса S3 Glacier стало еще проще.

Вопрос: Предоставляет ли Amazon S3 возможность архивирования объектов в более дешевые варианты хранилища?

Да, Amazon S3 позволяет использовать очень экономичный сервис Amazon S3 Glacier в качестве хранилища архивных данных. Amazon S3 Glacier позволяет хранить данные по цене всего 0,004 USD за гигабайт в месяц. Чтобы сохранить расходы на низком уровне и удовлетворить различные потребности в извлечении данных, Amazon S3 Glacier предлагает три варианта доступа к архивам с продолжительностью извлечения от нескольких минут до нескольких часов. В качестве примеров использования для архивирования можно указать цифровые мультимедиа-архивы, финансовые и медицинские записи, необработанные данные геномных последовательностей, резервные копии баз данных для длительного хранения, а также данные, которые должны сохраняться согласно нормативным требованиям.

Вопрос: Как сохранить данные в хранилище класса Amazon S3 Glacier?

Если вам требуется незамедлительно архивировать хранилище либо ваши решения о времени переноса объектов в S3 Glacier невозможно выразить с помощью политики жизненного цикла Amazon S3, метод S3 PUT в Glacier позволяет использовать интерфейсы API S3 для отправки отдельных объектов в хранилище класса S3 Glacier. Задержек при переносе нет, и вы сами определяете время переноса. Это также отличный вариант для принятия решений по классу хранилища приложением без необходимости создания политики на уровне корзины.

С помощью правил управления жизненным циклом можно автоматически архивировать наборы объектов из Amazon S3 в хранилище S3 Glacier на основании срока существования объектов. Для создания правил архивирования используйте консоль управления Amazon S3, AWS SDK или API Amazon S3. Правила определяют префикс и период времени. Поле префикса (например, “logs/”) определяет объект(ы), к которым правило применяется. Промежуток времени указывает или количество дней с даты создания объекта (т. е. 180 дней), или указанную дату, после которой желаема архивация объекта(-ов). Любые объекты в S3 Standard, S3 Standard – IA или S3 IA One Zone – IA, имена которых начинаются с указанного префикса и срок хранения которых превысил указанный период времени, архивируются в Amazon S3 Glacier. Для извлечения данных сервиса Amazon S3, хранимых в S3 Glacier, необходимо инициировать задание на извлечение с помощью API Amazon S3 или Консоли управления. После завершения задания на извлечение данных доступ к ним можно получить с помощью запроса GET объектов в Amazon S3.

Подробнее о работе с правилами управления жизненным циклом при архивировании в S3 Glacier см. в теме Object Archival руководства для разработчиков по Amazon S3.

Вопрос: Можно ли использовать API сервиса Amazon S3 или консоль управления для вывода списка объектов, заархивированных в Amazon S3 Glacier?

Да. Как и объекты других классов хранилищ Amazon S3 (S3 Standard, S3 Standard – IA и S3 One Zone – IA), объекты S3 Glacier, сохраненные с помощью API или консоли управления Amazon S3, имеют соответствующие имена, определенные пользователем. С помощью API LIST сервиса S3 или отчета S3 Inventory можно получить текущий список имен всех объектов Amazon S3 в режиме реального времени, в том числе объектов, размещенных в хранилище класса S3 Glacier.

Вопрос: Можно ли использовать API сервиса Amazon Glacier для прямого доступа к объектам, заархивированным в Amazon S3 Glacier?

Нет. Поскольку Amazon S3 поддерживает привязку определенного пользователем имени объекта к присвоенному системой Amazon S3 Glacier идентификатору, доступ к объектам Amazon S3, размещенным в хранилище класса S3 Glacier, осуществляется только с помощью API сервиса Amazon S3 или консоли управления Amazon S3.

Вопрос: Как извлечь объекты, заархивированные в хранилище Amazon S3 Glacier? Отправляются ли уведомления после восстановления объекта?

Для извлечения данных сервиса Amazon S3, сохраненных в хранилище класса S3 Glacier, необходимо инициировать запрос на извлечение с помощью API Amazon S3 или консоли управления Amazon S3. В ходе запроса на извлечение создается временная копия данных в хранилище класса S3 RRS или S3 Standard – IA, при этом архивные данные в S3 Glacier остаются неизменными. Временная копия будет храниться в S3 на протяжении указанного пользователем срока (в днях). После извлечения доступ к временной копии из Amazon S3 можно получить, выполнив запрос GET сервиса Amazon S3 к заархивированному объекту.

Благодаря уведомлениям о восстановлении теперь можно получать оповещение о событии S3 Event Notification, когда объект успешно восстанавливается из хранилища S3 Glacier и вам становится доступна его временная копия. Владелец корзины (или другие лица, которым политикой IAM предоставлено соответствующее разрешение) может настроить отправку оповещений в Amazon Simple Queue Service (SQS) или Amazon Simple Notification Service (SNS). Оповещения также могут доставляться в AWS Lambda для обработки функцией Lambda.

Вопрос: Сколько времени потребуется на восстановление объектов, заархивированных в S3 Glacier, и можно ли ускорить выполняемый запрос, чтобы восстановление прошло быстрее?

Обрабатывая задание на извлечение данных, Amazon S3 сначала извлекает запрошенные данные из S3 Glacier, а затем создает временную копию запрашиваемых данных в S3 (что обычно занимает несколько минут). Время доступа к запрашиваемым данным зависит от выбранного пользователем варианта извлечения: ускоренное, стандартное или пакетное. При использовании ускоренного извлечения доступ к данным предоставляется обычно в течение 1–5 минут для любых объектов, кроме самых крупных (более 250 МБ). Извлечение объектов по стандартному варианту обычно занимает 3–5 часов. Пакетное извлечение обычно выполняется за 5–12 часов. Дополнительная информация о вариантах извлечения из S3 Glacier приводится в вопросах и ответах по S3 Glacier.

S3 Restore Speed Upgrade имеет приоритет над текущим процессом восстановления, предоставляя уровень более быстрого восстановления при срочном доступе к данным. Вы можете использовать S3 Restore Speed Upgrade, отправив еще один запрос на восстановление того же объекта с новым параметром уровня (tier). Для запроса S3 Restore Speed Upgrade необходимо выбрать более высокую скорость восстановления, чем у уже выполняемого запроса. Другие параметры, такие как Object Expiry Time, не меняются. Значение Object Expiry Time можно изменить после завершения восстановления. Оплата взимается за каждый запрос на восстановление и согласно расценкам за гигабайт для уровня ускоренного восстановления. Например, если вы создали запрос уровня Bulk, а затем создали запрос S3 Restore Speed Upgrade уровня Expedited, чтобы отменить выполняемый запрос Bulk, с вас будет взята оплата за оба запроса и платеж за извлечение соответствующего количества гигабайт для уровня Expedited.

Вопрос: Какая плата взимается за архивирование объектов в Amazon S3 Glacier?

Плата за хранилище класса Amazon S3 Glacier начисляется в зависимости от объема хранилища, использованного за месяц, и от количества запросов на перенос объектов в Amazon S3 Glacier, связанных с политиками жизненного цикла. Объекты, архивированные в Amazon S3 Glacier, хранятся не менее 90 дней. При этом плата за объекты, которые удаляются до истечения 90 дней, будет взиматься согласно тарифам на хранение, пропорционально оставшимся дням. Действующие цены см. на странице цен на Amazon S3.

Вопрос: Как рассчитывается стоимость хранилища для объектов Amazon S3, архивируемых в Amazon S3 Glacier?

Объем подлежащего оплате за месяц хранилища основан на среднем объеме хранилища, использованном на протяжении месяца и измеряемом в гигабайт – месяцах (ГБ-Месяцах). Amazon S3 рассчитывает размер объектов как объем хранимых данных плюс дополнительные 32 КБ данных в Amazon S3 Glacier плюс дополнительные 8 КБ данных в хранилище класса S3 Standard. Amazon S3 Glacier занимает дополнительно 32 КБ данных на каждый объект для своего индекса и метаданных, необходимых для идентификации и извлечения данных. Amazon S3 требует 8 КБ для хранения и поддержания определяемого пользователем имени и метаданных объектов, архивируемых в Amazon S3 Glacier. С помощью API LIST сервиса Amazon S3 или отчета S3 Inventory можно получить актуальный список всех имен объектов Amazon S3 в режиме реального времени, в том числе объектов, размещенных в хранилище класса Amazon S3 Glacier. Например, если вы заархивировали 100 000 объектов в 1 ГБ каждый, оплачиваемое хранилище было бы:

1,000032 гигабайта на каждый объект x 100 000 объектов = 100 003,2 гигабайта хранилища Amazon S3 Glacier.
0,000 008 гигабайт на каждый объект x 100 000 объектов = 0,8 гигабайт хранилища Amazon S3 Standard.

Стоимость вычисляется на основе текущего тарифа для конкретного региона AWS, который можно узнать на странице цен на Amazon S3.

Вопрос: Какой объем данных можно извлечь из Amazon S3 Glacier бесплатно?

На уровне бесплатного пользования AWS можно бесплатно извлекать из Amazon S3 Glacier до 10 ГБ данных в месяц. Уровень бесплатного пользования позволяет извлекать данные в любое время в течение месяца. При этом будет использоваться стандартный способ извлечения Amazon S3 Glacier.

Вопрос: Как оплачивается удаление из Amazon S3 Glacier объектов, которые хранились менее 90 дней?

Хранилище Amazon S3 Glacier разработано для применения в тех случаях, когда данные сохраняются в течение нескольких месяцев, лет или десятилетий. Удаление данных, заархивированных в Amazon S3 Glacier, выполняется бесплатно, если удаляемые объекты хранились в Amazon S3 Glacier 90 дней или дольше. Если заархивированный в Amazon S3 Glacier объект удаляется или перезаписывается в течение 90 дней после архивирования, взимается плата за досрочное удаление. Эта плата пропорциональна. При удалении 1 ГБ данных через 30 дней после их загрузки взимается плата за досрочное удаление, равная стоимости 60 дней хранения в Amazon S3 Glacier. При удалении 1 ГБ данных через 60 дней после их загрузки взимается плата за досрочное удаление, равная стоимости 30 дней хранения в Amazon S3 Glacier.

Вопрос: Какова стоимость извлечения данных из Amazon S3 Glacier? 

Существует три способа извлечения данных из Amazon S3 Glacier: ускоренное, стандартное и пакетное извлечение. Для каждого способа установлен свой тариф за гигабайт извлекаемых данных и за запрос каждого архива (т. е. запрос одного архива учитывается как один запрос). Подробную информацию о расценках S3 Glacier по регионам AWS см. на странице цен на Amazon S3 Glacier.

Вопрос: Какая серверная инфраструктура используется для классов хранилища S3 Glacier?

Мы предпочитаем говорить об итоговых преимуществах для клиента в отношении производительности, надежности, доступности и безопасности. Однако клиенты часто задают нам этот вопрос. Мы используем ряд технологий, позволяющих нам предлагать клиентам текущие цены. Наши сервисы основаны на распространенных технологиях хранилищ данных. Они реализованы в специально спроектированных системах с оптимальными экономическими характеристиками и работают под управлением собственного программного обеспечения AWS. Максимальная эффективность доступа к хранилищу в сервисе S3 Glacier достигается благодаря оптимизации последовательности ввода‑вывода.

Amazon S3 Glacier Deep Archive

Вопрос: Что такое S3 Glacier Deep Archive?

S3 Glacier Deep Archive — это новый класс хранилища Amazon S3, позволяющий использовать надежное и безопасное объектное хранилище для долгосрочного хранения данных, доступ к которым осуществляется один‑два раза в год. S3 Glacier Deep Archive стоит от 0,00099 USD за гигабайт в месяц – менее одной десятой цента, или 1 USD за терабайт в месяц. S3 Glacier Deep Archive представляет собой самое дешевое хранилище в облаке. Сервис обходится существенно дешевле, чем хранение и обслуживание данных в локальных библиотеках магнитных лент или в удаленных архивах.

Вопрос: Каковы наиболее подходящие примеры использования хранилища S3 Glacier Deep Archive?

S3 Glacier Deep Archive — это идеальный класс хранилища, обеспечивающий автономную защиту наиболее важных наборов данных вашей компании, или для случаев, когда требуется долгосрочное хранение данных в соответствии с корпоративными, договорными или нормативными требованиями. Клиенты считают S3 Glacier Deep Archive отличным выбором для защиты интеллектуальной собственности, финансовых и медицинских записей, результатов исследований, юридических документов, исследований по сейсморазведке и долгосрочных резервных копий, особенно в отраслях со строгими нормативными требованиями, таких как финансовые услуги, здравоохранение, нефтегазовый и государственный сектор. Кроме того, некоторым организации, например в сфере мультимедиа и развлечений, требуется сохранять резервную копию основной интеллектуальной собственности. Зачастую клиенты, использующие S3 Glacier Deep Archive, могут сократить использование или совсем отказаться от локальных библиотек магнитных лент и локальных служб ленточной архивации.

Вопрос: Чем S3 Glacier Deep Archive отличается от S3 Glacier?

S3 Glacier Deep Archive расширяет для вас возможности архивирования данных, позволяя выбрать класс хранилища, оптимальный по стоимости хранения и извлечения данных, а также по времени извлечения. Класс хранилища S3 Glacier стоит использовать, когда требуется ускоренное извлечение данных из архива за 1–5 минут. Класс S3 Glacier Deep Archive, напротив, предназначен для данных, доступ к которым выполняется редко и с малой степенью вероятности, но для которых требуется долговременное и надежное хранение. S3 Glacier Deep Archive на 75 % дешевле, чем S3 Glacier, и при стандартной скорости извлечения обеспечивает извлечение в течение 12 часов. Вы также можете сократить расходы на извлечение, выбрав «Пакетное извлечение», которое предоставит вам данные в течение 48 часов.

Вопрос: Какую надежность и доступность обеспечивает S3 Glacier Deep Archive?

Класс хранилища S3 Glacier Deep Archive обеспечивает надежность на уровне 99,999999999 % (аналогично классам хранилища S3 Standard и S3 Glacier). S3 Glacier Deep Archive обеспечивает доступность на уровне 99,99 %, а Соглашение об уровне обслуживания предусматривает компенсацию в форме кредитов на сервисы в случае, если уровень бесперебойной работы за любой расчетный период был ниже согласованного (99,9 %).

Вопрос: Подпадают ли объекты в S3 Glacier Deep Archive под действие Соглашения об уровне обслуживания Amazon S3?

Да, хранилище S3 Standard – IA регулируется Соглашением об уровне обслуживания Amazon S3, и клиенты могут рассчитывать на компенсацию, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос: Как начать работу с S3 Glacier Deep Archive?

Самый простой способ хранения данных в S3 Glacier Deep Archive — использование API S3 для прямой загрузки данных. Просто укажите «S3 Glacier Deep Archive» в качестве класса хранилища. Вы можете сделать это с помощью Консоли управления AWS, API REST сервиса S3, AWS SDK или интерфейса командной строки AWS.

Также для начала работы с S3 Glacier Deep Archive можно создать политики переноса данных с помощью S3 Lifecycle, что позволяет определить жизненный цикл вашего объекта и снизить стоимость его хранения. Эти политики переноса объектов в S3 Glacier Deep Archive можно определить по срокам хранения объекта. Вы можете указать политику для всей корзины S3 или для конкретных префиксов. Стоимость переноса данных в рамках жизненного цикла определяется стоимостью загрузки S3 Glacier Deep Archive.

Ленточный шлюз как облачная функция виртуальной ленточной библиотеки AWS Storage Gateway теперь интегрируется в S3 Glacier Deep Archive, позволяя хранить виртуальные долгосрочные резервные копии и ленточные архивы в S3 Glacier Deep Archive, обеспечивая самую низкую стоимость хранения данных в облаке. Для начала работы создайте новую виртуальную ленту с помощью консоли AWS Storage Gateway или API и в качестве цели архивного хранения укажите S3 Glacier или S3 Glacier Deep Archive. Когда приложение резервного копирования извлекает ленту, она архивируется в выбранное целевое хранилище.

Вопрос: Как вы рекомендуете переносить данные из моих существующих ленточных архивов в S3 Glacier Deep Archive?

Есть множество способов переноса данных из существующих ленточных архивов в S3 Glacier Deep Archive. Вы можете воспользоваться ленточным шлюзом AWS для интеграции с существующими приложениями резервного копирования через интерфейс виртуальной ленточной библиотеки (VTL). Этот интерфейс представляет виртуальные ленты для приложения резервного копирования. Их можно использовать для хранения данных в Amazon S3, S3 Glacier и S3 Glacier Deep Archive без дополнительной подготовки.

Также для переноса данных вы можете использовать AWS Snowball или Snowmobile. Snowball и Snowmobile позволяют ускорить перенос терабайтов и петабайтов данных в облако AWS и из него благодаря использованию безопасных физических устройств хранения для перемещения данных. Использование Snowball и Snowmobile решает распространенные проблемы, связанные с передачей больших объемов данных, такие как высокая стоимость, длительность передачи по сети и обеспечение безопасности.

И наконец, вы можете использовать сервис AWS Direct Connect для настройки выделенного сетевого соединения между локальной сетью и платформой AWS. Во многих случаях Direct Connect позволяет снизить затраты, повысить пропускную способность и обеспечить более стабильную работу вашей сети по сравнению с подключением через Интернет.

Вопрос: Как я могу извлечь свои объекты, хранящиеся в S3 Glacier Deep Archive?

Для извлечения данных, хранящихся в S3 Glacier Deep Archive, необходимо инициировать запрос на восстановление с помощью интерфейсов API Amazon S3 или консоли управления Amazon S3. В ходе запроса на восстановление создается временная копия данных в хранилище класса S3 One Zone-IA, при этом архивные данные в S3 Glacier Deep Archive остаются неизменными. Временная копия будет храниться в S3 на протяжении указанного пользователем срока (в днях). После извлечения доступ к временной копии из Amazon S3 можно получить, выполнив запрос GET сервиса Amazon S3 к заархивированному объекту.

При восстановлении заархивированного объекта вы можете указать один из следующих параметров в элементе Tier в тексте запроса: уровень по умолчанию Standard позволяет получить доступ к любому из заархивированных объектов в течение 12 часов, а Bulk позволяет недорого извлекать большие объемы (до нескольких петабайтов) данных, и обычно эта задача выполняется в течение 48 часов.

Вопрос: Как начисляется плата за использование хранилища S3 Glacier Deep Archive?

Стоимость хранилища S3 Glacier Deep Archive зависит от объема данных в ГБ, от количества запросов PUT и запросов на изменение жизненного цикла, от объема извлеченных данных в ГБ и от количества запросов на восстановление. Эта модель ценообразования схожа с моделью S3 Glacier. Общую информацию о ценах на S3 Glacier Deep Archive см. на странице цен на Amazon S3.

Вопрос: Как использование S3 Glacier Deep Archive будет отображаться в моем счете AWS и в инструменте управления затратами на AWS?

Использование и стоимость S3 Glacier Deep Archive будет отображаться как отдельная позиция в вашем ежемесячном счете за обслуживание AWS, отдельно от оплаты за использование Amazon S3. Однако если вы используете инструмент управления затратами на AWS, оплата за использование S3 Glacier Deep Archive в подробных ежемесячных отчетах о расходах будет включена в раздел «Расходы и использование Amazon S3», а не выделена в отдельную позицию.

 

Вопрос: Существует ли минимальный срок хранения и минимальная плата за хранение объектов для S3 Glacier Deep Archive?

S3 Glacier Deep Archive предназначен для долговременных, но редко используемых данных, которые хранятся в течение 7-10 лет и более. Объекты, архивированные в S3 Glacier Deep Archive, хранятся не менее 180 дней. При этом плата за объекты, которые удаляются до истечения 180 дней, будет взиматься согласно тарифам на хранение, пропорционально оставшимся дням. Общую информацию о ценах на S3 Glacier Deep Archive см. на странице цен на Amazon S3.

S3 Glacier Deep Archive использует минимальный оплачиваемый объем 40 КБ для хранения объектов. Можно сохранять и более мелкие объекты, но плата за них будет взиматься как за объекты размером 40 КБ. Общую информацию о ценах на S3 Glacier Deep Archive см. на странице цен на Amazon S3.

 

Вопрос: Как S3 Glacier Deep Archive интегрируется с другими сервисами AWS?

Deep Archive интегрирован с возможностями Amazon S3, включая анализ классов хранения S3, назначение тегов объектам S3, политики управления жизненным циклом S3, компонуемые объекты, блокировку объектов S3 и репликацию в S3. Благодаря возможностям управления хранилищем S3 можно использовать одну корзину Amazon S3 для хранения комбинации данных S3 Glacier Deep Archive, S3 Standard, S3 Standard – IA, S3 One Zone – IA и S3 Glacier. Это позволяет администраторам хранилищ принимать решения на основании характера данных и шаблонов доступа к ним. Клиенты могут использовать политики управления жизненным циклом Amazon S3 для автоматического переноса данных в более дешевые классы хранилищ по мере старения данных или на основании политики внутрирегиональной или межрегиональной репликации S3 для репликации данных в тот же или другой регион.

Сервис AWS Storage Gateway объединяет ленточный шлюз с классом хранилища S3 Glacier Deep Archive, позволяя хранить виртуальные ленты в хранилище класса Amazon S3 с наименьшими затратами, что на 75 % снижает ежемесячные расходы на долговременное хранение данных в облаке. С помощью этой функции ленточный шлюз поддерживает архивирование ваших новых виртуальных лент непосредственно в S3 Glacier и S3 Glacier Deep Archive, помогая выполнять требования к резервному копированию, архивированию и восстановлению. Ленточный шлюз помогает перенести резервные ленточные копии в AWS без каких-либо изменений в существующих рабочих процессах резервного копирования. Ленточный шлюз поддерживает большинство ведущих приложений резервного копирования, таких как Veritas, Veeam, Commvault, Dell EMC NetWorker, IBM Spectrum Protect (в ОС Windows) и Microsoft Data Protection Manager.

Вопрос: Какая серверная инфраструктура используется для класса хранилища S3 Glacier Deep Archive?

Как правило, AWS не раскрывает информацию о серверной инфраструктуре и архитектуре вычислительных, сетевых сервисов и сервисов хранилищ. Мы делаем акцент на практических преимуществах для клиента: производительности, надежности, доступности и безопасности. Однако клиенты часто задают нам этот вопрос. Мы используем ряд технологий, позволяющих нам предлагать клиентам текущие цены. Наши сервисы основаны на распространенных технологиях хранилищ данных. Они реализованы в специально спроектированных системах с оптимальными экономическими характеристиками и работают под управлением собственного программного обеспечения AWS. Максимальная эффективность доступа к хранилищу в сервисе S3 Glacier Deep Archive достигается благодаря оптимизации последовательности ввода‑вывода.

Запросы к данным без извлечения

Вопрос: Что представляет собой возможность запросов к данным без извлечения?

Amazon S3 предоставляет клиентам возможность запуска сложных запросов к хранящимся данным без необходимости их перемещения на отдельную аналитическую платформу. Возможность выполнения запроса к данным без извлечения в Amazon S3 может существенно повысить производительность и снизить стоимость аналитических решений, использующих S3 в качестве озера данных. S3 предлагает разнообразные варианты выполнения запросов к данным без извлечения, в том числе посредством S3 Select, Amazon Athena и Amazon Redshift Spectrum. Можно выбрать вариант, который лучше всего подходит для конкретного примера использования. Amazon S3 Select можно использовать вместе с AWS Lambda для создания бессерверных приложений, использующих возможности обработки на месте на базе S3 Select.

Вопрос: Что такое S3 Select?

S3 Select – это одна из возможностей Amazon S3. Она позволяет извлекать конкретные данные из содержимого объекта с помощью простых SQL-выражений, не извлекая при этом весь объект. Используйте S3 Select для извлечения подмножества данных с помощью классов SQL, таких как SELECT и WHERE, из объектов, хранимых в формате CSV, JSON или Apache Parquet. Такой же подход работает и с объектами, сжатие которых выполняется с помощью GZIP или BZIP2 (только для объектов CSV и JSON), а также для объектов с шифрованием на стороне сервера.

Вопрос: Как можно использовать S3 Select?

S3 Select можно использовать для извлечения из объекта меньшего по размеру и целевым образом заданного набора данных с помощью простых SQL-операторов. При совместном использовании S3 Select и AWS Lambda можно создавать бессерверные приложения, в которых данные из Amazon S3 будут просто и эффективно извлекаться с помощью S3 Select, а не путем извлечения и обработки целого объекта. Кроме того, S3 Select можно использовать вместе с инфраструктурами обработки больших данных – Presto, Apache Hive, Apache Spark – для сканирования и фильтрации данных в Amazon S3.

Вопрос: Какие преимущества дает S3 Select?

S3 Select предоставляет новый метод извлечения конкретных данных из содержимого объекта, хранящегося в Amazon S3, без извлечения целого объекта с использованием SQL-операторов. S3 Select упрощает работу и способен до 400 % увеличить производительность сканирования за счет фильтрации содержимого объектов в меньший по размеру и целевым образом заданный набор данных. С помощью S3 Select можно также выполнять рабочий анализ файлов журналов в Amazon S3 без запуска вычислительного кластера или управления им.

Вопрос: Что такое Amazon Athena?

Amazon Athena — это сервис интерактивных запросов, позволяющий анализировать данные в Amazon S3 с помощью стандартных SQL-запросов. Athena – бессерверный сервис, здесь нет инфраструктуры, требующей настройки или управления, поэтому можно сразу же приступить к анализу данных. Не нужно даже загружать данные в Athena, поскольку сервис работает непосредственно с данными, размещенными в хранилище S3 любого класса. Чтобы начать, просто войдите в Консоль управления Athena, задайте свою схему и приступайте к выполнению запросов. Сервис Amazon Athena использует Presto с полной поддержкой стандартных запросов SQL и работает с различными стандартными форматами данных, включая CSV, JSON, ORC и Apache Parquet и Avro. Athena идеально подходит для быстрого выполнения спонтанных запросов, просто интегрируется с Amazon QuickSight, обеспечивая удобную визуализацию, а также может выполнять сложные задачи анализа с использованием масштабных операций объединения, оконных функций и массивов.

Вопрос: Что такое Amazon Redshift Spectrum?

Amazon Redshift Spectrum – это возможность сервиса Amazon Redshift, которая позволяет выполнять запросы к эксабайтам неструктурированных данных в Amazon S3 без загрузки или выполнения ETL-операций. При отправке запроса он поступает на SQL-сервер Amazon Redshift, который генерирует и оптимизирует план запроса. Amazon Redshift определяет, какие данные являются локальными, а какие находятся в Amazon S3, генерирует план минимизации объема данных Amazon S3, которые необходимо прочитать, и запрашивает исполнителей Amazon Redshift Spectrum из общего пула ресурсов, чтобы прочитать и обработать данные из Amazon S3.

Redshift Spectrum при необходимости масштабируется до тысяч инстансов, поэтому запросы выполняются быстро при любых объемах данных. Теперь можно использовать для данных Amazon S3 тот же синтаксис SQL, что и для запросов Amazon Redshift, и подключаться к тому же адресу Amazon Redshift, используя привычные инструменты бизнес-аналитики. Redshift Spectrum позволяет разделить вычислительные ресурсы и хранилища и масштабировать их независимо друг от друга. Можно настроить необходимое количество кластеров Amazon Redshift, чтобы выполнять запросы к озеру данных Amazon S3, обеспечивая высокую доступность и неограниченную параллельную обработку. С Redshift Spectrum можно хранить данные где угодно и в каком угодно формате – они всегда будут под рукой для обработки.

Оповещения о событиях

Вопрос: Что такое оповещения о событиях Amazon S3?

Amazon S3 может посылать оповещения о выполнении в Amazon S3 таких операций, как PUT, POST, COPY или DELETE. Оповещения могут быть посланы через Amazon SNS, Amazon SQS или напрямую в AWS Lambda.

Вопрос: Как можно использовать оповещения о событиях Amazon S3?

Оповещения о событиях в Amazon S3 позволяют запускать рабочие процессы, отправлять предупреждения или выполнять другие действия при изменении объектов, хранимых в корзине S3. Оповещения о событиях S3 можно использовать для настройки триггеров, запускающих выполнение определенных действий, таких как перекодировка мультимедийных файлов по завершению загрузки, обработка файлов данных по мере их поступления или синхронизация объектов S3 с другими хранилищами данных. Также вы можете настроить оповещения о событиях на основе префиксов и суффиксов имени объекта. Например, можно получать оповещения об объектах, имя которых начинается с «images/».

Вопрос: Что включено в оповещения о событиях Amazon S3?

Подробное описание информации, включенной в оповещения о событиях Amazon S3, см. в теме Configuring Amazon S3 Event Notifications Руководства разработчика Amazon S3.

Вопрос: Как настроить оповещения о событиях Amazon S3?

Подробную информацию о настройке оповещений о событиях см. в теме Configuring Amazon S3 Event Notifications Руководства разработчика Amazon S3. Подробнее о сервисах AWS для обмена сообщениями см. в документации по Amazon SNS и документации по Amazon SQS.

Вопрос: Сколько стоит использование оповещений о событиях Amazon S3?

Amazon S3 не взимает дополнительную плату за оповещения о событиях. Оплачивается только использование Amazon SNS или Amazon SQS для доставки оповещений о событиях или стоимость исполнения функции AWS Lambda. Сведения о ценах на Amazon SNS, Amazon SQS или AWS Lambda см. на страницах цен на данные сервисы.

Amazon S3 Transfer Acceleration

Вопрос: Что такое S3 Transfer Acceleration?

Функция Amazon S3 Transfer Acceleration обеспечивает быструю, простую и безопасную передачу файлов на большие расстояния между вашим клиентом и вашей корзиной Amazon S3. В S3 Transfer Acceleration используются распределенные по всему миру периферийные местоположения AWS для сервиса Amazon CloudFront. После того как данные окажутся в периферийном местоположении AWS, они будут направлены в вашу корзину Amazon S3 по оптимизированному сетевому маршруту.

Вопрос: Как начать работу с S3 Transfer Acceleration?

Чтобы начать работу с S3 Transfer Acceleration, включите S3 Transfer Acceleration в корзине S3 с помощью консоли Amazon S3, API Amazon S3 или интерфейса командной строки AWS. После включения S3 Transfer Acceleration можно будет направлять запросы PUT и GET сервиса Amazon S3 на доменное имя s3-accelerate для соответствующего адреса. Для ускоренной передачи данных приложение должно использовать при передаче данных один из следующих адресов для подключения к корзине: .s3-accelerate.amazonaws.com или .s3-accelerate.dualstack.amazonaws.com для адреса «dual-stack». Для стандартной передачи данных можно будет по-прежнему использовать обычные адреса.

Существует ряд условий, которые должны быть выполнены, чтобы корзины поддерживали S3 Transfer Acceleration. Подробную информацию см. в Руководстве разработчика Amazon S3.

Вопрос: Какова скорость работы S3 Transfer Acceleration?

S3 Transfer Acceleration позволяет полностью использовать имеющуюся полосу пропускания и свести к минимуму влияние расстояний на пропускную способность. Это обеспечивает неизменно высокую скорость передачи данных в Amazon S3 независимо от местонахождения клиента. Уровень ускорения зависит главным образом от доступной пропускной способности, расстояния между источником и местом назначения и показателями потери пакетов на сетевом маршруте. В целом ускорение будет тем выше, чем дальше источник от места назначения, чем шире полоса пропускания и/или чем больше размер объекта.

Один из клиентов зафиксировал сокращение среднего времени вдвое при получении файлов размером 300 МБ от глобальной базы пользователей, находящихся в США, Европе и некоторых странах Азии, в корзину в регионе Азия и Тихий океан (Сидней). Другой клиент наблюдал повышение пропускной способности на 500 % для пользователей из Юго-Восточной Азии и Австралии при загрузке файлов размером 250 МБ (часть из них размером 50 МБ) в корзину S3 в регионе Восток США (Северная Вирджиния).

Попробуйте инструмент сравнения скорости для предварительной оценки прироста производительности при передаче от конкретного местоположения.

Вопрос: В каких случаях стоит использовать S3 Transfer Acceleration?

Возможность S3 Transfer Acceleration предназначена для оптимизации скорости передачи данных в корзины S3 по всему миру. При выполнении загрузки в централизованную корзину из географически рассредоточенных местоположений или при регулярной передаче гигабайтов или терабайтов данных через целые континенты функция S3 Transfer Acceleration позволит сэкономить при передаче часы или даже дни.

Вопрос: Безопасно ли использовать S3 Transfer Acceleration?

Возможность S3 Transfer Acceleration так же безопасна, как и обычная передача данных в Amazon S3. Она поддерживает все инструменты безопасности сервиса Amazon S3, например ограничение доступа по IP-адресу клиента. Возможность S3 Transfer Acceleration взаимодействует с клиентами по стандартному протоколу TCP и не требует изменений в настройках брандмауэра. Данные не сохраняются в периферийных местоположениях AWS.

Вопрос: Что произойдет, если передача данных с использованием S3 Transfer Acceleration окажется не быстрее обычной передачи данных с помощью Amazon S3?

Каждый раз, когда для загрузки объекта в корзину используется S3 Transfer Acceleration, мы проверяем, действительно ли передача данных с помощью S3 Transfer Acceleration выполняется быстрее, чем обычная передача данных с помощью Amazon S3. Если передача данных с использованием S3 Transfer Acceleration оказывается не быстрее, чем обычная передача Amazon S3 того же объекта в тот же регион назначения AWS, AWS не начисляет плату за использование функции S3 Transfer Acceleration для этой передачи и игнорирует использование системы S3 Transfer Acceleration для этой загрузки.

Вопрос: Можно ли использовать S3 Transfer Acceleration для многокомпонентных загрузок?

Да, S3 Transfer Acceleration поддерживает все возможности на уровне корзин, включая многокомпонентные загрузки.

Вопрос: В каких случаях стоит выбрать S3 Transfer Acceleration, а в каких – команды PUT/POST сервиса Amazon CloudFront?

Возможность S3 Transfer Acceleration оптимизирует протокол TCP и расширяет логические функции передачи данных между клиентом и корзиной S3, поэтому ее стоит выбрать, когда требуется увеличение пропускной способности. Если размер передаваемых объектов или передаваемого набора данных менее 1 ГБ, для оптимальной скорости передачи данных воспользуйтесь командами PUT/POST сервиса Amazon CloudFront.

Вопрос: В каких случаях стоит выбрать S3 Transfer Acceleration, а в каких – семейство устройств AWS Snow (Snowball, Snowball Edge или Snowmobile)?

Семейство устройств AWS Snow идеально подходит для единовременного перемещения больших пакетов данных. Время перемещения данных с его помощью обычно составляет 5–7 дней. Как правило, S3 Transfer Acceleration при полностью используемой полосе пропускания шириной 1 Гбит/с обеспечивает за такое же время передачу до 75 ТБ. Обычно в тех случаях, когда передача через Интернет может занять более недели, или при необходимости повторных передач и наличии полосы пропускания шириной свыше 25 Мбит/с целесообразно использовать S3 Transfer Acceleration. Можно также использовать обе возможности: сначала переместить основной объем данных с помощью одного или нескольких устройств AWS Snowball, а затем передавать текущие инкрементные изменения с помощью S3 Transfer Acceleration.

Вопрос: Можно ли дополнить подключение AWS Direct Connect возможностью S3 Transfer Acceleration?

AWS Direct Connect подходит клиентам, которым требуется использование частной сети или у которых есть доступ к обмену данными AWS Direct Connect. S3 Transfer Acceleration оптимально подходит для отправки данных от распределенных клиентских местоположений через публичный Интернет или для тех случаев, когда неоднородные условия сети ухудшают пропускную способность. Некоторые клиенты, использующие AWS Direct Connect, используют S3 Transfer Acceleration для передачи данных из удаленных офисов, где скорость передачи данных через Интернет может быть низкой.

Вопрос: Можно ли дополнить сервис AWS Storage Gateway или шлюз стороннего поставщика использованием S3 Transfer Acceleration?

Если вы можете задать адрес корзины назначения в шлюзе стороннего поставщика с использованием доменного имени для адреса сервера в S3 Transfer Acceleration, преимущества будут очевидны.

Подробнее о таком использовании AWS можно узнать в разделе «Файловый шлюз» на странице вопросов и ответов по сервису Storage Gateway.

Вопрос: Можно ли дополнить интегрированное ПО стороннего поставщика возможностью S3 Transfer Acceleration?

Да. Пакеты ПО, которые подключаются непосредственно к Amazon S3, могут использовать преимущества S3 Transfer Acceleration при отправке заданий в Amazon S3.

Подробнее о решениях партнеров в сфере хранения данных »

Вопрос: Соответствует ли S3 Transfer Acceleration требованиям HIPAA?

Да, AWS расширила программу соответствия требованиям HIPAA. Теперь Amazon S3 Transfer Acceleration соответствует требованиям HIPAA. Если вы заключили с AWS договор делового партнерства (BAA), можно использовать Amazon S3 Transfer Acceleration для быстрой, простой и безопасной передачи файлов, включая закрытую медицинскую информацию (PHI), на большие расстояния между клиентом и корзиной Amazon S3.

Подробнее о соответствии требованиям HIPAA »

Управление хранилищем

Назначение тегов объектам S3

Вопрос: Что такое теги объектов S3?

Теги объектов S3 – это пары «ключ-значение», назначаемые объектам S3. Эти пары можно создавать, обновлять и удалять в любое время в течение жизненного цикла объекта. С их помощью можно создавать политики Identity and Access Management (IAM), настраивать политики жизненного цикла сервиса S3, а также настраивать метрики хранилища. Эти теги на уровне объектов могут затем использоваться для управления перемещением данных между хранилищами разных классов и управления объектами, срок действия которых истекает, в фоновом режиме.

Вопрос: Как присваивать теги своим объектам?

Добавлять теги можно для новых объектов при их загрузке или для существующих объектов. Для каждого объекта S3 можно добавить до десяти тегов, при этом для добавления тегов объектов можно использовать Консоль управления AWS, API REST, интерфейс командной строки AWS или AWS SDK.

Вопрос: Почему следует использовать теги объектов?

Теги объектов – это инструмент, который упрощает управление хранилищем S3. Благодаря наличию возможности создавать, обновлять и удалять теги в любое время в течение всего жизненного цикла объекта можно адаптировать хранилище к любым потребностям бизнеса. С помощью этих тегов можно контролировать доступ к объектам, которым присвоены определенные пары «ключ-значение», что позволяет обеспечить дополнительную защиту конфиденциальных данных, предоставив к ним доступ только выбранной группе или пользователю. С помощью тегов объектов можно также помечать объекты, которые относятся к определенному проекту или бизнес-подразделению. Эти теги можно использовать вместе с политиками жизненного цикла S3 для управления переносом в хранилища других классов (S3 Standard – IA, S3 One Zone – IA и S3 Glacier) или для выборочной репликации данных S3 между регионами AWS.

Вопрос: Как обновлять теги объектов?

Теги объектов можно изменять в любое время в течение всего жизненного цикла объекта S3. Для обновления тегов объектов можно использовать Консоль управления AWS, API REST, интерфейс командной строки AWS или AWS SDK. Учтите, что все изменения тегов, которые выполняются без использования Консоли управления AWS, выполняются над полным набором тегов. Если у определенного объекта есть пять тегов и необходимо добавить шестой, в запрос следует включить исходные пять тегов.

Вопрос: Будет ли выполняться репликация тегов объектов при использовании межрегиональной репликации?

Репликация тегов объектов между регионами AWS может выполняться при использовании межрегиональной репликации. Клиентам с включенной межрегиональной репликацией для репликации тегов требуются новые разрешения. Дополнительные сведения о настройке межрегиональной репликации см. в разделе «Настройка межрегиональной репликации» Руководства разработчика Amazon S3.

Вопрос: Какова стоимость тегов объектов?

Плата за теги объектов начисляется по количеству тегов и запросов для их добавления. Плата за запросы, связанные с добавлением и обновлением Тегов объектов, взимается по существующим тарифам на запросы. Подробнее см. на странице цен на Amazon S3.

Storage Class Analysis

Вопрос: Что представляет собой Storage Class Analysis?

С помощью Storage Class Analysis можно анализировать частоту доступа к хранилищу и переносить определенные данные в хранилище более подходящего класса. Эта новая возможность S3 автоматически выявляет данные, к которым редко обращаются, и помогает перенести их в хранилище S3 Standard – IA. Политика Storage Class Analysis позволяет выполнять мониторинг всей корзины либо объектов с определенным префиксом/тегом. После выявления данных, к которым редко обращаются, можно просто создать новую политику S3 для управления жизненным циклом объектов на основании полученных результатов. Storage Class Analysis также обеспечивает ежедневное визуальное представление данных об использовании хранилища в Консоли управления AWS. Соответствующие данные можно экспортировать в корзину S3 для последующего анализа с помощью удобных инструментов бизнес-аналитики, например Amazon QuickSight.

Вопрос: Как начать работу со Storage Class Analysis?

Чтобы выявить редко запрашиваемые данные, которые можно перенести в хранилище класса S3 Standar-IA, S3 One Zone-IA либо заархивировать в хранилище класса S3 Glacier, можно воспользоваться Консолью управления AWS или API PUT Bucket Analytics сервиса S3 для настройки политик Storage Class Analysis. Для управления метриками Storage Class Analysis, S3 Inventory и S3 CloudWatch требуется перейти на вкладку «Management» (Управление) в консоли S3.

Вопрос: Как начисляется плата за использование Storage Class Analysis?

Общую информацию о ценах на Storage Class Analysis см. на странице цен на Amazon S3.

Вопрос: Как часто обновляются данные Storage Class Analysis?

Данные Storage Class Analysis в консоли управления S3 обновляются ежедневно. Кроме того, можно настроить Storage Class Analysis таким образом, чтобы соответствующие отчеты экспортировались в выбранную корзину S3.

S3 Inventory

Вопрос: Что такое S3 Inventory?

Отчет S3 Inventory предоставляет альтернативу синхронному API Amazon S3 List, позволяющую выполнять задачи по расписанию. Можно настроить S3 Inventory для предоставления выходных данных объектов и соответствующих им метаданных корзины S3 или префикса в формате CSV, ORC или Parquet на ежедневной или еженедельной основе. С помощью S3 Inventory можно упростить и ускорить рабочие бизнес-процессы и задачи обработки больших данных. S3 Inventory можно также использовать для проверки состояния шифрования и репликации объектов на предмет соответствия требованиям бизнеса и применимых нормативных актов. 

Вопрос: Как начать работу с S3 Inventory?

С помощью консоли управления AWS или вызова API PUT Bucket Inventory можно настроить создание ежедневного или еженедельного отчета по инвентаризации всех объектов в корзине S3 или набора объектов с общим префиксом. При настройке можно указать корзину S3 для сохранения отчета S3 Inventory, формат выходных файлов (CSV, ORC или Parquet), а также определенные метаданные объектов, актуальные для конкретного бизнес-приложения, такие как имя объекта, размер, дата последнего изменения, класс хранилища, идентификатор версии, маркер удаления, метка устаревшей версии, метка многокомпонентной загрузки, состояние репликации или шифрования.

Вопрос: Можно ли шифровать файлы отчетов S3 Inventory?

Да, можно настроить шифрование всех файлов, записываемых S3 Inventory, с помощью шифрования на стороне сервера в S3 или KMS. Подробнее см. в руководстве пользователя.

Вопрос: Как можно использовать S3 Inventory?

S3 Inventory можно использовать для прямой передачи данных в рабочие процессы приложений или в задания по обработке больших данных. Можно также делать запросы к S3 Inventory с использованием стандартного языка SQL с помощью Amazon Athena, Amazon Redshift Spectrum или других инструментов, например Presto, Hive и Spark.

Подробнее о запросах к S3 Inventory с помощью Athena »

Вопрос: Как начисляется плата за использование S3 Inventory?

Цены на S3 Inventory см. на странице цен на Amazon S3. После настройки шифрования с помощью шифрования на стороне сервера KMS будет взиматься плата за шифрование по тарифам сервиса KMS; подробнее см. на странице цен на KMS.

Пакетные операции S3

Вопрос. Что представляют собой пакетные операции S3 Batch Operations?

Batch Operations S3 – возможность, которую можно использовать для автоматизации выполнения, управления и аудита определенного запроса S3 или функции Lambda в отношении множества объектов, хранящихся в Amazon S3. S3 Batch Operations можно использовать для автоматизации замены наборов тегов на объектах S3, обновления списков контроля доступа (ACL) для объектов S3, копирования хранилищ из одной корзины в другую, инициации восстановления из Glacier в S3, а также для выполнения самостоятельно заданных операций с помощью функций Lambda. S3 Batch Operations можно использовать из консоли S3 либо с помощью AWS CLI и SDK.

Вопрос: Зачем использовать пакетные операции S3?

Пакетные операции S3 автоматизируют выполнение одной операции (например, копирования объекта или выполнения функции AWS Lambda) со многими объектами. С помощью S3 Batch Operations можно путем нескольких нажатий в консоли S3 или одного запроса API внести изменение в миллиарды объектов; при этом не потребуется писать собственный код приложения или запускать вычислительные кластеры для управления хранилищами. Инструмент S3 Batch Operations не только позволяет управлять работой хранилища для множества различных объектов, он также осуществляет повторные попытки, отображает ход выполнения операций, доставляет оповещения, создает отчет о выполнении и отправляет события в AWS CloudTrail для всех операций, проведенных над целевыми объектами. Дополнительную информацию о S3 Batch Operations можно найти на странице возможностей Amazon S3.

Вопрос: Как начать работу с S3 Batch Operations?

Начать работу с S3 Batch Operations можно, используя консоль Amazon S3, интерфейс командной строки AWS (CLI) или пакет средств разработки ПО AWS (SDK) для создания первого задания S3 Batch Operations. Задание S3 Batch Operations состоит из списка объектов, над которыми требуется провести операцию, и типа проводимой операции. Начните с выбора отчета S3 Inventory или составления собственного списка объектов для выполнения операций S3 Batch Operations. Отчет S3 Inventory – файл со списком всех объектов, хранящихся в корзине S3 или имеющих определенный префикс. Затем выберите в перечне операций S3, поддерживаемых S3 Batch Operations, нужные вам действия, например замену наборов тегов, изменение ACL, копирование хранилища из одной корзины в другую или инициацию восстановления из Glacier в S3. Затем можно настроить созданные задания S3 Batch Operations с помощью определенных параметров, таких как значения тегов, участники списка ACL и срок восстановления. Для дополнительной настройки действий хранилища под свои потребности можно написать собственную функцию Lambda и вызывать этот код через S3 Batch Operations.

Когда задание S3 Batch Operations будет создано, S3 Batch Operations обработает список объектов и отправит задание в состояние "ожидание подтверждения", если в этом будет необходимость. После подтверждения сведений задания S3 Batch Operations начнет выполнение указанной операции. Ход выполнения задания можно просматривать программным образом или через консоль S3, можно получать оповещения о выполнении и просматривать отчет о выполнении, в котором приводятся подробные сведения об изменениях в хранилище.

Чтобы больше узнать об S3 Batch Operations, посмотрите обучающие видео и документацию.

S3 Object Lock

Вопрос. Что такое Amazon S3 Object Lock?

Amazon S3 Object Lock – это новая возможность Amazon S3, которая блокирует удаление версий объектов в течение периода хранения, установленного клиентом. Эта возможность позволяет применять политики хранения в качестве дополнительного уровня защиты данных либо для выполнения нормативных требований. Рабочие нагрузки можно переносить из существующих систем для однократной записи и многократного чтения (WORM) в Amazon S3 и настроить S3 Object Lock на уровне объектов или корзин для предотвращения удаления версий объектов до заданной даты, которую вы можете определить самостоятельно или в соответствии с нормативными требованиями. Защита S3 Object Lock обеспечивается независимо от класса хранилища, в котором находится объект, а также при переносах из одного класса хранилища в другой в течение жизненного цикла S3.

Вопрос: Какие задачи позволяет решать Amazon S3 Object Lock?

S3 Object Lock следует использовать, если на вас распространяются законодательные требования по защите данных по правилам WORM либо если вы хотите использовать дополнительный уровень защиты данных в Amazon S3. S3 Object Lock может помочь в выполнении законодательных требований о том, что данные должны храниться в неизменяемом формате, а также может обеспечить защиту от случайного или злонамеренного удаления данных в Amazon S3.

Вопрос: Как работает сервис Amazon S3 Object Lock?

Amazon S3 Object Lock блокирует удаление объекта в течение заданного периода сохранения. В сочетании с управлением версиями S3, которое защищает объекты от перезаписи, таким образом можно обеспечить неизменность объектов в течение всего срока применения защиты WORM. Защиту WORM можно применить либо путем задания даты Retain Until Date или Legal Hold для объекта с помощью AWS SDK, CLI, REST API или Консоли управления S3. Настройки сохранения можно задать в запросе PUT либо применить к существующему объекту после его создания.

Срок сохранения Retain Until Date определяет период времени, в течение которого объект будет неизменным. После присвоения Retain Until Date объекту этот объект будет невозможно удалить или изменить, пока не пройдет Retain Until Date. Если пользователь попытается удалить объект до прохождения Retain Until Date, в операции будет отказано.

S3 Object Lock можно настроить в одном из двух режимов. При использовании в режиме Governance аккаунты AWS с определенными разрешениями IAM могут снимать защиту WORM с объекта. Если вам требуется большая надежность по неизменности для выполнения законодательных требований, можно использовать режим Compliance. В режиме Compliance защиту WORM не может снять ни один пользователь, в том числе аккаунт root.

Кроме того, можно сделать объект неизменным, применив к нему Legal Hold. Legal Hold устанавливает на объект бессрочную защиту S3 Object Lock, которая действует, пока ее не снимут явным образом. Для установки и снятия защиты Legal Hold аккаунт AWS должен иметь разрешение на запись для действия PutObjectLegalHold. Legal Hold можно применить к любому объекту в корзине с поддержкой защиты S3 Object Lock, независимо от наличия у этого объекта в текущий момент защиты WORM на какой‑либо срок сохранения.

Вопрос: Какие электронные хранилища AWS могут использоваться с учетом нормативных требований к финансовым сервисам?

Для клиентов из сферы финансовых услуг S3 Object Lock обеспечивает дополнительную поддержку брокерской и дилерской деятельности, поскольку эти компании обязаны хранить записи в нестираемом и неперезаписываемом формате в соответствии с нормативными требованиями Правила Комиссии по ценным бумагам и биржам 17a-4(f), Правила Агентства по регулированию деятельности финансовых институтов 4511 или Норматива Комиссии по торговле товарными фьючерсами 1.31. Вы легко можете указать необходимое время хранения записей, чтобы хранить нужные архивы в оригинальной форме в течение указанного срока, а также хранить определенные данные для судебных нужд в течение неограниченного периода (пока соответствующее требование не будет снято).

Вопрос: Какие документы AWS поддерживают требования SEC 17a-4(f)(2)(i) и CFTC 1.31(c) по оповещению регулятора?

Отправьте регулятору или выбранному вами уполномоченному контролирующему органу (DEA) оповещение о намерении использовать сервис Amazon S3 в качестве электронного хранилища, а также экземпляр оценки компании Cohasset. В рамках этих требований AWS не является уполномоченной третьей стороной (D3P). Обязательно выберите D3P и укажите эту информацию в оповещении для своего DEA.

Метрики CloudWatch для S3

Вопрос: Как начать работу с метриками CloudWatch для S3?

Можно использовать Консоль управления AWS для включения ежеминутных метрик CloudWatch для запросов для корзины S3 или настройки фильтров для метрик на основании префикса или тега объекта. Кроме того, можно выполнить вызов API PUT Bucket Metrics сервиса S3, чтобы включить и настроить публикацию метрик хранилища S3. Метрики CloudWatch для запросов появятся в CloudWatch через 15 минут после включения. Метрики CloudWatch для запросов по умолчанию выключены для всех корзин, а отчет по ним составляется один раз в день.

Вопрос: Можно ли привести метрики CloudWatch для запросов в соответствие с требованиями приложения или организационной структурой бизнеса?

Да. Метрики запросов CloudWatch для S3 можно настроить для создания метрик определенной корзины S3, а также настроить фильтры для метрик, используя префикс или тег объекта.

Вопрос: Какие предупреждения можно установить для метрик своего хранилища?

Можно использовать CloudWatch для задания пороговых значений для всех результатов подсчета, таймеров или измерений метрик хранилища и выполнения определенного действия при превышении порогового значения. Например, можно установить пороговое значение, выраженное в процентах, для ответов, содержащих информацию об ошибке с кодом 4xx, и когда значения хотя бы трех точек данных превысят пороговое значение, CloudWatch выдаст предупреждение ответственному специалисту DevOps.

Вопрос: Как начисляется плата за использование метрик CloudWatch для S3?

Метрики CloudWatch для хранилища предоставляются бесплатно. Плата за запросы к метрикам CloudWatch начисляется по тарифам для пользовательских метрик Amazon CloudWatch. Общую информацию о ценах на метрики CloudWatch для S3 см. на странице цен на Amazon CloudWatch.

Управление жизненным циклом S3

Вопрос: Что такое управление жизненным циклом S3?

Функция управления жизненным циклом сервиса S3 предоставляет возможность определить жизненный цикл вашего объекта посредством предопределенной политики и уменьшить стоимость его хранения. Можно настроить политику жизненного цикла для автоматического переноса объектов, размещенных в хранилище класса S3 Standard, в хранилища S3 Standard-IA, S3 One Zone-IA, и/или S3 Glacier в зависимости от срока существования данных. Можно также настроить политики окончания жизненного цикла для автоматического удаления объектов на основе срока их хранения. Можно настроить политику окончания срока многокомпонентной загрузки, прекращающую незавершенные многокомпонентные загрузки на основании их продолжительности.

Вопрос: Как создать политику управления жизненным циклом S3?

Создавать политики жизненного цикла и управлять ими можно с помощью Консоли управления AWS, API REST сервиса S3, AWS SDK или интерфейса командной строки AWS. Вы можете определить политику на уровне префикса или корзины.

Вопрос: Какова стоимость использования управления жизненным циклом S3?

За настройку и использование политик управления жизненным циклом плата не взимается. Плата за выполнение запроса на перенос объектов начисляется по количеству объектов, которые начинают соответствовать критериям переноса, указанным в правилах жизненного цикла. Подробную информацию о ценах см. на странице цен на Amazon S3.

Вопрос: Как можно использовать политики управления жизненным циклом?

По мере устаревания данных они становятся менее важными, менее ценными и/или от них уже не требуется соответствие требованиям. Amazon S3 имеет в своем составе обширную библиотеку политик, которая позволяет автоматизировать процессы перемещения данных между классами хранилищ. К примеру, можно настроить перемещение нечасто используемых объектов в классы хранилищ с меньшей стоимостью (например, S3 Standard – IA или S3 One Zone – IA) по истечении некоторого периода времени. По истечении еще какого-то периода времени эти объекты могут перемещаться в хранилище Amazon S3 Glacier для архивации в соответствии с определенными требованиями. Если политика компании это позволяет, можно также задать политику жизненного цикла для удаления объектов. Такие правила могут незаметно для пользователя снизить затраты на хранение данных и упростить управление данными. Эти политики также включают оптимальные рекомендации по удалению ненужных объектов и атрибутов для снижения затрат и оптимизации производительности.

Вопрос: Как использовать управление жизненным циклом Amazon S3 для снижения затрат на хранилище Amazon S3?

С помощью политик жизненного цикла Amazon S3 можно настроить миграцию объектов из хранилища класса S3 Standard в хранилище S3 Standard-IA, S3 One Zone-IA и/или их архивацию в S3 Glacier. Дополнительно можно задать политику жизненного цикла S3 для удаления объектов по истечении определенного периода времени. С помощью такой определяемой правилами автоматизации можно быстро и легко понизить затраты на хранилище, а также сэкономить время. В каждом правиле можно указать префикс, промежуток времени, перенос в хранилище S3 Standard-IA, S3 One Zone-IA или S3 Glacier, а также окончание срока хранения. Например, можно создать правило, архивирующее в S3 Glacier все объекты с общим префиксом "logs/" через 30 дней после их создания и прекращающее хранение этих объектов после 365 дней с момента их создания. Можно создать отдельное правило, прекращающее хранение всех объектов с префиксом backups/ через 90 дней с момента их создания. Политики жизненного цикла S3 применяются как к существующим, так и к новым объектам S3, обеспечивая оптимизацию хранилища и максимальную экономию при размещении любых данных в S3 без затрат времени на проверку и перемещение данных вручную. В рамках правила управления жизненным циклом объектов поле префикса определяет объекты, к которым правило применяется. Для того чтобы применить правило к отдельному объекту, необходимо указать имя ключа. Для того чтобы применить правило к набору объектов, необходимо указать их общий префикс (например, “logs/”). Для удаления объектов можно указать действие переноса (архивацию объектов или окончание срока действия). Укажите время: конкретную дату (например, 31 января 2015 года) или количество дней с момента создания (например, 30 дней), по истечении которого следует выполнять архивацию или удаление объектов. Можно создать несколько правил для разных префиксов.

Вопрос: Как настроить объекты, чтобы они были удалены через определенный промежуток времени?

Для удаления объектов из корзин через определенное количество дней можно настроить политику окончания жизненного цикла S3. Можно определить правила окончания срока действия набора объектов в корзине с помощью политики настройки жизненного цикла, которая применяется к корзине.

Подробнее о политиках окончания жизненного цикла S3 »

Вопрос: Почему стоит использовать политику жизненного цикла S3 для прекращения срока действия незавершенных многокомпонентных загрузок?

Политика жизненного цикла S3, прекращающая незавершенные многокомпонентные загрузки, позволяет сократить расходы за счет ограничения времени хранения данных, загруженных в результате таких многокомпонентных загрузок. Например, если приложение загружает несколько частей многокомпонентного объекта и не подтверждает их запись, плата за хранение этих компонентов все-таки будет взиматься. Соответствующая политика позволяет сократить расходы на хранилище S3 за счет удаления незавершенных многокомпонентных загрузок и связанных с ними данных через определенное количество дней.

Подробнее об использовании жизненного цикла S3 для прекращения срока действия незавершенных многокомпонентных загрузок »

Репликация

Вопрос: Что такое репликация в Amazon S3?

Репликация в Amazon S3 позволяет выполнять автоматическое асинхронное копирование объектов в корзинах Amazon S3. Корзины, для которых настроена репликация объектов, могут принадлежать как к одному, так и к разным аккаунтам AWS. Можно копировать объекты между разными регионами AWS (межрегиональная репликация в S3) или в пределах одного региона (внутрирегиональная репликация в S3).

Вопрос: Что представляет собой межрегиональная репликация в Amazon S3?

Межрегиональная репликация (CRR) – это возможность Amazon S3, которая осуществляет автоматическую репликацию данных между корзинами в разных регионах AWS. Межрегиональная репликация позволяет с помощью тегов объектов S3 настроить репликацию на уровне корзин, общих префиксов или объектов. CRR позволяет предоставить доступ к данным с низкой задержкой в разных географических регионах. Межрегиональная репликация также полезна в тех случаях, когда для соблюдения правовых норм копии данных требуется хранить в сотнях километров друг от друга. Межрегиональную репликацию можно использовать для изменения аккаунта-владельца реплицированных данных, чтобы предотвратить их случайное удаление. Подробнее о межрегиональной репликации см. в руководстве для разработчиков по репликации.

Вопрос: Что такое внутрирегиональная репликация Amazon S3?

Внутрирегиональная репликация (SRR) – это возможность Amazon S3, которая осуществляет автоматическую репликацию данных между корзинами в одном регионе AWS. Внутрирегиональная репликация позволяет с помощью тегов объектов S3 настроить репликацию на уровне корзин, общих префиксов или объектов. Внутрирегиональную репликацию можно использовать для создания второй копии данных в том же регионе AWS. Внутрирегиональная репликация решает такие проблемы, как обеспечение суверенитета данных и соответствия требованиям, позволяя хранить копию данных в отдельном аккаунте AWS, но в том же регионе, что и оригинал. Внутрирегиональную репликацию можно использовать для изменения аккаунта-владельца реплицированных данных, чтобы предотвратить их случайное удаление. Кроме того, можно использовать SRR для простой агрегации журналов из разных корзин S3 в целях внутрирегиональной обработки или для настройки репликации в режиме реального времени между средами тестирования и разработки. Подробнее о внутрирегиональной репликации см. в руководстве для разработчиков по репликации.

Вопрос: Как включить репликацию в Amazon S3 (в одном регионе или в разных)?

Репликация в Amazon S3 (CRR и SRR) настраивается с помощью объектов S3 на уровне корзин, общих префиксов или объектов. Чтобы добавить конфигурацию репликации для исходной корзины, необходимо задать целевую корзину для репликации в том же или другом регионе AWS.

Репликацию можно включить через Консоль управления AWS, REST API, интерфейс командной строки AWS или AWS SDK. Управление версиями при использовании репликации должно быть включено и в исходной, и в целевой корзине. Подробнее см. в обзоре настройки репликации в руководстве для разработчиков по Amazon S3.

Вопрос: Можно ли использовать репликацию в S3 (CRR и SRR) с правилами управления жизненным циклом S3?

При использовании репликации в S3 (CRR и SRR) можно создавать правила для копирования объектов в хранилище другого класса в том же или другом регионе. Действия в рамках жизненного цикла не реплицируются. Если вы хотите применить к исходной и целевой корзинам одинаковые конфигурации жизненного цикла, включите одну и ту же конфигурацию для обеих корзин. 

Например, можно настроить правило управления жизненным циклом для миграции данных из хранилища класса S3 Standard в хранилище класса S3 Standard – IA или S3 One Zone – IA либо для архивации данных в S3 Glacier в целевой корзине.

Подробнее о конфигурации жизненного цикла и репликации см. в руководстве для разработчиков по репликации в S3

Вопрос: Можно ли использовать репликацию с объектами, зашифрованными с помощью AWS Key Management Service (KMS)?

Да, можно реплицировать объекты, зашифрованные KMS, указав ключ KMS назначения в настройках репликации.

Подробнее о репликации объектов, зашифрованных KMS »

Вопрос: Обеспечивается ли в процессе репликации безопасность передаваемых объектов и шифрование?

Да, объекты остаются зашифрованными на всех стадиях процесса репликации. Зашифрованные объекты безопасно передаются из исходного региона в целевой (при CRR) или в пределах одного региона (при SRR) по протоколу SSL.

Вопрос: Можно ли использовать репликацию между разными аккаунтами AWS для защиты от злонамеренного или случайного удаления?

Да, можно настроить CRR или SRR между разными аккаунтами, чтобы хранить реплицированные данные в другом аккаунте в целевом регионе. Чтобы назначить разных владельцев для исходных и целевых данных, а также предоставить право собственности на реплицированное хранилище целевому аккаунту, можно установить перезапись владельца в конфигурации репликации.

Вопрос: Что такое контроль времени репликации в Amazon S3?

Контроль времени репликации в Amazon S3 – это возможность, с помощью которой обеспечивается предсказуемое время репликации для соответствия нормативным или производственным требованиям. Благодаря контролю времени репликации в Amazon S3 большинство объектов копируется за считаные секунды. За 5 минут выполняется репликация 99 % объектов, а за 15 минут будет скопировано 99,99 % объектов. Контроль времени репликации в Amazon S3 регулируется соглашением об уровне обслуживания (SLA), по условиям которого в течение любого расчетного месяца 99,9 % объектов реплицируются за 15 минут в каждой паре регионов репликации. Контроль времени работает со всеми возможностями репликации в S3. Подробнее см. в руководстве для разработчиков по репликации.

Вопрос: Как включить контроль времени репликации в Amazon S3?

Контроль времени репликации в Amazon S3 включается как параметр в конфигурации репликации в S3. Можно создать новую политику репликации в S3 с контролем времени репликации или включить эту возможность в существующей политике.

Для настройки репликации можно использовать Консоль управления AWS, REST API, интерфейс командной строки AWS или AWS SDK. Подробнее см. в обзоре настройки репликации в руководстве для разработчиков по Amazon S3.

Вопрос: Что такое метрики и события репликации в Amazon S3?

Метрики и события репликации в Amazon S3 позволяют отслеживать контроль времени репликации. С помощью метрик репликации в S3 можно контролировать общее количество и размер объектов, ожидающих репликации, а также максимальное время репликации для каждого правила репликации в S3, для которого включен контроль времени репликации. Метрики репликации доступны в Консоли управления Amazon S3, а также в Amazon CloudWatch. События репликации в S3 выдают уведомления в том редком случае, если на репликацию объекта требуется более 15 минут, а также после успешного завершения репликации этого объекта в целевое расположение. Как и другие события Amazon S3, события репликации в S3 доступны через Amazon Simple Queue Service (Amazon SQS), Amazon Simple Notification Service (Amazon SNS) или AWS Lambda.

Вопрос: Как включить метрики и события контроля времени репликации в Amazon S3?

Метрики и события репликации в Amazon S3 включаются автоматически для каждого правила репликации в S3, для которого включен контроль времени репликации. Включив контроль времени репликации, можно получить доступ к метрикам через Консоль управления Amazon S3 или сервис Amazon CloudWatch. Как и другие события Amazon S3, события репликации в S3 доступны через Amazon Simple Queue Service (Amazon SQS), Amazon Simple Notification Service (Amazon SNS) или AWS Lambda. Подробнее см. в разделе руководства для разработчиков по Amazon S3, посвященном включению метрик репликации.

Вопрос: Что такое соглашение об уровне обслуживания (SLA) для контроля времени репликации в Amazon S3?

Контроль времени репликации в Amazon S3 обеспечивает репликацию 99,99 % объектов в течение 15 минут. Это обязательство закреплено в соглашении об уровне обслуживания. Если в течение 15 минут будет реплицировано менее 99,9 % объектов в каждой паре регионов репликации в течение расчетного месяца, по SLA клиенту будут предоставлены кредиты на обслуживание за любой объект, репликация которого потребовала более 15 минут. Кредиты на обслуживание покрывают определенную долю всех затрат, связанных с репликацией объектов, которая была выполнена с нарушением SLA. К таким затратам относятся плата за контроль времени репликации, израсходованная на репликацию пропускная способность, плата за запросы, а также расходы на хранение реплики в целевом регионе в течение затронутого расчетного месяца. Подробнее см. на странице SLA о контроле времени репликации в S3.

Вопрос: Как узнать, полагаются ли мне кредиты на обслуживание по SLA для контроля времени репликации в Amazon S3?

Вам полагаются кредиты на обслуживание по SLA для контроля времени репликации в Amazon S3, если за 15 минут репликации было скопировано менее 99,9 % ваших объектов в каждой паре регионов репликации в течение расчетного месяца. С условиями и положениями соглашения об уровне обслуживания, а также подробностями оформления заявки на компенсацию можно ознакомиться на странице SLA о контроле времени репликации в S3.

Вопрос: Сколько стоит репликация в S3 и использование возможности контроля времени репликации?

При использовании межрегиональной репликации и репликации в рамках региона взимается плата по тарифам сервиса Amazon S3 за хранение в выбранном целевом классе хранилища S3, а также плата за хранение основной копии, плата за запросы PUT репликации и применимая плата за извлечение из хранилища для редко используемых данных. При использовании межрегиональной репликации также оплачивается передача ИСХОДЯЩИХ данных Amazon S3 в регион назначения. Стоимость хранения реплицированной копии и выполнения запросов рассчитывается по тарифам региона назначения AWS. Стоимость межрегиональной передачи данных рассчитывается по тарифам исходного региона AWS. При использовании контроля времени репликации в S3 взимается дополнительная плата за передачу данных и метрики репликации S3 по тем же тарифам, что и за пользовательские метрики Amazon CloudWatch. Дополнительную информацию см. на странице цен на S3.

Если исходный объект загружается с использованием функции многокомпонентной загрузки, то он реплицируется с тем же количеством частей того же размера. Например, за объект размером 100 ГБ, загруженный с использованием многокомпонентной загрузки (800 частей по 128 МБ каждая), при репликации взимается плата как за 802 запроса (800 запросов на загрузку частей + 1 запрос на начало многокомпонентной загрузки + 1 запрос на окончание многокомпонентной загрузки). Будет взиматься плата за запросы в размере 0,00401 USD (802 запроса x 0,005 USD / 1000 запросов) и плата в размере 2 USD (0,020 USD за переданный гигабайт x 100 ГБ) за межрегиональную передачу данных, если репликация выполняется между разными регионами AWS. По окончании репликации будет взиматься плата за хранение 100 ГБ данных по тарифам целевого региона.

Amazon S3 и IPv6

Вопрос: Что такое IPv6?

Каждый сервер и устройство, подключенные к Интернету, должны иметь уникальный адрес. Интернет-протокол версии 4 (IPv4) изначально имел 32-битную адресацию. Непрерывное развитие Интернета приведет к тому, что через некоторое время все доступные IPv4-адреса будут использованы. Интернет-протокол версии 6 (IPv6) использует новую схему адресации, предназначенную для того, чтобы обойти глобальное ограничение адресации протокола IPv4.

Вопрос: Как можно использовать протокол IPv6?

Amazon S3 поддерживает использование протокола IPv6. Приложения могут подключаться к Amazon S3 без необходимости использования программного обеспечения или систем для преобразования адресов IPv4 в адреса IPv6. Это дает возможность обеспечить соответствие требованиям, проще выполнять интеграцию с существующими локальными приложениями на базе IPv6 и устраняет необходимость применения дорогого сетевого оборудования для преобразования адресов. С адресами IPv6 теперь можно использовать существующие возможности фильтрации адресов, имеющиеся в политиках IAM и политиках корзин, расширив возможности обеспечения безопасности приложений, взаимодействующих с Amazon S3.

Вопрос: Как начать использовать протокол IPv6 в Amazon S3?

Вы можете начать работу, указав приложению новый адрес сервера Amazon S3 с «двойным стеком» (поддерживающий доступ по обоим протоколам, IPv4 и IPv6). В большинстве случаев для доступа по IPv6 дополнительных настроек не требуется, так как большинство сетевых клиентов предпочитают по умолчанию использовать адреса IPv6.

Вопрос: Меняется ли производительность Amazon S3 при использовании протокола IPv6?

Нет, качество функционирования сервиса Amazon S3 не зависит от того, будет при работе с ним использоваться протокол IPv4 или протокол IPv6.

Вопрос: Что делать, если мои клиенты сталкиваются с ограничениями политик, сетевыми или другими ограничениями при использовании протокола IPv6 для работы с Amazon S3?

Приложения, на работе которых отражается использование протокола IPv6, можно в любое время переключить на работу со стандартными адресами серверов, работающими только по протоколу IPv4.

Вопрос: Протокол IPv6 работает со всеми возможностями Amazon S3?

Нет, поддержка протокола IPv6 в настоящее время недоступна для хостинга веб-сайтов и доступа через BitTorrent. Все другие возможности при использовании доступа к Amazon S3 по протоколу IPv6 должны работать в штатном режиме.

Вопрос: во всех ли регионах AWS поддерживается протокол IPv6?

Да, вы можете использовать протокол IPv6 для работы с Amazon S3 во всех коммерческих регионах AWS, включая AWS Китай (Пекин), управляемый Sinnet, и AWS Китай (Нинся), управляемый NWCD. Протокол IPv6 также можно использовать для работы с Amazon S3 в регионе AWS GovCloud (США).

Готовы начать?

Product-Page_Standard-Icons_01_Product-Features_SqInk
Узнайте о возможностях продукта

Узнайте о возможностях управления данными, безопасности, управления доступом, аналитики данных и многом другом.

Подробнее 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Зарегистрировать бесплатный аккаунт

Получите мгновенный доступ к хранилищу AWS Free Tier и начните экспериментировать с Amazon S3. 

Регистрация 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Начать разработку в консоли

Начните разработку с помощью Amazon S3 в консоли AWS.

Начало работы