Вопрос: Что такое Amazon S3?

Amazon S3 – хранилище для Интернета. Это сервис простого хранения данных, предлагающий разработчикам ПО надежную инфраструктуру хранилища данных с высокой масштабируемостью и низкой задержкой при очень незначительных затратах.

Вопрос: Что можно делать с помощью Amazon S3?

Amazon S3 предоставляет простой интерфейс веб-сервисов, который можно использовать для хранения и извлечения любых объемов данных в любое время из любого места сети Интернет. Этот веб-сервис позволяет разработчикам легко создавать приложения, использующие хранилище в Интернете. Благодаря легкой масштабируемости Amazon S3 и оплате только фактически использованных ресурсов разработчики могут начать с небольших масштабов и увеличивать мощность своего приложения по желанию, не жертвуя при этом производительностью или надежностью.

Сервис Amazon S3 спроектирован для максимальной гибкой работы. Вы можете хранить данные любого типа и в любом количестве; считывать те же самые данные миллион раз или только для аварийного восстановления; создавать простое FTP-приложение или сложное веб-приложение, сравнимое с розничным интернет-магазином Amazon.com. Amazon S3 позволяет разработчикам сосредоточить внимание на новаторских решениях, а не на том, как хранить данные.

Вопрос: Как начать работать с Amazon S3?

Для регистрации в сервисе Amazon S3 нажмите кнопку «Sign up for This Web Service» на странице описания Amazon S3. Чтобы получить доступ к этому сервису, у вас должен быть аккаунт Amazon Web Services. Если его еще нет, вам будет предложено создать его в начале процесса регистрации в сервисе Amazon EC3. После регистрации обратитесь к документации по Amazon S3 и образцам кода в Центре ресурсов для начала работы с Amazon S3.

Вoпрос: Каковы технические преимущества Amazon S3?

Amazon S3 был тщательно спроектирован в Amazon для того, чтобы удовлетворить потребностям своих собственных разработчиков по масштабируемости, надежности, скорости работы, низкой стоимости и простоте. Любой сторонний разработчик получает те же самые преимущества при работе с Amazon S3. Подробнее о проектных требованиях к Amazon S3 см. на странице дополнительных сведений об Amazon S3.

Вопрос: Какие возможности из недоступных ранее получают разработчики?

До настоящего момента у небольших разработчиков не было доступа к такой передовой и масштабируемой инфраструктуре хранения данных, какой располагает Amazon. Сервис Amazon S3 позволяет любому разработчику в массовом масштабе использовать преимущества, которыми пользуется сама компания Amazon, без предварительной оплаты или снижения собственной производительности. Теперь разработчики могут свободно вводить новшества, зная, что, независимо от того, насколько успешным будет бизнес, обеспечить быстрый и постоянный доступ к данным и их безопасность будет легко и недорого.

Вопрос: Какие типы данных можно хранить?

Можно хранить практически любые типы данных в любом формате. Дополнительную информацию см. в Amazon Web Services Licensing Agreement.

Вопрос: Какой объем данных можно хранить?

Общий объем хранимых данных и количество объектов неограниченны. Размер отдельных объектов Amazon S3 может составлять от 0 байт до 5 ТБ. Самый крупный объект, который можно загрузить через один запрос PUT – 5 гигабайт. Для объектов крупнее 100 мегабайт клиентам рекомендуется использовать функцию многокомпонентной загрузки.

Вопрос: Какие классы хранилищ предлагает Amazon S3?

Сервис Amazon S3 предлагает хранилища разных классов, предназначенные для различных примеров использования. Предлагаемые три класса хранилищ с высокой степенью надежности включают хранилище Amazon S3 для хранения часто используемых данных общего назначения, стандартное хранилище нечастого доступа для хранения данных, требующих более длительного хранения, но менее частого доступа, а также Amazon Glacier для длительного хранения архивных данных. Подробнее об этих классах хранилищ см. на странице Классы хранилищ Amazon S3.

Хранилище с пониженной избыточностью (RRS) – это вариант хранилища Amazon S3, который позволяет снизить затраты путем перемещения некритичных и легко воспроизводимых данных в среды с пониженным (по сравнению со стандартным хранилищем Amazon S3) уровнем избыточности. Подробнее об этом классе хранилищ см. на странице Хранилище Amazon S3 с пониженной избыточностью.

Вопрос: Как можно удалить большое количество объектов

Для удаления большого количества объектов из Amazon S3 можно использовать многообъектное удаление. Данная функция позволяет посылать несколько объектных ключей в одном запросе для ускорения операций удаления. Amazon не взимает плату за использование функции многообъектного удаления.

Вопрос: Как Amazon распоряжается моими данными в Amazon S3?

Amazon хранит ваши данные и отслеживает их использование для выставления счета. Amazon не имеет доступа к вашим данным ни с какими целями, не связанными с сервисом Amazon S3, за исключением случаев, когда это требуется законом. Дополнительную информацию см. в Amazon Web Services Licensing Agreement.

Вопрос: Хранит ли Amazon свои собственные данные в Amazon S3?

Да. Разработчики в компании Amazon используют Amazon S3 для самых разнообразных проектов. Многие из этих проектов используют Amazon S3 в качестве авторитетного хранилища данных, критически важных для бизнеса.

Вопрос: Как организованы данные в Amazon S3?

Amazon S3 – это простое хранилище объектов на основе ключа. При хранении данных объектам назначается уникальный ключ, который может использоваться впоследствии для доступа к данным. Ключи могут быть любой строкой, и они могут быть созданы таким образом, чтобы имитировать иерархические атрибуты.

Вопрос: Какой у Amazon S3 интерфейс для пользователя?

Amazon S3 предоставляет простые, стандартизированные интерфейсы веб-сервисов REST и SOAP, предназначенные для работы с любым инструментарием интернет-разработки. Система намеренно создана очень простой, с тем, чтобы можно было просто добавлять новые протоколы раздачи и функциональные уровни.

Вопрос: Насколько надежен Amazon S3?

Amazon S3 предоставляет любому разработчику доступ к той же легко масштабируемой, надежной, быстрой и недорогой инфраструктуре хранения данных, которую Amazon использует для управления своей собственной глобальной сетью веб-сайтов. Стандартное хранилище S3 обеспечивает надежность на уровне 99,99 %, а стандартное хранилище нечастого доступа обеспечивает надежность на уровне 99,9 %. Использование обоих хранилищ регулируется Соглашением об уровне обслуживания Amazon S3.

Вопрос: Какую модель непротиворечивости данных использует Amazon S3?

Корзины Amazon S3 во всех регионах обеспечивают непротиворечивость чтения после записи для запросов PUT для новых объектов и потенциальную непротиворечивость для перезаписи запросов PUT и DELETE.

Подробнее

Вопрос: что произойдет при внезапном пике трафика из моего приложения?

Amazon S3 с самого начала был создан для обработки трафика из любого интернет-приложения. Оплата по мере использования и неограниченный объем ресурсов предотвращают дополнительные издержки и прерывание сервиса. Огромный масштаб Amazon S3 позволяет нам равномерно распределять нагрузку, чтобы пики трафика не сказывались на отдельных приложениях.

Вопрос: Что такое протокол BitTorrent™ и как его использовать с Amazon S3?

BitTorrent – это протокол раздачи в Интернете с открытым исходным кодом. Расценки на пропускную способность Amazon S3 не высоки, но BitTorrent обеспечивает разработчикам дополнительную экономию при загрузке широко распространенных данных, позволяя пользователям загружать одновременно из Amazon и у других пользователей. Любые общедоступные данные в Amazon S3 могут быть загружены через протокол BitTorrent, в дополнение к механизму доставки по умолчанию «клиент – сервер». Просто добавьте параметр ?torrent в конце запроса GET в REST API.

Вопрос: Предлагает ли Amazon S3 соглашение об уровне обслуживания (SLA)?

Да. Соглашение об уровне обслуживания Amazon S3 предусматривает компенсацию в том случае, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос: Как увеличить количество выделенных мне корзин Amazon S3?

По умолчанию клиентам может быть выделено до 100 корзин на один аккаунт. Однако вы можете повысить это ограничение на количество корзин Amazon S3, посетив страницу AWS Service Limits.


Вопрос: Где хранятся мои данные?

Регион указывается при создании корзины Amazon S3. В пределах этого региона создаются резервные копии ваших объектов, которые хранятся на разных устройствах в нескольких центрах обработки данных (ЦОД). Дополнительные сведения о доступности Amazon S3 по регионам см. на странице Продукты и сервисы по регионам.

Вопрос: Как решить, в каком регионе хранить данные?

Следует принять во внимание несколько факторов, исходя из потребностей вашего конкретного приложения. Может иметь смысл хранить данные в регионе, который...

  • ...расположен близко к вашим клиентам, центрам обработки данных или другим ресурсам AWS с целью понижения задержки при доступе к данным.
  • ...удален от других ваших узлов и систем в целях географической избыточности и аварийного восстановления.
  • ...позволяет удовлетворить определенным юридическим и нормативным требованиям.
  • ...позволяет понизить затраты на хранилище. В целях экономии средств можно выбрать менее дорогой регион. Подробней о ценах сервиса см. на странице цен Amazon S3.

Вопрос: Я не в США или не в Европе. Могу ли я использовать S3?

Использовать Amazon S3 можно независимо от вашего местоположения. Вам просто нужно решить, в каких регионах AWS вы хотите хранить свои данные Amazon S3.

Вопрос: Разве не было раньше региона США (стандартн.)?

Мы переименовали регион США (стандартн.) в регион Восток США (Северная Вирджиния) для приведения этого наименования в соответствие c общим порядком именования регионов в AWS. При этом конечные точки региона не изменились, так что вносить изменения в существующие приложения не требуется.


Вопрос: Сколько стоит Amazon S3?

Используя сервис Amazon S3, вы платите только за то, что реально используете. Минимальный сбор не взимается. Вы можете оценить сумму своего ежемесячного счета с помощью калькулятора AWS Simple Monthly Calculator.

Чем ниже наши расходы, тем меньшую плату мы взимаем. Некоторые цены в различных регионах Amazon S3 могут различаться, в зависимости от местоположения вашей корзины. Плата за передачу данных внутри региона Amazon S3 через запрос COPY не взимается. Плата за передачу данных через запрос COPY между регионами взимается по расценкам, указанным в разделе цен на странице описания Amazon S3. Плата за передачу данных между Amazon EC2 и Amazon S3 внутри одного региона и за передачу данных между Amazon EC2 в регионе Северная Вирджиния и Amazon S3 в регионе Восток США (Северная Вирджиния) не взимается. Плата за передачу данных между Amazon EC2 и Amazon S3 между всеми другими регионами (например, между Amazon EC2 в регионе Северная Калифорния и Amazon S3 в регионе Восток США (Северная Вирджиния)) взимается по тарифам, указанным в разделе цен на странице сведений об Amazon S3.

Подробнее о ценах сервиса см. на странице цен Amazon S3.

Вопрос: Почему цены различаются в зависимости от выбранного региона Amazon S3?

Чем ниже наши расходы, тем меньшую плату мы взимаем. Например, в регионе Восток США (Северная Вирджиния) наши расходы ниже, чем в регионе Запад США (Северная Калифорния).

Вопрос: Как оплачивается управление версиями?

Каждая помещаемая на хранение или запрашиваемая версия объекта оплачивается по обычным тарифам Amazon S3. Например, рассмотрим следующий сценарий для иллюстрации стоимости хранилища при использовании функции управления версиями (предположим, что в текущем месяце 31 день):

1) 1-й день месяца: вы выполняете операцию PUT в 4 ГБ (4 294 967 296 байт) в своей корзине.
2) 16-й день месяца: вы выполняете операцию PUT в 5 ГБ (5 368 709 120 байт) в той же корзине, используя тот же ключ, что и при первой операции PUT в 1-й день.

Анализируя затраты на хранилище при вышеуказанных операциях, обратите внимание, что объект в 4 ГБ с 1-го дня не удаляется из корзины, когда объект в 5 ГБ записывается на 15-й день. Вместо этого объект в 4 ГБ сохраняется как более старая версия, а объект в 5 ГБ становится последней записанной версией объекта в корзине. В конце месяца:

Всего использованных Байт-Часов
[4 294 967 296 байт x 31 день x (24 часа / день)] + [5 368 709 120 байт x 16 дней x (24 часа / день)] = 5 257 039 970 304 Байт-Часов.


Переводя в ГБ-Месяцы:
5 257 039 970 304 байт-часов x (1 ГБ / 1 073 741 824 байт) x (1 месяц / 744 часа) = 6,581 ГБ-месяцев

Цена вычисляется на основе текущей стоимости для вашего региона, которую можно узнать на странице цен на Amazon S3.

Вопрос: Каков принцип оплаты пользования сервисом Amazon S3?

Для начала работы с сервисом не требуются предоплата или какие-либо обязательства. В конце месяца с вашей кредитной карты будет автоматически снята сумма за пользование сервисом в данном месяце. Расходы за текущий расчетный период можно просмотреть в любое время на веб-сайте Amazon Web Services, войдя в аккаунт Amazon Web Services и нажав на «История аккаунта» под «Ваш аккаунт Amazon Web Services».

Уровень бесплатного пользования AWS позволяет приступить к работе с Amazon S3 бесплатно во всех регионах, кроме региона AWS GovCloud. После регистрации новые клиенты AWS получают 5 ГБ стандартного хранилища Amazon S3, 20 000 запросов GET, 2 000 запросов PUT, 15 ГБ входящего трафика и 15 ГБ исходящего трафика каждый месяц в течение одного года.

Amazon S3 взимает плату за следующие типы использования. Обратите внимание на то, что приведенные расчеты не учитывают возможность применения уровня бесплатного пользования AWS.

Использованный объем хранилища

Цены на хранилище Amazon S3 приводятся в таблице цен на Amazon S3.

Объем подлежащего оплате за месяц хранилища основан на среднем объеме хранилища, использованном на протяжении месяца. Это включает все данные объектов и метаданные, хранимые в корзинах, созданных под вашим аккаунтом AWS. Мы измеряем использование хранилища по формуле «ПериодХранения-БайтЧасы», которая суммируется в конце месяца для подсчета платы за месяц.

Пример использования хранилища:

Предположим, вы храните 100 ГБ (107 374 182 400 байт) стандартных данных хранилища Amazon S3 в своей корзине в течение 15 дней в марте и 100 ТБ (109 951 162 777 600 байт) стандартных данных хранилища S3 в течение последних 16 дней в марте.

К концу марта объем использования в байт-часах будет следующим: всего использовано байт-часов = [107 374 182 400 байт x 15 дней x 24 часа] + [109 951 162 777 600 байт x 16 дней x 24 часа] = 42 259 901 212 262 400 байт-часов.

Переведем в ГБ-месяцы: 42 259 901 212 262 400 байт-часов / 1 073 741 824 байт в ГБ / 744 часа в месяце = 52 900 ГБ-месяцев

Данный объем использования подпадает под три различных уровня пользования. Ежемесячная стоимость ниже вычисляется для региона Восток США (Сев. Вирджиния). Уровень 50 ТБ: 51 200 ГБ x 0,023 USD = 1177,60 USD. Уровень от 50 ТБ до 450 ТБ: 1700 ГБ x 0,022 USD = 37,40 USD

Всего за хранение = 1177,60 USD + 37,40 USD = 1215,00 USD

Передача входящих данных через сеть

Цены на передачу входящих данных в Amazon S3 приводятся в таблице цен на Amazon S3.

Это соответствует объему данных, посылаемых в ваши корзины Amazon S3. Передача данных – 0,000 USD за 1 ГБ для корзин в регионах Восток США (Северная Вирджиния), Запад США (Орегон), Запад США (Северная Калифорния), ЕС (Ирландия), ЕС (Франкфурт), Азия и Тихий океан (Сингапур), Азия и Тихий океан (Токио), Азия и Тихий океан (Сидней), Южная Америка (Сан-Паулу) и AWS GovCloud (США).

Передача исходящих данных через сеть

Цены на передачу исходящих данных из Amazon S3 приводятся в таблице цен на Amazon S3. В Amazon S3 эта плата взимается каждый раз, когда данные считываются с любой из ваших корзин в местоположении за пределами данного региона Amazon S3.

Уровни расценок на передачу исходящих данных учитывают совокупный объем передаваемых вами исходящих данных из данного региона в Интернет через Amazon EC2, Amazon S3, Amazon RDS, Amazon SimpleDB, Amazon SQS, Amazon SNS и Amazon VPC. Данные уровни не применяются при передаче исходящих данных из Amazon S3 в одном регионе AWS в другой регион AWS.

Пример передачи исходящих данных:
Предположим, вы передаете 1 ТБ данных из Amazon S3 в регионе Восток США (Северная Вирджиния) в Интернет каждый день в течение месяца, в котором 31 день. Предположим, вы также передаете 1 TБ данных из инстанса Amazon EC2 из того же региона в Интернет в течение того же 31-дневного месяца.

Совокупный объем передаваемых вами данных будет 62 TБ (31 TБ из Amazon S3 и 31 TБ из Amazon EC2). Это равняется 63 488 ГБ (62 TБ * 1024 ГБ/TБ).

Данный объем использования попадает под три различных уровня пользования. Приведенные ниже расчеты стоимости исходящих данных основаны на предположении, что передача данных происходит в регионе Восток США (Северная Вирджиния).
Уровень 10 TБ: 10 239 ГБ (10 × 1024 ГБ/TБ – 1 (бесплатно)) x 0,09 USD = 921,51 USD
Уровень от 10 TБ до 50 TБ: 40 960 ГБ (40×1024) x 0,085 USD = 3481,60 USD
Уровень от 50 TБ до 150 TБ: 12 288 ГБ (остаток) x 0,070 USD = 860,16 USD

Всего за передачу исходящих данных = 921,51 USD + 3481,60 USD + 860,16 USD= 5263,27 USD

Запрос данных

Цены на запросы в Amazon S3 приводятся в таблице цен на Amazon S3.

Пример запроса:
Предположим, вы передаете 10 000 файлов в Amazon S3 и 20 000 файлов из Amazon S3 каждый день в течение месяца марта. Затем вы удаляете 5 000 файлов 31 марта.
Всего запросов PUT = 10 000 запросов x 31 день = 310 000 запросов
Всего запросов GET = 20 000 запросов x 31 день = 620 000 запросов
Всего запросов DELETE = 5 000 запросов x 1 день = 5 000 запросов

Исходя из предположения, что ваша корзина расположена в регионе Восток США (Северная Вирджиния), цена за запросы рассчитана ниже.
310 000 запросов PUT: 310 000 запросов x 0,005 USD/1 000 = 1,55 USD
620 000 запросов GET: 620 000 запросов x 0,004 USD/10 000 = 0,25 USD
5 000 запросов DELETE = 5 000 запросов x 0,00 USD (бесплатно) = 0,00 USD

Извлечение данных

Цены на извлечение данных Amazon S3 применяются к стандартному хранилищу нечастого доступа и приводятся в таблице цен Amazon S3.

Пример извлечения данных
Предположим, что в одном месяце вы извлекли 300 ГБ данных из стандартного хранилища нечастого доступа, из которых 100 ГБ были переданы в Интернет, 100 ГБ были переданы в EC2 в том же регионе AWS, а 100 ГБ были переданы в CloudFront в том же регионе AWS.

Плата за извлечение данных в этом месяце рассчитывается следующим образом: 300 ГБ x 0,01 USD/ГБ = 3,00 USD. Обратите внимание на то, что вам также необходимо будет оплатить передачу данных по сети для данных, переданных в Интернет.

Сведения о ценах на объекты, архивированные в хранилище Amazon Glacier см. здесь.

* * Использование уровня бесплатного пользования для вас рассчитывается каждый месяц во всех регионах, за исключением региона AWS GovCloud, и автоматически применяется к вашему счету. Неиспользованный месячный доступ не переходит на последующие месяцы. Действуют определенные ограничения. Дополнительные сведения см. в условиях предложения.

Вопрос: Как оплачивается доступ в Amazon S3 через консоль управления AWS?

При доступе в сервис через консоль управления AWS действуют стандартные цены на Amazon S3. Для оптимизации результатов консоль управления AWS может выполнять запросы заранее. Кроме того, некоторые интерактивные операции посылают более одного запроса в сервис.

Вопрос: Как рассчитывается стоимость доступа к Amazon S3 с использованием другого аккаунта AWS?

При доступе к данным с другого аккаунта AWS применяются стандартные цены Amazon S3. Вы можете установить для своей корзины настройку «Requester Pays». В этом случае стоимость запросов к данным Amazon S3 и их загрузки будет оплачивать инициатор.

Дополнительную информацию по настройке корзины «Requester Pays» см. в документации Amazon S3.

Вопрос: Ваши цены указаны с учетом налогов?

Если не указано иное, представленные здесь цены не включают применимые налоги и сборы, в том числе НДС и применимый налог с продаж.Для клиентов с платежным адресом в Японии использование сервисов AWS облагается потребительским налогом Японии. Подробнее.


Вопрос: Насколько защищены мои данные?

Amazon S3 безопасен по умолчанию. Лишь владельцы корзин и объектов изначально имеют доступ к создаваемым ими ресурсам Amazon S3. Amazon S3 поддерживает аутентификацию пользователей для управления доступом к данным. Можно использовать механизмы управления доступом, такие как политики управления корзинами и списки управления доступом (ACL) для выборочного предоставления разрешений пользователям и группам пользователей. Консоль Amazon S3 выделяет общедоступные корзины, указывает на источник общедоступности, а также предупреждает пользователя, если производимые изменения в политиках и списке контроля доступа корзины сделают эту корзину общедоступной.

Существует также возможность в безопасном режиме выгружать и загружать данные в сервис Amazon S3 через конечные точки SSL, используя протокол HTTPS. Если нужна дополнительная безопасность, можно использовать вариант шифрования на стороне сервера (SSE) для шифрования данных в местах хранения. Корзины Amazon S3 можно настроить на автоматическое шифрование объектов перед их сохранением, если входящие запросы на хранение не предоставляют никакой информации о шифровании. Кроме того, можно использовать собственные библиотеки шифрования для шифрования данных перед их передачей на хранение в Amazon S3.

Вопрос: Как я могу управлять доступом к своим данным, хранимым в Amazon S3?

Клиенты могут использовать четыре механизма управлениия доступом к ресурсам Amazon S3: политики Identity and Access Management (IAM), политики, регламентирующие использование корзин, списки управления доступом (ACL) и аутентификацию строки запроса. Механизм IAM позволяет организациям с большим штатом сотрудников создавать данные многочисленных пользователей и управлять этими данными, используя один аккаунт AWS. С помощью политик IAM компании могут предоставлять пользователям механизмов IAM средства тонкого управления корзинами и объектами Amazon S3, в то же время также сохраняя за собой полный контроль над всем, что делают пользователи. С помощью политик управления корзинами, компании могут определить правила, которые широко применяются ко всем запросам на их ресурсы в Amazon S3, таким как предоставление прав на запись на подгруппу ресурсов в Amazon S3. Клиенты также могут ограничить доступ на основании типа запроса, например источник ссылки HTTP или IP – адрес. С помощью ACL клиенты могут предоставлять определенные разрешения (т.е. READ, WRITE, FULL_CONTROL) определенным пользователям на отдельную корзину или объект. С помощью аутентификации строки запроса клиенты могут создавать URL-адрес объекта Amazon S3, действующий только в течение ограниченного времени. Подробнее о различных политиках управления доступом в Amazon S3 см. в теме Access Control руководства Amazon S3 Developer Guide.

Вопрос: Поддерживает ли Amazon S3 аудит доступа к данным?

Да, клиенты могут по желанию настроить корзины Amazon S3 так, чтобы все запросы на них создавали записи в логе доступа. Эти записи в логе доступа могут быть использованы в целях аудита и могут содержать детали о запросе, такие как тип запроса, ресурсы, указанные в запросе, а также время и дата обработки запроса.

Вопрос: Какие методы используются для шифрования данных, хранимых в Amazon S3?

Можно выбрать механизм шифрования данных с помощью SSE-S3, SSE-C, SSE-KMS или клиентской библиотеки, такой как Amazon S3 Encryption Client. Все четыре метода позволяют хранить зашифрованные данные в покое в Amazon S3.

SSE-S3 предоставляет комплексное решение, в котором Amazon берет на себя управление ключами и их защиту с использованием несколько уровней безопасности. Если вы предпочитаете, чтобы Amazon управлял вашими ключами, рекомендуем выбрать SSE-S3.

SSE-C позволяет использовать преимущества Amazon S3 при шифровании и расшифровке объектов, сохраняя при этом контроль над используемыми для шифрования объектов ключами. При использовании SSE-C отпадает необходимость во внедрении или использовании клиентской версии библиотеки для шифрования и расшифровки хранимых в Amazon S3 объектов, но вам нужно будет управлять ключами, посылаемыми в Amazon S3 для шифрования и расшифровки объектов. Используйте SSE-C, если вы предпочитаете поддерживать свои собственные ключи шифрования, но не желаете внедрять или использовать клиентскую версию библиотеки шифрования.

SSE-KMS позволяет использовать AWS Key Management Service (AWS KMS) для управления ключами шифрования. Использование AWS KMS для управления ключами имеет несколько дополнительных преимуществ. AWS KMS применяет отдельные разрешения на использование главного ключа, обеспечивая таким образом дополнительный уровень контроля, а также защиту от несанкционированного доступа к вашим объектам, хранимым в Amazon S3. AWS KMS предоставляет аудит с информацией о том, кто и когда использовал ваш ключ и к какому объекту, а также о безуспешных попытках получить доступ к данным пользователями, не имеющими прав на расшифровку данных. Кроме того, AWS KMS предоставляет клиенту дополнительные элементы управления безопасностью для соответствия таким требованиям отрасли, как PCI-DSS, HIPAA/HITECH и FedRAMP.

Используя клиентскую библиотеку шифрования, такую как Amazon S3 Encryption Client, вы сохраняете контроль над ключами и завершаете шифрование и расшифровку объектов клиентом с помощью выбираемой вами библиотеки шифрования. Некоторые клиенты предпочитают иметь полный контроль над шифрованием и расшифровкой объектов; таким образом, только зашифрованные объекты передаются через Интернет в Amazon S3. Используйте клиентскую библиотеку шифрования, если вы предпочитаете сохранить контроль над своими ключами шифрования, можете внедрить или использовать клиентскую версию библиотеки шифрования и вам необходимо, чтобы объекты были зашифрованы перед доставкой на хранение в Amazon S3.

Дополнительную информацию о работе с Amazon S3 SSE-S3, SSE-C или SSE-KMS см. в теме Using Encryption руководства Amazon S3 Developer Guide.

Вопрос: Как Amazon защищает ключи шифрования SSE?

При использовании SSE каждый защищаемый объект шифруется с помощью уникального ключа. Данный ключ объекта сам зашифрован отдельным главным ключом. Новый главный ключ выдается как минимум ежемесячно. Зашифрованные данные, ключи шифрования и главные ключи хранятся и защищены на разных узлах для обеспечения нескольких уровней защиты.

Вопрос: Можно ли выполнить требования правил конфиденциальности данных ЕС, используя Amazon S3?

Клиенты могут хранить все данные в ЕС, выбрав регион ЕС (Ирландия) или ЕС (Франкфурт). Ответственность за выполнение законов ЕС о конфиденциальности данных лежит на вас.

Вопрос: Где найти дополнительную информацию о безопасности в AWS?

Дополнительные сведения о безопасности см. в документе Amazon Web Services: Overview of Security Processes.

Вопрос: Что такое Amazon VPC Endpoint для Amazon S3?

Конечная точка Amazon VPC для Amazon S3 представляет собой логический объект в облаке VPC, который поддерживает связь только с S3. VPC Endpoint направляет запросы к S3, а отклики – обратно к VPC. Подробнее о конечных точках VPC см. в разделе Использование конечных точек VPC.

Вопрос: Можно ли предоставить доступ к корзине Amazon S3 определенной конечной точке Amazon VPC?

С помощью политик Amazon S3 можно ограничить доступ к корзине из определенной конечной точки Amazon VPC или из набора точек. Теперь в политики корзин S3 добавлена поддержка условия aws:sourceVpce, которое можно использовать для ограничения доступа. Дополнительные сведения и образцы политик см. в разделе Использование конечных точек VPC.


Вопрос: Что такое Amazon Macie?

Amazon Macie – это сервис обеспечения безопасности на базе искусственного интеллекта, который помогает клиентам предотвращать потерю данных путем автоматического обнаружения, классификации и защиты конфиденциальных данных, хранящихся в Amazon S3. Amazon Macie использует машинное обучение для распознавания конфиденциальных данных, таких как персональная информация (PII) или интеллектуальная собственность, определяет их коммерческую ценность и обеспечивает наглядное представление того, где хранятся эти данные, как к ним осуществляется доступ и как они используются в организации клиента. Amazon Macie непрерывно проводит мониторинг действий по доступу к данным для выявления отклонений от нормы и генерирует подробные предупреждения, если обнаруживает риск несанкционированного доступа или неумышленной утечки данных.

Вопрос: Для чего предназначен сервис Amazon Macie?

Amazon Macie предназначен для защиты от угроз безопасности путем непрерывного контроля за данными для доступа и другими важными данными клиента. Amazon Macie предоставляет автоматизированный, практически не требующий обслуживания способ обнаружения и классификации коммерческих данных клиентов. Он предоставляет элементы управления с помощью созданных по шаблонам функций Lambda, позволяющие отменить доступ или вызвать политику сброса пароля при обнаружении подозрительного поведения систем или несанкционированного доступа к данным сущностей или сторонних приложений. После создания предупреждения можно использовать Amazon Macie для реагирования на инцидент, используя Amazon CloudWatch Events для быстрого принятия мер по защите данных.

 

Вопрос: Как Amazon Macie защищает данные?

В процессе классификации данных Amazon Macie идентифицирует объекты клиентов в корзинах S3 и передает содержимое объектов в память для анализа. Если для сложных форматов файлов требуется более глубокий анализ, Amazon Macie загружает полную копию объекта. Копия сохраняется только на время полного анализа объекта. Сразу после того, как Amazon Macie проанализировал содержимое файла для классификации данных, он удаляет сохраняемый контент и сохраняет только метаданные, необходимые для будущего анализа. Клиенты могут в любое время отменить разрешение на доступ Amazon Macie к данным в корзине Amazon S3. Подробнее об этом см. в Руководстве разработчика по Amazon Macie



Вопрос: Насколько надежен Amazon S3?

Стандартное хранилище Amazon S3 и стандартное хранилище нечастого доступа обеспечивают надежность объектов на уровне 99,999999999 % в течение года. Такой уровень надежности соответствует средним годовым ожидаемым потерям объектов на уровне 0,000000001 %. Например, при хранении 10 000 объектов в Amazon S3 можно в среднем ожидать потерю одного объекта раз в 10 000 000 лет. Кроме того, Amazon S3 способен выдержать одновременную потерю данных в двух ЦОД.

Для любой среды рекомендуется иметь резервную копию и применять меры безопасности, защищающие от умышленных или случайных ошибок пользователей. Для данных сервиса S3 рекомендации включают безопасные права доступа, межрегиональную репликацию, управление версиями и регулярно проверяемую резервную копию.

Вопрос: Каким образом Amazon S3 обеспечивает надежность на уровне 99,999999999 %?

Стандартное хранилище Amazon S3 и стандартное хранилище нечастого доступа обеспечивают избыточное хранение ваших объектов на нескольких устройствах в нескольких ЦОД в регионе Amazon S3. Сервис предусматривает способность выдерживать параллельные отказы устройств, быстро обнаруживая и восстанавливая любую потерю избыточности. Обрабатывая запрос на хранение данных, перед подтверждением успешного выполнения операции (SUCCESS) сервис синхронно сохраняет объект в различных ЦОД. Amazon S3 также регулярно проверяет целостность ваших данных, используя контрольные суммы.

Вопрос: Какие контрольные суммы Amazon S3 использует для обнаружения повреждения данных?

Amazon S3 использует сочетание контрольной суммы Content-MD5 и циклических проверок избыточности (CRC) для выявления повреждения данных. Amazon S3 проверяет эти контрольные суммы на данных в покое и восстанавливает любые повреждения, используя резервную копию данных. Кроме того, при сохранении или извлечении данных сервис вычисляет контрольную сумму всего трафика с тем, чтобы определить поврежденные пакеты.

Вопрос: Что такое управление версиями?

Функция управления версиями позволяет сохранять, извлекать и восстанавливать любую версию любого объекта, сохраненного в корзине сервиса Amazon S3. После включения функции управления версиями для корзины Amazon S3 будет сохранять существующие объекты каждый раз, когда вы выполняете операцию PUT, POST, COPY или DELETE на них. По умолчанию на запросы GET извлекается последняя записанная версия. Более старые версии перезаписанного или удаленного объекта можно извлечь, указав в запросе номер версии.

Вопрос: Почему следует использовать управление версиями?

Amazon S3 предоставляет клиентам инфраструктуру хранилища с высокой степенью надежности. Управление версиями предлагает дополнительный уровень защиты, предоставляя механизм восстановления, когда клиенты случайно переписывают или удаляют объекты. Эта функция позволяет легко восстанавливать систему после непреднамеренных действий пользователей и сбоев приложений. Управление версиями можно также использовать для хранения данных и архивирования.

Вопрос: Как начать пользоваться управлением версиями?

Для начала использования управления версиями необходимо включить параметр настройки корзины Amazon S3. Дополнительные сведения о включении функции управления версиями см. в технической документации Amazon S3

Вопрос: Как управление версиями предохраняет меня от случайного удаления объектов?

Когда пользователь выполняет операцию DELETE на объекте, последующие простые (без функции управления версиями) запросы больше не смогут извлекать объект. Однако все версии этого объекта будут по-прежнему сохраняться в корзине Amazon S3 и могут быть извлечены или восстановлены. Только владелец корзины Amazon S3 может окончательно удалить версию. Можно установить правила управления жизненным циклом для управления сроком существования и расходами на хранение нескольких версий ваших объектов.

Вопрос: Можно ли завести мусорное ведро, корзину или настроить период отката для объектов Amazon S3 для восстановления после удаления и перезаписи?

Можно использовать правила управления жизненным циклом в сочетании с функцией управления версиями для применения периода отката к объектам в Amazon S3. Например, с помощью корзины с включенной функцией управления версиями можно установить правило, которое архивирует все предыдущие версии в более экономичном классе хранилища Glacier и удаляет их через 100 дней, предоставляя вам 100-дневный период отката любых изменений ваших данных и в то же время понижая затраты на хранилище.

Вопрос: Как можно обеспечить максимальную защиту сохраненных версий?

Для обеспечения дополнительного уровня безопасности можно использовать подфункцию функции управления версиями MFA Delete, использующую многофакторную аутентификацию. По умолчанию все запросы к вашей корзине Amazon S3 требуют подтверждения ваших прав доступа к аккаунту AWS. Если на корзине Amazon S3 включено управление версиями с функцией MFA Delete, для окончательного удаления версии объекта требуются два этапа аутентификации: права доступа к аккаунту AWS и действительный шестизначный код и серийный номер устройства аутентификации, находящегося в ваших руках. Дополнительную информацию о включении функции управления версиями с MFA Delete, включая приобретение и активацию устройства аутентификации, см. в технической документации Amazon S3.

Вопрос: Как оплачивается управление версиями?

Каждая помещаемая на хранение или запрашиваемая версия объекта оплачивается по обычным тарифам Amazon S3. Например, рассмотрим следующий сценарий для иллюстрации стоимости хранилища при использовании функции управления версиями (предположим, что в текущем месяце 31 день):

1) 1-й день месяца: вы выполняете операцию PUT в 4 ГБ (4 294 967 296 байт) в своей корзине.
2) 16-й день месяца: вы выполняете операцию PUT в 5 ГБ (5 368 709 120 байт) в той же корзине, используя тот же ключ, что и при первой операции PUT в 1-й день.

Анализируя затраты на хранилище при вышеуказанных операциях, обратите внимание, что объект в 4 ГБ с 1-го дня не удаляется из корзины, когда объект в 5 ГБ записывается на 15-й день. Вместо этого объект в 4 ГБ сохраняется как более старая версия, а объект в 5 ГБ становится последней записанной версией объекта в корзине. В конце месяца:

Всего использованных Байт-Часов
[4 294 967 296 байт x 31 день x (24 часа / день)] + [5 368 709 120 байт x 16 дней x (24 часа / день)] = 5 257 039 970 304 Байт-Часов.


Переводя в ГБ-Месяцы:
5 257 039 970 304 байт-часов x (1 ГБ / 1 073 741 824 байт) x (1 месяц / 744 часа) = 6,581 ГБ-месяцев

Цена вычисляется на основе текущей стоимости для вашего региона, которую можно узнать на странице цен на Amazon S3.



Вопрос: Что такое стандартное хранилище S3 нечастого доступа?

Стандартное хранилище Amazon S3 нечастого доступа – это хранилище Amazon S3 для данных, доступ к которым требуется относительно редко, но который при необходимости должен обеспечиваться быстро. Стандартное хранилище нечастого доступа обеспечивает высокую надежность, пропускную способность и низкие задержки стандартного хранилища Amazon S3 с низкими ценами на каждый ГБ хранилища и на каждый ГБ извлеченных данных. Такое сочетание низкой стоимости и высокой производительности делает стандартное хранилище нечастого доступа идеальным выбором для долгосрочного хранения данных, резервного копирования, а также хранения данных на случай аварийного восстановления. Класс стандартного хранилища нечастого доступа определен на уровне объектов и может существовать в той же корзине, что и стандартное хранилище, что позволяет вам использовать политики жизненного цикла для автоматической передачи объектов между разными классами хранилищ без каких-либо изменений в приложении.

Вопрос: В каких случаях следует использовать стандартное хранилище нечастого доступа?

Стандартное хранилище нечастого доступа является идеальным выбором для хранения данных, доступ к которым осуществляется относительно редко, но который при необходимости должен обеспечиваться быстро. Стандартное хранилище нечастого доступа идеально подходит для длительного хранения файлов, доступ к которым осуществляется относительно редко, которые содержат устаревшие данные синхронизации или устаревшие общие данные, данные резервных копий, а также файлов на случай аварийного восстановления.

Вопрос: Какую производительность обеспечивает стандартное хранилище S3 нечастого доступа?

Стандартное хранилище S3 нечастого доступа обеспечивает ту же производительность, что и стандартное хранилище S3.

Вопрос: Насколько надежно стандартное хранилище нечастого доступа?

Стандартное хранилище нечастого доступа обеспечивает надежность на уровне 99,999999999 %, как и стандартное хранилище, а также Amazon Glacier. Стандартное хранилище нечастого доступа обеспечивает доступность на уровне 99,9 %, а Соглашение об уровне обслуживания предусматривает компенсацию в том случае, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос: Насколько доступно стандартное хранилище нечастого доступа?

Стандартное хранилище нечастого доступа предлагает доступность на уровне 99,9 %, что на девять сотых процента меньше доступности стандартного хранилища S3. Работа стандартного хранилища нечастого доступа регламентируется Соглашением об уровне обслуживания и предусматривает компенсацию в том случае, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос: Как отправить данные в стандартное хранилище нечастого доступа?

Отправить данные в стандартное хранилище нечастого доступа из S3 можно двумя способами. Можно непосредственно выполнить запрос PUT для записи в стандартное хранилище нечастого доступа, указав в заголовке запроса x-amz-storage-class значение STANDARD_IA. Можно также настроить политики жизненного цикла для переноса объектов из стандартного хранилища в стандартное хранилище нечастого доступа.

Вопрос: Попадают ли объекты в стандартном хранилище нечастого доступа под действие Соглашения об уровне обслуживания Amazon S3?

Да, стандартное хранилище нечастого доступа регулируется Соглашением об уровне обслуживания, при этом клиенты могут рассчитывать на компенсацию в том случае, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос: Как изменятся задержка и пропускная способность в результате использования стандартного хранилища нечастого доступа?

При использовании стандартного хранилища нечастого доступа следует ожидать ту же задержку и пропускную способность, что и при использовании стандартного хранилища Amazon S3.

Вопрос: Как оплачивается стандартное хранилище нечастого доступа?

Общую информацию о ценах на стандартное хранилище нечастого доступа см. на странице цен Amazon S3.

Вопрос: Какая плата взимается за изменение класса хранилища объекта со стандартного нечастого доступа на стандартное с помощью запроса на копирование?

В этом случае взимается плата за выполнение запроса на копирование из стандартного хранилища нечастого доступа и извлечение данных из стандартного хранилища нечастого доступа.

Вопрос: Определен ли минимальный срок хранения данных в стандартном хранилище нечастого доступа?

Стандартное хранилище нечастого доступа предназначено для продолжительного хранения и нечастого доступа к данным, хранящимся месяцы и годы. Если данные удаляются из стандартного хранилища не частого доступа в течение 30 дней, плата начисляется за полные 30 дней. Информацию о ценах на стандартное хранилище нечастого доступа см. на странице цен Amazon S3.

Вопрос: Определен ли минимальный размер объекта для стандартного хранилища нечастого доступа?

Стандартное хранилище нечастого доступа предназначено для крупных объектов, при этом минимальный размер объекта составляет 128 КБ. За объекты размером менее 128 КБ будет взиматься плата как за объекты 128 КБ. Например, за объект размером 6 КБ в стандартном хранилище S3 нечастого доступа будет взиматься плата за хранение 6 КБ и дополнительных 122 КБ. Информацию о ценах на стандартное хранилище нечастого доступа см. на странице цен Amazon S3.

Вопрос: Можно ли связать объекты из стандартного хранилища нечастого доступа с хранилищем Amazon Glacier?

Да. Кроме использования политик управления жизненным циклом данных для переноса данных из стандартного хранилища в стандартное хранилище нечастого доступа вы также можете использовать политики управления жизненным циклом данных, чтобы связать объекты из стандартного хранилища нечастого доступа с Amazon Glacier.


Вопрос 1: Каковы функциональные возможности запросов к данным без извлечения?

Amazon S3 предоставляет клиентам возможность запуска сложных запросов к хранящимся данным без необходимости их извлечения, преобразования и загрузки (ETL) в отдельную аналитическую платформу. Возможность выполнения запроса к данным без извлечения в Amazon S3 может существенно повысить производительность и снизить стоимость аналитических решений, использующих S3 в качестве озера данных. S3 предлагает разнообразные варианты выполнения запросов к данным без извлечения, в том числе посредством S3 Select, Amazon Athena и Amazon Redshift Spectrum. Можно выбрать вариант, который лучше всего подходит для конкретного примера использования. Amazon S3 Select можно использовать вместе с AWS Lambda для создания бессерверных приложений, использующих возможности обработки на месте на базе S3 Select. 

Вопрос 2: Что такое S3 Select?

S3 Select – это одна из возможностей Amazon S3 (в настоящее время предоставляется в ознакомительном режиме). Она позволяет извлекать конкретные данные из содержимого объекта с помощью простых SQL-выражений, не извлекая при этом весь объект. S3 Select можно использовать для извлечения подмножества данных из текстовых файлов с разделителями и объектов JSON в Amazon S3 с помощью SQL-операторов (например, SELECT и WHERE).

Вопрос 3: Как можно использовать S3 Select?

S3 Select можно использовать для извлечения из объекта меньшего по размеру и целевым образом заданного набора данных с помощью простых SQL-операторов. При совместном использовании S3 Select и AWS Lambda можно создавать бессерверные приложения, в которых данные из Amazon S3 будут просто и эффективно извлекаться с помощью S3 Select, а не путем извлечения и обработки целого объекта. Кроме того, S3 Select можно использовать вместе с инфраструктурами обработки больших данных – Presto, Apache Hive, Apache Spark – для сканирования и фильтрации данных в Amazon S3.

Вопрос 4: Какие преимущества дает S3 Select?

S3 Select предоставляет новый метод извлечения конкретных данных из содержимого объекта, хранящегося в Amazon S3, без извлечения целого объекта с использованием SQL-операторов. S3 Select упрощает работу и способен до 400 % увеличить производительность сканирования за счет фильтрации содержимого объектов в меньший по размеру и целевым образом заданный набор данных. С помощью S3 Select можно также выполнять рабочий анализ файлов журналов в Amazon S3 без запуска вычислительного кластера или управления им.

Вопрос 5: Как начать работу с S3 Select?

Amazon S3 Select в настоящее время работает в ознакомительном режиме с ограниченным доступом. Чтобы подать заявку на доступ к этой версии, заполните форму Amazon S3 Select Preview Application Form. Во время работы в ознакомительном режиме Amazon S3 Select можно использовать через имеющуюся связующую библиотеку Presto, AWS Lambda или любое другое приложение, использующее S3 Select SDK для Java или Python.

Вопрос 6: Что такое Amazon Athena?

Amazon Athena – интерактивный сервис запросов, позволяющий анализировать данные в Amazon S3 стандартными средствами SQL. Athena – бессерверный сервис, здесь нет инфраструктуры, требующей настройки или управления, поэтому можно сразу же приступить к анализу данных. Поскольку сервис работает непосредственно с данными, хранящимися в S3, не придется даже загружать данные в Athena. Чтобы начать, просто войдите в Консоль управления Athena, задайте свою схему и приступайте к выполнению запросов. Сервис Amazon Athena использует Presto с полной поддержкой стандартных запросов SQL и работает с различными стандартными форматами данных, включая CSV, JSON, ORC и Apache Parquet и Avro. Amazon Athena идеально подходит для быстрой и спонтанной отправки запросов, легко интегрируется с Amazon QuickSight, обеспечивая удобную визуализацию, а также может выполнять сложные задачи анализа с использованием масштабных операций объединения, оконных функций и массивов.

Вопрос 7: Что такое Amazon Redshift Spectrum?

Amazon Redshift Spectrum – это функция Amazon Redshift, которая позволяет выполнять запросы к эксабайтам неструктурированных данных в Amazon S3 без загрузки или ETL. При отправке запроса он поступает на SQL-сервер Amazon Redshift, который генерирует и оптимизирует план выполнения запроса. Amazon Redshift определяет, какие данные являются локальными, а какие находятся в Amazon S3, генерирует план минимизации объема данных Amazon S3, которые необходимо прочитать, и запрашивает исполнителей Amazon Redshift Spectrum из общего пула ресурсов, чтобы прочитать и обработать данные из Amazon S3.

Redshift Spectrum при необходимости масштабируется до тысяч инстансов, поэтому запросы выполняются быстро при любых объемах данных. Кроме того, теперь можно использовать для данных Amazon S3 тот же синтаксис SQL, что и для запросов Amazon Redshift, и подключаться к той же конечной точке Amazon Redshift, используя привычные инструменты бизнес-аналитики. Redshift Spectrum позволяет разделить вычислительные ресурсы и хранилища и масштабировать их независимо друг от друга. Можно настроить необходимое количество кластеров Amazon Redshift, чтобы выполнять запросы к озеру данных Amazon S3, обеспечивая высокую доступность и неограниченную параллельную обработку. С Redshift Spectrum можно хранить данные где угодно и в каком угодно формате – они всегда будут под рукой для обработки.



Вопрос: Предоставляет ли Amazon S3 возможность архивирования объектов в более дешевых вариантах хранилища?

Да, Amazon S3 позволяет использовать крайне экономичный сервис Amazon Glacier в качестве хранилища архивных данных.Amazon Glacier позволяет хранить данные по цене всего 0,004 USD за гигабайт в месяц. Чтобы сохранить расходы на низком уровне и удовлетворить различные потребности в извлечении данных, Amazon Glacier предлагает три варианта доступа к архивам, от нескольких минут до нескольких часов. В качестве примеров использования для архивирования можно указать цифровые мультимедиа-архивы, финансовые и медицинские записи, необработанные данные геномных последовательностей, резервные копии баз данных для длительного хранения, а также данные, которые должны сохраняться согласно нормативным требованиям.

Вопрос: Как можно сохранять данные в Amazon Glacier?

С помощью правил управления жизненным циклом объектов можно автоматически архивировать объекты сервиса Amazon S3 в хранилищах Amazon Glacier. Для определения правил архивирования используйте консоль управления Amazon S3, AWS SDK или Amazon S3 API. Правила определяют префикс и период времени. Поле префикса (например, “logs/”) определяет объект(ы), к которым правило применяется. Промежуток времени указывает или количество дней с даты создания объекта, или указанную дату, после которой желаема архивация объекта(ов). Любые объекты в стандартном хранилище Amazon S3 или в хранилище Amazon S3 нечастого доступа, у которых имена начинаются с указанного префикса, и срок хранения которых превысил указанный период времени, архивируются в Amazon Glacier. Для извлечения данных сервиса Amazon S3, хранимых в Amazon Glacier, необходимо инициировать задание на извлечение с помощью API Amazon S3 или Консоли управления. После завершения этого задания доступ к данным можно получить с помощью запроса объектов GET сервиса Amazon S3.

Подробнее о работе с правилами управления жизненным циклом при архивировании см. в разделе Архивация объектов Руководства по Amazon S3 для разработчиков

Вопрос: Можно ли использовать интерфейсы API Amazon S3 или Консоль управления для вывода списка объектов, заархивированных в Amazon Glacier?

Да, как и в других хранилищах сервиса Amazon S3 (стандартном хранилище и хранилище нечастого доступа) объекты Amazon Glacier, сохраняемые с помощью API Amazon S3 или с помощью Консоли управления, имеют определенные имена, заданные пользователем. С помощью интерфейса API Amazon S3 LIST клиент может получить текущий список всех имен объектов Amazon S3, в том числе объектов, хранящихся в Amazon Glacier.

Вопрос: Можно ли использовать интерфейсы API Amazon Glacier для доступа к объектам, заархивированным в Amazon Glacier?

Поскольку сервис Amazon S3 поддерживает привязку определенного пользователем имени объекта к присвоенному системой Amazon Glacier идентификатору, доступ к объектам Amazon S3, хранящимся в Amazon Glacier, осуществляется с помощью интерфейсов API Amazon S3 или консоли управления Amazon S3.

Вопрос: Как можно извлечь объекты, заархивированные в Amazon Glacier?

Для извлечения данных сервиса Amazon S3, хранимых в Amazon Glacier, необходимо инициировать запрос на извлечение с помощью API Amazon S3 или консоли управления Amazon S3. Запрос на извлечение создает временную копию данных в RRS, оставляя данные, заархивированные в Amazon Glacier, нетронутыми. Временная копия будет храниться в RRS на протяжении указанного пользователем срока (в днях). Затем доступ к временной копии из RRS можно получить через запрос GET сервиса Amazon S3 на заархивированный объект.

Вопрос: Как долго извлекаются объекты, заархивированные в Amazon Glacier?

Обрабатывая задание на извлечение данных, Amazon S3 сначала извлекает запрошенные данные из Amazon Glacier, а затем создает временную копию запрашиваемых данных в RRS (что обычно занимает несколько минут). Время доступа к запрашиваемым данным зависит от выбранного пользователем варианта извлечения: ускоренное, стандартное или пакетное. При использовании ускоренного извлечения доступ к данным предоставляется обычно в течение 1–5 минут для любых объектов, кроме самых больших (более 250 МБ). Извлечение объектов по стандартному варианту обычно занимает 3–5 часов. В варианте пакетного извлечения процедура занимает 5–12 часов. Дополнительная информация о вариантах извлечения приводится в вопросах и ответах по Glacier .

Вопрос: Какая плата взимается за архивирование объектов в Amazon Glacier?

Цены на хранилище Amazon Glacier начинаются с 0,004 USD за гигабайт в месяц. Цена запросов Amazon Glacier на изменение времени жизненного цикла составляет 0,05 USD за 1000 запросов. Объекты, заархивированные в Glacier, хранятся не менее 90 дней. При этом плата за объекты, которые удаляются до истечения 90 дней, будет взиматься согласно тарифам на хранение, пропорционально оставшимся дням.

Вопрос: Как рассчитывается цена хранилища для объектов Amazon S3, архивируемых в Amazon Glacier?

Объем подлежащего оплате за месяц хранилища основан на среднем объеме хранилища, использованном на протяжении месяца и измеряемом в гигабайт – месяцах (ГБ-Месяцах). Amazon S3 рассчитывает размер объектов как объем хранимых данных плюс дополнительные 32 килобайт данных в Glacier плюс дополнительные 8 КБ данных стандартного хранилища S3. Amazon Glacier дополнительно занимает 32 КБ данных на каждый объект для своего индекса и метаданных, необходимых для опознания и извлечения данных. Amazon S3 требует 8 КБ для хранения и поддержания определяемого пользователем имени и метаданных объектов, архивируемых в Amazon Glacier. С помощью интерфейса API Amazon S3 LIST клиент может получить текущий список всех имен своих объектов Amazon S3 в реальном времени, в том числе объектов, хранящихся в Amazon Glacier. Например, если вы заархивировали 100 000 объектов в 1 ГБ каждый, оплачиваемое хранилище было бы:

1,000 032 гигабайт на каждый объект x 100 000 объектов = 100 003,2 гигабайт хранилища Amazon Glacier.
0,000 008 гигабайт на каждый объект x 100 000 объектов = 0,8 гигабайт хранилища Amazon S3 Standard.

Цена вычисляется на основе текущей стоимости для вашего региона, которую можно узнать на странице цен на Amazon S3.

Вопрос: Какой объем данных можно извлечь бесплатно?

Amazon Glacier позволяет бесплатно извлекать 10 ГБ данных в месяц. На уровне бесплатного пользования данные можно извлекать в любое время в течение месяца, при этом будет использоваться стандартный способ извлечения.

Вопрос: Как оплачивается удаление объектов из Amazon Glacier, которым менее 3 месяцев?

Amazon Glacier разработан для применения в тех случаях, когда данные сохраняются в течение нескольких месяцев, лет или десятилетий. Удаление данных, заархивированных в Amazon Glacier, бесплатное, если удаляемые объекты были архивированы в Amazon Glacier три месяца или дольше. Если архивируемый в Amazon Glacier объект удален или переписан в течение трех месяцев после архивирования, тогда будет взиматься плата за досрочное удаление. Эта плата пропорциональна. При удалении 1 ГБ данных через 1 месяц после их загрузки взимается плата за досрочное удаление за 2 месяца хранилища Amazon Glacier. При удалении 1 ГБ данных через 2 месяца после их загрузки взимается плата за досрочное удаление за 1 месяц хранилища Amazon Glacier.

Вопрос: Какова стоимость извлечения данных из Glacier?

Существует три способа извлечения данных из Amazon Glacier, для каждого из которых установлена своя стоимость за гигабайт извлекаемых данных и за запрос каждого архива (т. е. запрос одного архива учитывается как один запрос). Стоимость ускоренного извлечения составляет от 0,03 USD за гигабайт и от 0,01 USD за запрос. Стоимость стандартного извлечения составляет от 0,01 USD за гигабайт и от 0,05 USD за 1000 запросов. Стоимость пакетного извлечения составляет от 0,0025 USD за гигабайт и от 0,025 USD за 1000 запросов.

 

Например, если при использовании ускоренного извлечения в регионе Восток США (Сев. Вирджиния) вы запросили 10 архивов размером 1 ГБ каждый, стоимость составит: 10 х 0,03 USD + 10 х 0,01 USD = 0,40 USD.

Если вы использовали стандартное извлечение в регионе Восток США (Сев. Вирджиния) для извлечения 500 архивов размером 1 ГБ каждый, стоимость составит: 500 ГБ х 0,01 USD + 500 ГБ х 0,05 USD/1000 = 5,25 USD.

Наконец, если вы использовали пакетное извлечение в регионе Восток США (Сев. Вирджиния) для извлечения 500 архивов размером 1 ГБ каждый, стоимость составит: 500 ГБ х 0,0025 USD + 500 ГБ х 0,025 USD/1000 = 1,2625 USD.

После извлечения заархивированный объект хранится как в RRS, так и в Glacier.  

Дополнительную информацию о стоимости использования Glacier см. на странице Цены на Glacier.


Вопрос 1: Что такое оповещения о событиях Amazon S3?

Amazon S3 может посылать оповещения о выполнении в Amazon S3 таких операций, как PUT, POST, COPY или DELETE. Оповещения могут быть посланы через Amazon SNS, Amazon SQS или напрямую в AWS Lambda.

Вопрос: Что можно делать с помощью оповещений о событиях Amazon S3?

Оповещения о событиях в сервисе Amazon S3 позволяют запускать рабочие процессы, отправлять предупреждения или выполнять другие действия, когда хранимые в корзине S3 объекты подвергаются изменениям.Вы можете использовать службу оповещений о событиях Amazon S3 для настройки триггеров, запускающих выполнение определенных действий, таких как перекодировка мультимедийных файлов по завершению загрузки, обработка файлов данных по мере их поступления и синхронизация объектов Amazon S3 с другими хранилищами данных. Также вы можете настроить оповещения о событиях на основе префиксов и суффиксов имени объекта. Например, можно получать оповещения об объектах, имя которых начинается с «images/».

Вопрос 3: Что включено в оповещения о событиях Amazon S3?

Подробное описание информации, включенной в оповещения о событиях Amazon S3 см. в теме Настройка оповещений о событиях Amazon S3 руководства Amazon S3 Developer Guide.

Вопрос 4: Как настроить оповещения о событиях Amazon S3?

Подробную информацию о настройке оповещений о событиях см. в теме Настройка оповещений о событиях Amazon S3 руководства Amazon S3 Developer Guide. Дополнительные сведения о сервисах обмена сообщениями AWS см. в документации Amazon SNS и документации Amazon SQS.

Вопрос 5: Сколько стоит использование оповещений о событиях Amazon S3?

Amazon S3 не взимает дополнительную плату за оповещения о событиях. Оплачивается только использование Amazon SNS или Amazon SQS для доставки оповещений о событиях или стоимость запуска функции AWS Lambda. Сведения о ценах на Amazon SNS, Amazon SQS или AWS Lambda см. на страницах цен на данные сервисы.



Вопрос: Можно ли разместить статический веб-сайт в Amazon S3?

Да, весь статический сайт можно разместить на Amazon S3 – это недорогое и высокодоступное решение, автоматически масштабируемое в зависимости от потребностей трафика. Amazon S3 предоставляет пользователю доступ к той же легко масштабируемой, надежной, быстрой и недорогой инфраструктуре, которую Amazon использует для управления своей собственной глобальной сетью веб-сайтов. Доступность сервиса соответствует классу хранилища, и соглашение об уровне обслуживания предусматривает компенсацию в том случае, если уровень доступности сервиса для клиента за любой учетный период был ниже согласованного. Дополнительную информацию о хостинге веб-сайта в Amazon S3 см. наше последовательное описание процесса создания размещенного в Amazon S3 веб-сайта.

Вопрос: Какие типы веб-сайтов следует размещать в Amazon S3?

Решение Amazon S3 для хостинга веб-сайтов идеально подходит для веб-сайтов, содержащих только статический контент, включая html-файлы, изображения, видеоматериалы и клиентские скрипты, такие как JavaScript. Для веб-сайтов с серверными скриптами и интерактивными базами данных рекомендуется использовать Amazon EC2.

Вопрос: Можно ли использовать свое собственное имя узла с размещенным в Amazon S3 веб-сайтом?

Да, можно легко и надежно хранить контент в корзине Amazon S3 и привязать доменное имя (например, «example.com») к этой корзине. Посетители вашего веб-сайта затем смогут получить доступ к этому контенту, введя URL-адрес веб-сайта (например, «http://example.com») в своем браузере.

Вопрос: Поддерживает ли Amazon S3 перенаправление веб-сайтов?

Да, Amazon S3 предоставляет несколько способов включить перенаправление веб-контента для ваших статических веб-сайтов. Перенаправление позволяет изменить унифицированный указатель ресурса (URL) веб-страницы на размещенном в Amazon S3 веб-сайте (например, с www.example.com/oldpage на www.example.com/newpage), не нарушая ссылки или закладки, указывающие на старый URL-адрес. Можно настроить правила на корзину, включающие автоматическое перенаправление. Можно также настроить перенаправление на отдельный объект S3.

Вопрос: Взимается ли дополнительная плата за размещение статических веб-сайтов в Amazon S3?

Дополнительная плата за размещение статических веб-сайтов в Amazon S3 не взимается. Аналогичные ценовые параметры хранилища, запросов и передачи данных применяются к объектам вашего веб-сайта.

Подробную информацию см. на странице цен Amazon S3.


Вопрос: Что такое теги объектов S3?

Теги объектов S3 – это пары «ключ-значение», применяемые к объектам S3, которые можно создавать, изменять или удалять в любое время в течение всего жизненного цикла объекта. Они позволяют создавать политики Identity and Access Management (IAM), настраивать политики жизненных циклов S3 и настраивать метрики хранилища. Эти теги на уровне объектов могут затем использоваться для управления перемещением данных между хранилищами разных классов и управления объектами, срок действия которых истекает, в фоновом режиме.

Вопрос: Как присвоить теги моим объектам?

Добавлять теги можно для новых объектов при их загрузке или для существующих объектов. Для каждого объекта S3 можно добавить до десяти тегов, при этом для добавления тегов объектов можно использовать Консоль управления AWS, API REST, интерфейс командной строки AWS или AWS SDK.

Вопрос: Почему следует использовать теги объектов?

Теги объектов – это новый инструмент, который можно использовать для облегчения управления хранилищем S3. Благодаря наличию возможности создавать, обновлять и удалять теги в любое время в течение всего жизненного цикла объекта можно адаптировать хранилище к любым потребностям бизнеса. С помощью этих тегов можно контролировать доступ к объектам, которым присвоены специальные пары «ключ-значение», что позволяет обеспечить дополнительную защиту конфиденциальных данных, предоставив к ним доступ только выбранной группе или пользователю. Теги объектов также можно использовать для обозначения объектов, которые относятся к определенному проекту или подразделению, чтобы применять их в сочетании с политиками жизненного цикла для переноса данных в стандартное хранилище S3 нечастого доступа и в хранилище Glacier.

Вопрос: Как обновлять теги у моих объектов?

Теги объектов можно изменить в любое время в течение всего жизненного цикла объекта S3. Для изменения тегов объектов можно использовать Консоль управления AWS, API REST, интерфейс командной строки AWS или AWS SDK. Учтите, что все изменения тегов, которые выполняются без использования Консоли управления AWS, выполняются над полным набором тегов. Если у определенного объекта есть пять тегов и необходимо добавить шестой, в запрос следует включить исходные пять тегов.

Вопрос: Будет ли выполняться репликация тегов объектов при использовании межрегиональной репликации?

Репликация тегов объектов между регионами может выполняться при использовании межрегиональной репликации. Дополнительные сведения о настройке межрегиональной репликации см. в разделе Настройка межрегиональной репликации Руководства по Amazon S3 для разработчиков.

Клиентам с включенной межрегиональной репликацией для репликации тегов требуются новые разрешения. Дополнительные сведения о требуемых политиках см. в разделе Настройка межрегиональной репликации Руководства по Amazon S3 для разработчиков.

Вопрос: Какова стоимость тегов объектов?

Стоимость тегов объектов составляет 0,01 USD за 10 000 тегов в месяц. Плата за запросы, связанные с добавлением и обновлением тегов объектов, взимается по существующим тарифам на запросы. Дополнительные сведения см. на странице цен на Amazon S3.

Вопрос: Что представляет собой Storage Class Analysis в S3 Analytics?

С помощью Storage Class Analysis можно анализировать частоту доступа к хранилищу и переносить данные в хранилище наиболее подходящего класса. Эта новая возможность S3 Analytics автоматически выявляет данные, к которым редко обращаются, помогая перенести эти данные в стандартное хранилище нечастого доступа. Политика Storage Class Analysis может следить за всей корзиной, за объектами с определенным префиксом или с определенным тегом. После выявления данных, к которым редко обращаются, можно легко создать новую политику управления продолжительностью жизненного цикла на основании полученных результатов. Storage Class Analysis также обеспечивает ежедневное визуальное представление данных об использовании хранилища в Консоли управления AWS, которое можно экспортировать в корзину S3 для последующего анализа с помощью удобных инструментов бизнес-аналитики, например Amazon QuickSight.

Вопрос: Как начать работу с возможностью Storage Class Analysis в S3 Analytics?

Чтобы выявить хранилища с редко запрашиваемыми данными, которые можно перенести в стандартное хранилище нечастого доступа или заархивировать в Glacier, можно использовать Консоль управления AWS или API PUT Bucket Analytics сервиса S3 для настройки политик Storage Class Analysis. Можно перейти на вкладку «Управление» в консоли S3 для управления метриками S3 Analytics, S3 Inventory и S3 CloudWatch.

Вопрос: Как начисляется плата за использование Storage Class Analysis в S3 Analytics?

Общую информацию о ценах на Storage Class Analysis в S3 Analytics см. на странице цен на Amazon S3.

Вопрос: Как часто обновляются данные Storage Class Analysis?

Данные Storage Class Analysis в консоли управления S3 обновляются ежедневно. Кроме того, можно настроить сервис S3 Analytics для экспорта результатов ежедневного анализа класса хранилища в указанную корзину S3.

Вопрос: Что такое S3 Inventory?

S3 Inventory предоставляет альтернативу синхронному API Amazon S3 LIST, позволяющую выполнять задачи по расписанию. Можно настроить S3 Inventory для предоставления выходных данных объектов и соответствующих им метаданных корзины S3 или префикса в формате CSV или ORC на ежедневной или еженедельной основе. С помощью S3 Inventory можно упростить и ускорить рабочие бизнес-процессы и задачи обработки больших данных. S3 Inventory можно использовать для проверки соответствия состояния шифрования и репликации объектов требованиям бизнеса и нормативным требованиям. 

Вопрос: Как начать работу с S3 Inventory?

Можно использовать Консоль управления AWS или вызов API PUT Bucket Inventory для настройки ежедневной или еженедельной инвентаризации всех объектов в корзине S3 или набора объектов с общим префиксом. В качестве одной из настроек можно указать корзину S3 для файлов с данными учета, формат выходных файлов (CSV или ORC), а также определенные метаданные объектов, актуальные для вашего бизнес-приложения, такие как имя объекта, размер, дата последнего изменения, класс хранилища, идентификатор версии, маркер удаления, метка устаревшей версии, метка многокомпонентной загрузки, состояние репликации или шифрования.

Вопрос: Можно ли зашифровывать файлы, записываемые S3 Inventory?

Да, можно настроить шифрование всех файлов, записываемых S3 Inventory, с помощью SSE-S3 или SSE-KMS. Подробнее см. в руководстве пользователя.

Вопрос: Как можно использовать S3 Inventory?

S3 Inventory можно использовать для прямого ввода данных в рабочие процессы приложений или в задания по обработке больших данных. Можно также делать запросы к S3 Inventory с использованием стандартного языка SQL с помощью Amazon Athena, Amazon Redshift Spectrum, а также других инструментов, например Presto, Hive и Spark. Подробнее о запросах к S3 Inventory с помощью Athena.

Вопрос: Как начисляется плата за использование S3 Inventory?

Цены на S3 Inventory см. на странице цен на Amazon S3. После настройки шифрования с помощью SSE-KMS с вас будет взиматься плата за шифрование по тарифам сервиса AWS KMS, подробнее см. на странице цен на AWS KMS.

Вопрос: Как начать работу с метриками S3 CloudWatch?

Можно использовать Консоль управления AWS для включения ежеминутных метрик CloudWatch для корзины S3 или настройки фильтров для метрик на основании префикса или тега объекта. Кроме того, можно вызвать API PUT Bucket Metrics сервиса S3, чтобы включить и настроить публикацию метрик хранилища S3. Метрики хранилища доступны в CloudWatch через 15 минут после включения.

Вопрос: Можно ли метрики хранилища привести в соответствие с требованиями приложения или организационной структурой бизнеса?

Да. Можно настроить метрики S3 в CloudWatch для создания метрик для определенной корзины S3, или настроить фильтры для метрик, используя префикс или тег объекта. Например, можно наблюдать за приложением Spark, которое обращается к данным с префиксом «/Bucket01/BigData/SparkCluster», используя этот префикс в качестве первого фильтра метрик, и определить в качестве второго фильтра метрик тег «Dept, 1234». Один объект можно использовать в нескольких фильтрах, например, объект из префикса «/Bucket01/BigData/SparkCluster» и с тегом «Dept, 1234» будет присутствовать в фильтре метрик 1 и 2. Таким образом, фильтры метрик можно привести в соответствие с бизнес-приложениями, структурами групп или бюджетом организации, что позволяет осуществлять независимый мониторинг и оповещение для нескольких рабочих нагрузок в пределах одной корзины S3.

Вопрос: Какие предупреждения можно установить для моих метрик хранилища?

Можно использовать CloudWatch для задания пороговых значений для всех результатов подсчета, таймеров или измерений метрик хранилища и выполнения определенного действия при превышении порогового значения. Например, можно установить пороговое значение, выраженное в процентах, для ответов, содержащих информацию об ошибке с кодом 4xx, и когда значения хотя бы трех точек данных превысят пороговое значение, CloudWatch выдаст предупреждение, чтобы уведомить об этом специалиста DevOps.

Вопрос: Как начисляется плата за использование метрик S3 в CloudWatch?

Плата за метрики S3 в CloudWatch начисляется аналогично плате за пользовательские метрики Amazon CloudWatch. Общую информацию о ценах на метрики S3 в CloudWatch см. на странице цен на Amazon CloudWatch.

Вопрос: Что такое управление жизненным циклом?

Функция управления жизненным циклом сервиса S3 предоставляет возможность определить жизненный цикл вашего объекта посредством предопределенной политики и уменьшить стоимость его хранения. Можно настроить политику управления жизненным циклом на автоматический перенос объектов Amazon S3 в стандартное хранилище нечастого доступа или в Amazon Glacier на основе периода хранения данных. Можно также настроить политики окончания жизненного цикла для автоматического удаления объектов на основе срока их хранения. Можно настроить политику окончания срока многокомпонентной загрузки, прекращающую незавершенные многокомпонентные загрузки на основании их продолжительности.

Вопрос: Как можно создать политику управления жизненным циклом?

Создавать политики жизненного цикла и управлять ими можно с помощью Консоли управления AWS, API REST сервиса S3, AWS SDK или интерфейса командной строки AWS. Вы можете определить политику на уровне префикса или корзины.

Вопрос: Какова стоимость использования функции управления жизненным циклом?

За настройку и использование политик управления жизненным циклом плата не взимается. Плата за выполнение запроса на перенос начисляется по количеству объектов, как только они начинают соответствовать критериям переноса, указанным в правилах жизненного цикла. Подробную информацию о ценах см. на странице цен Amazon S3.

Вопрос: Как можно использовать политики управления жизненным циклом?

По мере устаревания данных они становятся менее важными, менее ценными и/или от них уже не требуется соответствие требованиям. Amazon S3 имеет в своем составе обширную библиотеку политик, которая поможет вам автоматизировать процессы переноса данных. Например, можно определить, что по истечении некоторого периода времени нечасто используемые объекты будут перемещаться на уровень хранения меньшей стоимости (например, в стандартное хранилище нечастого доступа). По истечении еще какого-то периода времени данные могут быть перемещены в хранилище Amazon Glacier для архивации в соответствии с требованиями, и, в конце концов, удалены. Эти правила незаметно для пользователя уменьшают стоимость хранения данных, упрощают управление данными и могут использоваться во всех сервисах хранения данных Amazon. Эти политики также включают оптимальные рекомендации по удалению ненужных объектов и атрибутов для снижения затрат и оптимизации производительности.

Вопрос: Как можно использовать правила управления жизненным циклом Amazon S3 для снижения затрат на хранилище Amazon S3?

С помощью политик управления жизненным циклом Amazon S3 можно настроить перенос объектов в стандартное хранилище нечастого доступа, архивирование объектов в Amazon Glacier или их удаление через определенный промежуток времени. С помощью такой автоматизации на основе политик можно быстро и легко снизить затраты на хранение данных, а также сэкономить время. В каждом правиле можно указать префикс, промежуток времени, перенос в cтандартное хранилище нечастого доступа или Amazon Glacier и/или окончание срока действия. Например, можно создать правило, архивирующее в Amazon Glacier все объекты с общим префиксом “logs/” через 30 дней после их создания и прекращающее хранение этих объектов после 365 дней с момента их создания. Можно создать отдельное правило, прекращающее хранение всех объектов с префиксом backups/ через 90 дней с момента их создания. Правила управления жизненным циклом применяются как к существующим, так и к новым объектам S3, обеспечивая оптимизацию хранилища и максимальную экономию на размещение любых данных в S3 без расходов времени на проверку и перемещение данных вручную. В рамках правила управления жизненным циклом объектов поле префикса определяет объекты, к которым правило применяется. Для того чтобы применить правило к отдельному объекту, необходимо указать имя ключа. Для того чтобы применить правило к набору объектов, необходимо указать их общий префикс (например, “logs/”). Для удаления объектов можно указать действие переноса (архивацию объектов или окончание срока действия). Укажите время: конкретную дату (например, 31 января 2015 года) или количество дней с момента создания (например, 30 дней), по истечении которого следует выполнять архивацию или удаление объектов. Можно создать несколько правил для разных префиксов.

Подробнее.

Вопрос: Как можно настроить объекты, чтобы они были удалены через определенный промежуток времени?

Можно настроить политику окончания жизненного цикла объектов для удаления объектов из ваших корзин через определенное количество дней. Можно определить правила окончания срока действия набора объектов в вашей корзине с помощью политики настройки жизненного цикла, которую вы применяете к корзине. Каждое правило окончания срока действия объекта позволяет указать префикс и срок действия. Поле префикса определяет объекты, к которым правило применяется. Для того чтобы применить правило к отдельному объекту, необходимо указать имя ключа. Для того чтобы применить правило к набору объектов, необходимо указать их общий префикс (например, “logs/”). Укажите срок действия – количество дней с даты создания (т.е. возраст), по истечении которого желаемо удаление объектов. Можно создать несколько правил для разных префиксов. Например, можно создать правило, удаляющее все объекты с общим префиксом “logs/” через 30 дней после их создания и отдельное правило, удаляющее все объекты с общим префиксом “backups/” через 90 дней с момента их создания.

После того как правило окончания срока действия объекта добавлено, оно применяется как к объектам, уже имеющимися в корзине, так и к новым объектам, добавляемым в корзину. Как только срок действия объектов истекает, они выявляются и ставятся в очередь на удаление. За хранение объектов в день окончания их срока хранения или после него плата не взимается, но вы все еще будете иметь доступ к этим объектам, пока они находятся в очереди на удаление. Как и за стандартные запросы на удаление, Amazon S3 не взимает плату за удаление объектов по истечении установленного срока хранения. Правила истечения срока хранения можно установить на корзины как с включенной, так и с отключенной функцией управления версиями.

Подробнее.

Вопрос: Зачем нужно использовать политику жизненного цикла для прекращения срока действия незавершенных многокомпонентных загрузок?

Политика жизненного цикла, прекращающая незавершенные многокомпонентные загрузки, позволяет уменьшить расходы, ограничивая время хранения данных, загруженных этими многокомпонентными загрузками. Например, если приложение загружает несколько частей многокомпонентного объекта и не подтверждает их запись, плата за хранение этих компонентов все-таки будет взиматься. Соответствующая политика позволяет сократить расходы на хранилище S3 за счет удаления незавершенных многокомпонентных загрузок и связанных с ними данных через определенное количество дней.

Подробнее.

Вопрос: Что представляет собой межрегиональная репликация (CRR) в Amazon S3?

CRR – это функция Amazon S3, которая осуществляет автоматическую репликацию данных в регионах AWS. С помощью CRR каждый объект, загружаемый в корзину S3, автоматически реплицируется в целевую корзину в другом регионе AWS, который вы выбрали. CRR позволяет предоставить доступ к данным с низкой задержкой в разных географических регионах. Функция CRR также полезна в тех случаях, когда для соблюдения правовых норм копии данных требуется хранить в сотнях километров друг от друга.

Вопрос: Как активировать CRR?

CRR настраивается на уровне корзины. Чтобы включить CRR для исходной корзины, необходимо задать целевую корзину для репликации в другом регионе. Для активации CRR можно использовать Консоль управления AWS, REST API, AWS CLI или AWS SDK. Для работы CRR управление версиями должно быть включено и в исходной и в целевой корзине. Дополнительные сведения см. в Руководстве разработчика Amazon S3, в разделе, посвященном межрегиональной репликации.

Вопрос: Что реплицируется в целевую корзину с помощью CRR?

CRR реплицирует на уровне объектов каждую загрузку, выполненную напрямую в исходную корзину. В репликации также участвуют связанные с объектом метаданные и списки контроля доступа. Любые изменения данных низших уровней, метаданных или списков контроля доступа объекта автоматически запускают новую процедуру репликации в целевую корзину. Вы можете выбрать, реплицировать все объекты, загруженные в исходную корзину, или только определенное подмножество объектов, загруженных со специальными префиксами. Данные, находящиеся в корзине до включения CRR, репликации не подвергаются. Скопировать существующие данные в целевую корзину можно с помощью API S3 COPY. Дополнительные сведения о CRR см. в Руководстве разработчика Amazon S3, в разделе, посвященном межрегиональной репликации.

Вопрос: Можно ли использовать CRR с правилами управления жизненным циклом?

Да, можно установить разные настройки управления жизненным циклом для исходной и целевой корзин. Например, вы можете определить правила управления жизненным циклом данных для их переноса из стандартного хранилища или стандартного хранилища нечастого доступа в целевую корзину или определить правила управления жизненным циклом данных для архивирования в Amazon Glacier.

Вопрос: Можно ли использовать CRR с объектами, зашифрованными AWS KMS?

Да, можно реплицировать объекты, зашифрованные KMS, путем указания ключа KMS назначения в конфигурации репликации. Подробнее.

Вопрос: Влияет ли на скорость работы API KMS включение поддержки AWS KMS для межрегиональной репликации?

Да, использование поддержки AWS KMS для CRR увеличивает скорость работы API KMS для аккаунта. Точнее говоря, CRR удвоит скорость API KMS, связанного с S3, в регионе источника, и увеличит ее на ту же величину в регионе назначения. Мы рекомендуем запросить увеличение лимита скорости API KMS, создав заявку в Центр AWS Support. Никаких дополнительных затрат для увеличения лимита скорости API KMS не требуется.

Вопрос: Обеспечивается ли безопасность объектов при их передаче и шифровании в процессе репликации?

Да, объекты остаются зашифрованными на всех стадиях процесса CRR. Зашифрованные объекты безопасно передаются из региона источника в регион назначения по протоколу SSL.

Вопрос: Можно ли использовать CRR между разными аккаунтами?

Да, можно настроить CRR между разными аккаунтами, чтобы хранить реплицированные данные в другом аккаунте в целевом регионе. Чтобы обеспечить владение данными источника и получателя разными владельцами и предоставить право собственности на реплицированное хранилище аккаунту назначения, можно установить перезапись владельца в конфигурации репликации.

Вопрос: Какие цены установлены на CRR?

За хранение, формирование запросов на копирование и межрегиональную передачу реплицированной копии данных взимается плата по тарифам Amazon S3. За запросы на копирование и межрегиональную передачу данных плата начисляется в зависимости от региона источника. За хранение реплицированных данных плата начисляется в зависимости от целевого региона. Подробную информацию о ценах сервиса см. на странице цен на S3.

Если исходный объект загружается с использованием функции многокомпонентной загрузки, то он реплицируется с тем же количеством частей того же размера. Например, за объект размером 100 ГБ, загруженный с использованием многокомпонентной загрузки (800 частей по 128 МБ каждая), при репликации взимается оплата как за 802 запроса (800 запросов на загрузку частей + 1 запрос на начало многокомпонентной загрузки + 1 запрос на окончание многокомпонентной загрузки). Будет взиматься плата за запросы в размере 0,00401 USD (802 запроса x 0,005 USD/1000 запросов) и плата в размере 2 USD (0,020 USD/переданный ГБ x 100 GB) за межрегиональную передачу данных. По окончании репликации, будет взиматься оплата за хранение 100 GB данных по тарифам региона назначения.

Вопрос: Что такое Transfer Acceleration?

Функция Amazon S3 Transfer Acceleration обеспечивает быструю, простую и безопасную передачу файлов на большие расстояния между вашим клиентом и вашей корзиной Amazon S3. В Transfer Acceleration используются глобально распределенные периферийные местоположения AWS сервиса Amazon CloudFront. После того как данные окажутся в периферийном местоположении AWS, они будут направлены в вашу корзину Amazon S3 по оптимизированному сетевому маршруту.

Вопрос: Как начать работу с Transfer Acceleration?

Начать работу с Transfer Acceleration очень просто. Для начала включите Transfer Acceleration для корзины S3 с помощью консоли Amazon S3, API Amazon S3 или интерфейса командной строки AWS. После этого можно будет направить запросы PUT и GET сервиса Amazon S3 на доменное имя конечной точки в формате s3-accelerate. Для ускоренной передачи данных приложение должно использовать для передачи данных один из следующих адресов для подключения к корзине: .s3-accelerate.amazonaws.com или .s3-accelerate.dualstack.amazonaws.com для сервера с «двойным стеком». Для стандартной передачи данных можно будет по-прежнему использовать обычные адреса.

Функция Transfer Acceleration имеет ряд ограничений по работе с некоторыми корзинами. Подробную информацию см. в Руководстве для разработчиков по Amazon S3 по ссылке.

Вопрос: Какова скорость работы Transfer Acceleration?

Функция Transfer Acceleration позволяет полностью использовать имеющуюся полосу пропускания и минимизировать влияние расстояния на пропускную способность, а также обеспечивает неизменно высокую скорость передачи данных в Amazon S3 независимо от местонахождения клиента. Ускорение зависит главным образом от доступной пропускной способности, расстояния между источником и местом назначения и показателями потери пакетов на сетевом маршруте. В целом ускорение будет тем выше, чем дальше источник от места назначения, чем шире полоса пропускания и/или чем больше размер объекта.

Один из клиентов зафиксировал сокращение среднего времени вдвое при получении файлов размером 300 МБ от глобальной базы пользователей, находящихся в США, Европе и некоторых странах Азии, в корзину в регионе Азия и Тихий океан (Сидней). Другой клиент наблюдал повышение пропускной способности на 500 % для пользователей из Юго-Восточной Азии и Австралии при загрузке файлов размером 250 МБ (часть из них размером 50 МБ) в корзину S3 в регионе Восток США (Северная Вирджиния).

Попробуйте инструмент сравнения скорости для предварительной оценки прироста производительности при передаче от вашего местоположения!

Вопрос: В каких случаях стоит использовать Transfer Acceleration?

Функция Transfer Acceleration предназначена для оптимизации скорости передачи данных по всему миру в корзины S3. При выполнении загрузки в централизованную корзину из географически рассредоточенных местоположений или при регулярной передаче гигабайтов или терабайтов данных через целые континенты эта функция позволит вам сэкономить часы или даже дни времени передачи.

Вопрос: Безопасно ли использовать функцию Transfer Acceleration?

Функция Transfer Acceleration так же безопасна, как и обычная передача данных в Amazon S3. Она поддерживает все функции безопасности сервиса Amazon S3, такие как ограничение доступа по IP-адресу клиента. Функция Transfer Acceleration взаимодействует с клиентами по стандартному протоколу TCP и не требует изменений в настройке брандмауэра. Данные не сохраняются в периферийных местоположениях AWS.

Вопрос: А если Transfer Acceleration не повысит скорость передачи данных?

Каждый раз, когда для выгрузки объекта используется Transfer Acceleration, мы проверяем, будет ли передача данных с помощью Transfer Acceleration быстрее, чем обычная передача данных с помощью Amazon S3. Если мы определяем, что передача данных с помощью Transfer Acceleration едва ли будет быстрее, чем обычная передача этого же объекта в этот же регион назначения AWS с помощью Amazon S3, плата за использование Transfer Acceleration в этом случае не взимается, а сама система Transfer Acceleration для этой загрузки может и не использоваться.

Вопрос: Можно ли использовать функцию Transfer Acceleration для многокомпонентных загрузок?

Да, Transfer Acceleration поддерживает все возможности на уровне корзин, включая многокомпонентную загрузку.

Вопрос: В каких случаях стоит выбрать Transfer Acceleration, а в каких – команды PUT/POST сервиса Amazon CloudFront?

Функция Transfer Acceleration оптимизирует протокол TCP и расширяет логические функции передачи данных между клиентом и корзиной S3, поэтому ее стоит выбрать, когда желательно увеличение пропускной способности. Если размер передаваемых объектов или передаваемого набора данных менее 1 ГБ, для оптимальной скорости передачи данных воспользуйтесь командами PUT/POST сервиса Amazon CloudFront.

Вопрос: В каких случаях стоит выбрать Transfer Acceleration, а в каких – AWS Snowball?

Сервис AWS Import/Export Snowball идеально подходит для единовременного перемещения больших пакетов данных. Время перемещения данных с его помощью обычно составляет 5 – 7 дней. Как правило, Transfer Acceleration при полностью используемой полосе пропускания шириной 1 Гбит/с обеспечивает передачу до 75 ТБ за один раз. Обычно в тех случаях, когда передача через Интернет занимает более недели, или при необходимости повторных передач и наличии полосы пропускания шириной свыше 25 Мбит/с целесообразно использовать Transfer Acceleration. Можно также использовать обе возможности: сначала переместить основной объем данных с помощью одного или нескольких устройств AWS Snowball, а затем передавать текущие инкрементные изменения с помощью Transfer Acceleration.

Вопрос: Можно ли дополнить сервис AWS Direct Connect использованием функции Transfer Acceleration?

AWS Direct Connect лучше подходит, если требуется использование частной сети или есть доступ к обмену данными AWS Direct Connect. Transfer Acceleration лучше всего подходит для отправки данных от распределенных клиентских местоположений через публичный Интернет или для тех случаев, когда неоднородные условия сети ухудшают пропускную способность. Некоторые клиенты, использующие AWS Direct Connect, используют Transfer Acceleration для передачи в удаленный офис, где скорость передачи данных через Интернет может быть низкой.

Вопрос: Можно ли дополнить сервис AWS Storage Gateway или шлюз стороннего поставщика использованием функции Transfer Acceleration?

Если вы можете задать адрес корзины назначения в шлюзе стороннего поставщика с использованием доменного имени для адреса сервера в S3 Transfer Acceleration, преимущества будут очевидны.

Подробнее о внедрении AWS можно узнать в разделе «Файловый шлюз» на странице вопросов и ответов по сервису Storage Gateway.

Вопрос: Можно ли дополнить интегрированное ПО стороннего поставщика функцией Transfer Acceleration?

Да. Работу программных пакетов, подключаемых непосредственно к хранилищу Amazon S3 (подробнее о партнерских решениях хранилищ см. по ссылке), при отправке задач в хранилище Amazon S3 можно ускорить с помощью функции Transfer Acceleration.

Вопрос: Соответствует ли функция Transfer Acceleration требованиям HIPAA?

Да, AWS расширила программу соответствия требованиям HIPAA. Теперь Amazon S3 Transfer Acceleration соответствует требованиям HIPAA. Если вы заключили с AWS договор делового партнерства (BAA), можно использовать Amazon S3 Transfer Acceleration для быстрой, легкой и безопасной передачи файлов, включая закрытую медицинскую информацию (PHI), на большие расстояния между клиентом и корзиной Amazon S3. Подробнее см. на странице Соответствие требованиям HIPAA.

Вопрос: Что такое IPv6?

Каждый сервер и устройство, подключенные к Интернету, должны иметь уникальный адрес. Интернет-протокол версии 4 (IPv4) изначально имел 32-битную адресацию. Непрерывное развитие Интернета приведет к тому, что через некоторое время все доступные IPv4-адреса будут использованы. Интернет-протокол версии 6 (IPv6) использует новую схему адресации, предназначенную для того, чтобы обойти глобальное ограничение адресации протокола IPv4.

Вопрос: Как можно использовать протокол IPv6?

Amazon S3 поддерживает использование протокола IPv6. Приложения могут подключаться к Amazon S3 без необходимости использования программного обеспечения или систем для преобразования адресов IPv4 в адреса IPv6. Это дает возможность обеспечить соответствие требованиям, проще выполнять интеграцию с существующими локальными приложениями на базе IPv6 и устраняет необходимость применения дорогого сетевого оборудования для преобразования адресов. С адресами IPv6 теперь можно использовать существующие возможности фильтрации адресов, имеющиеся в политиках IAM и политиках корзин, расширив возможности обеспечения безопасности приложений, взаимодействующих с Amazon S3.

Вопрос: Как начать использовать протокол IPv6 в Amazon S3?

Вы можете начать работу, указав приложению новый адрес сервера Amazon S3 с «двойным стеком» (поддерживающий доступ по обоим протоколам, IPv4 и IPv6). В большинстве случаев для доступа по IPv6 дополнительных настроек не требуется, так как большинство сетевых клиентов предпочитают использовать адреса IPv6 по умолчанию. Приложения могут продолжать получать доступ к данным через существующие API и URL-адреса по принципу виртуального хостинга (например, http://bucket.s3.dualstack.aws-region.amazonaws.com) или URL-адреса по принципу указания пути (например, http://s3.dualstack.aws-region.amazonaws.com/bucket) без изменения кода. При использовании Amazon S3 Transfer Acceleration адрес сервера с «двойным стеком» должен быть вида http(s)://bucket.s3-accelerate.dualstack.amazonaws.com. Рекомендуем также оценить политики корзины и сервиса Identity and Access Management (IAM), чтобы убедиться, что для новых IPv6 адресов настроены соответствующие права доступа. Подробная информация о подключении к Amazon S3 по протоколу IPv6 приведена в разделе Запросы к Amazon S3 по протоколу IPv6

Вопрос: Если указать адрес сервера Amazon S3 с «двойным стеком», останутся ли доступны API Amazon S3 по протоколу IPv4?

Да, при подключении к адресу сервера Amazon S3 с «двойным стеком» доступ к API Amazon S3 будет возможен как по адресам IPv6, так и по адресам IPv4. Потребуется настройка клиента на предпочтительное использование адресов IPv4, что для большинства языков в средах выполнения приложений может быть параметром настройки конфигурации на уровне приложения или на уровне хоста. Выясните в документации языка программирования, используемого вашей платформой среды выполнения, какие настойки конфигурации позволяют задать предпочтительное использование адресов IPv4.

Вопрос: Изменится ли качество функционирования Amazon S3 при использовании протокола IPv6?

Нет, качество функционирования сервиса Amazon S3 не зависит от того, будет при работе с ним использоваться протокол IPv4 или протокол IPv6.

Вопрос: Будут ли продолжать работать существующие адреса серверов VPC, если указать адрес сервера Amazon S3 с «двойным стеком»?

Да, можно будет продолжать использовать адреса серверов VPC для доступа к Amazon S3 по протоколу IPv4. Если вы используете адрес сервера с «двойным стеком» в VPC, работающем только по протоколу IPv4, то инстансы VPC будут опускать запись AAAA и будут всегда обращаться к Amazon S3 по протоколу IPv4.

Вопрос: Если включить IPv6, будет ли отражаться адрес IPv6 в журнале доступа к серверу?

Да, IPv6 адреса теперь будут отражаться в журналах доступа к серверу, если включена возможность ведения журналов доступа к серверу Amazon S3. Все инструменты и программное обеспечение клиента, анализирующие журналы, должны быть обновлены в части обработки нового формата адресов IPv6. Свяжитесь со службой поддержки разработчиков, если у вас возникают проблемы из-за влияния трафика IPv6 на способность инструментов или программного обеспечения обрабатывать IPv6 адреса в журналах доступа к серверу.

Вопрос: Нужно ли обновлять мою корзину и политики IAM?

Да, если вы используете политики для предоставления или ограничения доступа через IP-адреса, прежде чем переключиться на адрес сервера с «двойным стеком», нужно обновить эти политики и включить в них соответствующие диапазоны адресов IPv6. Если ваша корзина предоставляет или ограничивает доступ конкретным пользователям IAM, прежде чем переключиться на адрес сервера с двойным стеком, необходимо, чтобы администратор политик IAM проверил политики IAM этих пользователей и убедился, что они имеют действующий доступ к соответствующим диапазонам IPv6 адресов. Если этого не сделать, после начала использования клиентом протокола IPv6 может случиться некорректная потеря или получение доступа к корзине.

Вопрос: Что делать, если мои клиенты сталкиваются с ограничениями политик, сетевыми или другими ограничениями при использовании протокола IPv6 для работы с Amazon S3?

Приложения, на работе которых отражается использование протокола IPv6, можно в любое время переключить на работу со стандартными адресами серверов, работающими только по протоколу IPv4.

Вопрос: Можно ли использовать протокол IPv6 для работы со всеми возможностями Amazon S3?

Нет, поддержка протокола IPv6 в настоящее время недоступна для хостинга веб-сайтов и доступа через BitTorrent. Все другие возможности при использовании доступа к Amazon S3 по протоколу IPv6 должны работать в штатном режиме.

Вопрос: Во всех ли регионах поддерживается протокол IPv6?

Протокол IPv6 с Amazon S3 можно использовать во всех коммерческих регионах AWS, кроме региона Китай (Пекин). Протокол IPv6 также можно использовать в регионе AWS GovCloud (США).