Вопросы и ответы по Amazon S3

Вопрос. Что такое Amazon S3?

Amazon S3 – это объектное хранилище, рассчитанное на хранение и извлечение любых объемов данных из любой точки сети. S3 – это простой сервис хранилища, который отличается самой высокой надежностью, доступностью, производительностью и безопасностью в отрасли, а также практически неограниченной масштабируемостью при очень низких затратах.

Вопрос. Что можно делать с помощью Amazon S3?

Amazon S3 предоставляет простой интерфейс веб-сервиса, который можно использовать для хранения и извлечения любых объемов данных в любое время из любого места. Такой сервис позволяет просто создавать приложения, использующие полностью облачное хранилище. Поскольку сервис Amazon S3 обеспечивает широкие возможности масштабирования, а плата начисляется только за фактически использованные ресурсы, можно начать работу с небольших масштабов и наращивать приложение по мере необходимости, не жертвуя при этом производительностью или надежностью.

Сервис Amazon S3 спроектирован для максимально гибкой работы. Вы можете хранить данные любого типа и в любом количестве; считывать те же самые данные миллион раз или только для аварийного восстановления; создавать простое FTP-приложение или сложное веб-приложение, сравнимое с розничным интернет-магазином Amazon.com. Amazon S3 позволяет сосредоточиться на инновациях, не переживая о том, как хранить данные.

Вопрос. Как начать работу с Amazon S3?

Чтобы зарегистрироваться на Amazon S3, посетите консоль S3. Для доступа к сервису требуется аккаунт Amazon Web Services. Если у вас нет аккаунта AWS, вам будет предложено создать его в начале регистрации в сервисе Amazon S3. После регистрации обратитесь к документации Amazon S3, просмотрите материалы по началу работы с S3 и дополнительные ресурсы в центре ресурсов, чтобы начать использовать Amazon S3.

Вопрос. Какие преимущества по сравнению с локальными решениями Amazon S3 открывает для меня?

Сервис Amazon S3 позволяет использовать преимущества, которые дает Amazon в большом масштабе, без предварительной оплаты или снижения собственной производительности. Использование Amazon S3 позволяет недорого и просто обеспечить быстрый доступ к данным, их постоянную доступность и безопасность.

Вопрос. Какие типы данных могут храниться в Amazon S3?

Можно хранить практически любые типы данных в любом формате. Дополнительную информацию см. в Лицензионном соглашении Amazon Web Services.

Вопрос. Какой объем данных может храниться в Amazon S3?

Общий объем хранимых данных и количество объектов в Amazon S3 не ограничены. Размер отдельных объектов Amazon S3 может составлять от 0 байт до 5 ТБ. Самый крупный объект, который можно загрузить через один запрос PUT – 5 ГБ. Для объектов крупнее 100 МБ клиентам рекомендуется использовать многокомпонентную загрузку.

Вопрос. Что такое корзина общего назначения S3?

Корзина – это контейнер, в котором можно хранить любое количество объектов, находящихся в Amazon S3. Корзины общего назначения — это базовый тип корзин S3. Любая корзина общего назначения может содержать объекты, хранящиеся в любых классах хранения кроме S3 Express One Zone. Такие корзины рекомендуются для большинства вариантов использования и шаблонов доступа.

Вопрос. Что такое корзина каталогов S3?

Корзина – это контейнер, в котором можно хранить любое количество объектов, находящихся в Amazon S3. В корзинах каталогов S3 могут содержаться только объекты, хранящиеся в классе S3 Express One Zone. Это обеспечивает более быструю обработку данных в пределах одной зоны доступности. Они рекомендуются для случаев, когда необходимо обеспечить малую задержку. Каждая корзина каталогов S3 может поддерживать сотни тысяч транзакций в секунду (TPS), независимо от количества каталогов в корзине.

Вопрос. В чем разница между корзиной общего назначения и корзиной каталогов?

Корзина — это контейнер для объектов, хранящихся в Amazon S3, в котором можно хранить любое количество объектов. Корзины общего назначения — это базовый тип корзин S3. Любая корзина общего назначения может содержать объекты, хранящиеся в любых классах хранения кроме S3 Express One Zone. Такие корзины рекомендуются для большинства вариантов использования и шаблонов доступа. В корзинах каталогов S3 могут содержаться только объекты, хранящиеся в классе S3 Express One Zone. Это обеспечивает более быструю обработку данных в пределах одной зоны доступности. Они рекомендуются для случаев, когда необходимо обеспечить малую задержку. Каждая корзина каталогов S3 может поддерживать сотни тысяч транзакций в секунду (TPS), независимо от количества каталогов в корзине.

Вопрос. Как Amazon использует данные клиентов в Amazon S3?

Amazon хранит данные клиентов и прослеживает их использование для выставления счета. Amazon не имеет доступа к вашим данным ни с какими целями, не связанными с сервисом Amazon S3, за исключением случаев, когда это требуется законом. Дополнительную информацию см. в Лицензионном соглашении Amazon Web Services.

Вопрос. Хранит ли Amazon в Amazon S3 свои данные?

Да. Организации в сотрудничестве с Amazon используют Amazon S3 для самых разнообразных проектов. Многие из этих проектов используют Amazon S3 в качестве надежного хранилища данных в критически важных для бизнеса процессах.

Вопрос: Как организованы данные в Amazon S3?

Amazon S3 – это простое хранилище объектов на основе ключа. При хранении данных объектам назначается уникальный ключ, который может использоваться впоследствии для доступа к данным. Ключи могут иметь любые строковые значения; их можно создавать так, чтобы имитировать иерархические атрибуты. Кроме того, для организации данных во всех корзинах и (или) с любыми префиксами S3 можно воспользоваться возможностью назначения тегов объектам S3.

Вопрос. В каком интерфейсе можно работать с Amazon S3?

Amazon S3 предоставляет простые стандартизированные интерфейсы веб-сервисов REST и SOAP, предназначенные для работы с любым инструментарием интернет-разработки. Мы намеренно упростили все системные процессы, чтобы сделать проще добавление новых протоколов раздачи и функциональных уровней.

Вопрос. Насколько надежен Amazon S3?

Amazon S3 предоставляет вам доступ к той же высокомасштабируемой, высокодоступной, быстрой и недорогой инфраструктуре хранения данных, которую Amazon использует для управления своей собственной глобальной сетью веб-сайтов. Класс хранилища «Amazon S3 Стандартный» обеспечивает доступность на уровне 99,99 %, классы S3 Standard – IA, «Интеллектуальное многоуровневое хранение Amazon S3» и «Мгновенное извлечение данных Amazon S3 Glacier» – на уровне 99,9 %, класс S3 One Zone – IA – на уровне 99,5 %, а классы «Гибкое извлечение данных Amazon S3 Glacier» и «Глубокий архив Amazon S3 Glacier» обеспечивают доступность на уровне 99,99 % и сопровождаются SLA на уровне 99,9 %. Использование хранилищ всех перечисленных классов регулируется Соглашением об уровне обслуживания Amazon S3.

Вопрос. Как будет работать Amazon S3 в случае внезапного всплеска трафика из приложения клиента?

Amazon S3 с самого начала был создан для обработки трафика из любого интернет-приложения. Оплата по мере использования и неограниченный объем ресурсов предотвращают дополнительные издержки и прерывание сервиса. Огромный масштаб Amazon S3 позволяет равномерно распределять нагрузку, чтобы пики трафика не сказывались на отдельных приложениях.

Вопрос. Предлагает ли Amazon S3 Соглашение об уровне обслуживания (SLA)?

Да. Соглашение об уровне обслуживания Amazon S3 предусматривает компенсацию в случае, если уровень бесперебойной работы за любой учетный период окажется ниже согласованного.

Вопрос. Какая модель непротиворечивости действует для Amazon S3?

Amazon S3 автоматически тщательно проверяет согласованность операций чтения после записи. Этот процесс не влияет на производительность или доступность и региональную изолированность приложений, а также абсолютно бесплатный.

После успешной записи нового объекта или повторной записи существующего все последующие запросы на чтение незамедлительно получают последнюю версию объекта. S3 также тщательно проверяет согласованность операций получения списка, благодаря чему сразу после записи вы сможете создать список объектов в корзине со всеми внесенными изменениями.

Вопрос. Почему важна тщательная проверка согласованности операций чтения после записи?

Тщательная проверка согласованности операций чтения после записи помогает в тех случаях, когда требуется чтение объектов сразу после их записи. Например, если вы часто считываете объекты и составляете списки непосредственно после записи. Высокопроизводительные вычислительные рабочие нагрузки также получают преимущества, когда объект повторно записывается, после чего многократно одновременно считывается: тщательная проверка согласованности операций чтения после записи обеспечивает считывание объекта во время каждой попытки. Эти приложения автоматически и мгновенно получают преимущества от тщательной проверки согласованности операций чтения после записи. Инструмент тщательной проверки согласованности операций чтения после записи в S3 также устраняет потребность в дополнительной инфраструктуре.  

Вопрос: Где хранятся мои данные?

При создании корзины Amazon S3 можно выбрать регион AWS. Хранилища классов «Amazon S3 Стандартный», «Amazon S3 со стандартным редким доступом (S3 стандарт-IA)», S3 Intelligent-Tiering, «Мгновенное извлечение данных Amazon S3 Glacier», «Гибкое извлечение данных Amazon S3 Glacier» и «Глубокий архив Amazon S3 Glacier» обеспечивают автоматическое хранение объектов на нескольких устройствах, расположенных как минимум в трех зонах доступности. Каждая зона доступности физически расположена на большом расстоянии (много километров) от любой другой зоны доступности, хотя все они находятся в пределах 100 км (60 миль) друг от друга. Объекты, размещаемые в хранилище класса «S3 одна зона-IA», сохраняются с избыточностью в пределах одной зоны доступности в выбранном регионе AWS. При использовании S3 on Outposts данные размещаются в локальной среде Outpost, однако вы можете вручную переместить их в регион AWS. Дополнительные сведения о доступности Amazon S3 в конкретных регионах AWS см. в списке региональных сервисов AWS.

Вопрос. Что такое регион AWS?

Регион AWS – это физическое местоположение, где находятся центры обработки и передачи данных AWS.  Группа связанных между собой центров обработки данных в регионе называется «зоной доступности» (AZ). Каждый регион AWS состоит минимум из трех изолированных и физически разделенных зон доступности в одной географической области. В отличие от других поставщиков облачных услуг, которые часто обозначают регион как отдельный центр обработки данных, структура наших зон доступности в каждом регионе AWS обладает перечисленными ниже преимуществами. Каждая зона доступности оснащена автономным источником питания и охлаждения. Она тщательно охраняется, а также подключена к резервным сетям со сверхнизкими задержками.

Вопрос. Что такое зона доступности AWS?

Зона доступности – это один или несколько центров обработки данных с резервным источником питания, сетевой конфигурацией и подключением в регионе AWS. По сравнению с использованием одного ЦОД, такие зоны доступности позволяют обеспечить для приложений и баз данных в рабочей среде повышенный уровень доступности, отказоустойчивость и возможность масштабирования. Все зоны доступности в регионе AWS объединены в полностью резервированную выделенную сеть из метроволокна с высокой пропускной способностью и низким уровнем задержек, которая обеспечивает высокую скорость и низкие задержки при передаче данных между зонами доступности.

Хранилища классов «Amazon S3 Стандартный», «Amazon S3 со стандартным редким доступом (S3 стандарт-IA)», S3 Intelligent-Tiering, «Мгновенное извлечение данных Amazon S3 Glacier», «Гибкое извлечение данных Amazon S3 Glacier» и «Глубокий архив Amazon S3 Glacier» реплицируют данные как минимум в трех зонах доступности для обеспечения защиты данных в случае полного выхода одной из зон доступности из строя. Это условие остается в силе и в регионах, где публично доступно менее трех зон доступности. Объекты, размещенные в хранилищах этих классов, доступны из всех зон доступности в регионе AWS.

Хранилища класса «Amazon S3 одна зона-IA» реплицируют данные в пределах одной зоны доступности. Данные, размещаемые в хранилище класса «S3 одна зона-IA», не являются устойчивыми к физическому выходу из строя зоны доступности вследствие серьезных стихийных бедствий, таких как землетрясение или наводнение.

Вопрос. Как решить, в каком регионе AWS хранить данные?

Следует принять во внимание несколько факторов, исходя из потребностей вашего конкретного приложения. Например, можно сократить задержку при доступе к данным, если хранить их в регионе, расположенном рядом с клиентами, центрами обработки данных или другими ресурсами AWS. Вам также, возможно, потребуется хранить данные в регионе, удаленном от других узлов и систем в целях географической избыточности и аварийного восстановления. Следует рассмотреть и те регионы, которые позволяют соблюдать определенные нормативные требования и (или) снижать затраты на хранение. В целях экономии средств можно выбрать менее дорогой регион. Подробности см. на странице цен на Amazon S3.

Вопрос. В каких частях света доступен сервис Amazon S3?

Сервис Amazon S3 доступен в регионах AWS по всему миру, и клиенты могут его использовать независимо от своего местоположения. Требуется только решить, в каких регионах AWS вы хотите хранить свои данные в Amazon S3. Список регионов AWS, в которых в настоящее время доступен сервис S3, см. в списке региональных сервисов AWS.

Вопрос: Сколько стоит Amazon S3?

Используя сервис Amazon S3, вы платите только за то, что реально используете. Минимальные платежи отсутствуют. Вы можете оценить ежемесячные расходы с помощью Калькулятора цен AWS.

Чем ниже наши расходы, тем меньшую плату мы взимаем. Некоторые цены могут меняться в зависимости от региона Amazon S3. При выставлении счетов цены основываются на местоположении корзины S3. Плата за передачу данных через запрос COPY внутри региона Amazon S3 не взимается. Плата за передачу данных через запрос COPY между регионами AWS взимается по расценкам, указанным на странице цен на Amazon S3. Плата за передачу данных между Amazon EC2 (или любым сервисом AWS) и Amazon S3 внутри одного региона (например в регионе Восток США (Северная Вирджиния)), не взимается. Плата за передачу данных между Amazon EC2 (или любым сервисом AWS) и Amazon S3 в различных регионах (например, между Amazon EC2 в регионе Восток США [Северная Вирджиния] и Amazon S3 в регионе Запад США [Северная Калифорния]), взимается по тарифам, указанным на странице цен на Amazon S3. Затраты на передачу данных оплачиваются владельцу исходной корзины.

Для ознакомления с ценами на S3 на Outposts посетите страницу цен на Outposts.

Вопрос. Каков принцип оплаты пользования сервисом Amazon S3?

Для начала работы с Amazon S3 не требуются предоплата или какие-либо обязательства. В конце месяца с вас будет автоматически снята сумма за пользование сервисом по итогам месяца. Вы можете в любое время просмотреть свои расходы за текущий расчетный период, войдя в аккаунт Amazon Web Services и выбрав панель управления счетами, связанную с вашим профилем консоли.

Уровень бесплатного пользования AWS* позволяет приступить к работе с Amazon S3 бесплатно во всех регионах, кроме регионов AWS GovCloud. После регистрации новые клиенты AWS получают 5 ГБ хранилища Amazon S3 Standard, 20 000 запросов GET и 2000 запросов PUT, а также 100 ГБ исходящего трафика (в Интернет, регионы AWS или Amazon CloudFront) каждый месяц в течение одного года. Неиспользованные за этот месяц ресурсы на следующий месяц не переносятся.

Amazon S3 взимает плату за следующие типы использования. Обратите внимание на то, что приведенные расчеты не учитывают возможность применения уровня бесплатного пользования AWS.

Использованный объем хранилища

Цены на хранилище Amazon S3 можно посмотреть на странице цен на Amazon S3.

Объем подлежащего оплате за месяц хранилища основан на среднем объеме хранилища, использованном на протяжении месяца. Это включает все данные объектов и метаданные, хранимые в корзинах, созданных под вашим аккаунтом AWS. Мы измеряем использование хранилища по формуле «ПериодХранения-БайтЧасы», которая суммируется в конце месяца для подсчета платы за месяц.

Пример использования хранилища:

Предположим, клиент хранит 100 ГБ (107 374 182 400 байт) данных в хранилище Amazon S3 Standard в своей корзине в течение первых 15 дней в марте и 100 ТБ (109 951 162 777 600 байт) данных в хранилище Amazon S3 Standard в течение последних 16 дней в марте.

К концу марта объем использования в байт-часах будет следующим: всего использовано байт-часов = [107 374 182 400 байт x 15 дней x 24 часа] + [109 951 162 777 600 байт x 16 дней x 24 часа] = 42 259 901 212 262 400 байт-часов. Вычисляйте количество часов в соответствии с фактическим количеством дней в каждом месяце. Например, в нашем примере мы используем март, в котором 31 день или 744 часа.

Переведем в ГБ-месяцы: 42 259 901 212 262 400 байт-часов / 1 073 741 824 байт в 1 ГБ / 744 часа в месяце = 52 900 ГБ-месяцев

Данный объем использования подпадает под три различных уровня пользования. Ежемесячная стоимость ниже вычисляется для региона Восток США (Северная Вирджиния). Уровень 50 ТБ: 51 200 ГБ x 0,023 USD = 1177,60 USD. Уровень от 50 ТБ до 450 ТБ: 1700 ГБ x 0,022 USD = 37,40 USD

Всего за хранение = 1177,60 USD + 37,40 USD = 1215,00 USD

Передача входящих данных через сеть

С ценами на передачу данных в Amazon S3 можно ознакомиться на странице цен на Amazon S3. Это соответствует объему данных, посылаемых в ваши корзины Amazon S3. 

Передача исходящих данных через сеть

Тарифы на передачу исходящих данных из Amazon S3 приводятся на странице цен на Amazon S3. В Amazon S3 эта плата взимается каждый раз, когда данные считываются с любой из ваших корзин в местоположении за пределами данного региона Amazon S3.

Уровни расценок на передачу исходящих данных учитывают совокупный объем передаваемых вами исходящих данных из данного региона в Интернет через Amazon EC2, Amazon S3, Amazon RDS, Amazon SimpleDB, Amazon SQS, Amazon SNS и Amazon VPC. Данные уровни не применяются при передаче исходящих данных из Amazon S3 в одном регионе AWS в другой регион AWS.

Пример передачи исходящих данных:
Предположим, вы передаете 1 ТБ данных из Amazon S3 в регионе Восток США (Северная Вирджиния) в Интернет каждый день в течение месяца, в котором 31 день. Предположим, вы также передаете 1 TБ данных из инстанса Amazon EC2 из того же региона в Интернет в течение того же 31-дневного месяца.

Совокупный объем передаваемых вами данных будет 62 TБ (31 TБ из Amazon S3 и 31 TБ из Amazon EC2). Это равняется 63 488 ГБ (62 TБ * 1024 ГБ/TБ).

Данный объем использования попадает под три различных уровня пользования. Приведенная ниже ежемесячная плата за исходящие данные вычисляется для передачи данных в регионе Восток США (Северная Вирджиния).
Уровень 10 ТБ: 10 239 ГБ (10 × 1024 ГБ/TБ – 1 (бесплатно)) x 0,09 USD = 921,51 USD
Уровень от 10 TБ до 50 TБ: 40 960 ГБ (40×1024) x 0,085 USD = 3481,60 USD
Уровень от 50 ТБ до 150 TБ: 12 288 ГБ (остаток) x 0,070 USD = 860,16 USD

Всего за передачу исходящих данных = 921,51 USD + 3481,60 USD + 860,16 USD = 5263,27 USD

Запрос данных

Цены на запросы в Amazon S3 приводятся на странице цен на Amazon S3.

Пример запроса:
Предположим, вы передаете 10 000 файлов в Amazon S3 и 20 000 файлов из Amazon S3 каждый день в течение месяца марта. Затем вы удаляете 5 000 файлов 31 марта.
Всего запросов PUT = 10 000 запросов x 31 день = 310 000 запросов
Всего запросов GET = 20 000 запросов x 31 день = 620 000 запросов
Всего запросов DELETE = 5 000 запросов x 1 день = 5 000 запросов

Приведенная ниже цена вычисляется для корзины, расположенной в регионе Восток США (Северная Вирджиния).
310 000 запросов PUT: 310 000 запросов x 0,005 USD/1000 = 1,55 USD
620 000 запросов GET: 620 000 запросов x 0,004 USD/10 000 = 0,25 USD
5 000 запросов DELETE = 5 000 запросов x 0,00 USD (бесплатно) = 0,00 USD

Извлечение данных:

Цены на извлечение данных Amazon S3 распространяются на все классы хранилищ, за исключением Amazon S3 Стандартный и Интеллектуального многоуровневого хранилища S3, и приведены на странице цен на S3.

Пример извлечения данных:
Предположим, что в одном месяце вы извлекли 300 ГБ данных из хранилища S3 Standard-IA, из которых 100 ГБ были переданы в Интернет, 100 ГБ – в EC2 в том же регионе AWS и 100 ГБ – в Amazon CloudFront в том же регионе AWS.

Стоимость извлечения данных за месяц составит: 300 ГБ x 0,01 USD за ГБ = 3,00 USD. Обратите внимание, что с вас также будет взиматься плата за передачу данных по сети в отношении той части данных, что вышла в сеть Интернет.

* * Использование уровня бесплатного пользования рассчитывается каждый месяц во всех регионах, за исключением региона AWS GovCloud, и автоматически применяется к счету. Неиспользованные в рамках месячного доступа ресурсы не переходят на последующие месяцы. Применяются ограничения. Дополнительные сведения см. в условиях предложения.

Вопрос. Почему цены отличаются в зависимости от выбранного региона Amazon S3?

Чем ниже наши расходы, тем меньшую плату мы взимаем. Например, в регионе Восток США (Северная Вирджиния) наши расходы ниже, чем в регионе Запад США (Северная Калифорния).

Вопрос: Как оплачивается управление версиями?

Каждая помещаемая на хранение или запрашиваемая версия объекта оплачивается по обычным тарифам Amazon S3. Например, рассмотрим следующий сценарий для иллюстрации стоимости хранилища при использовании функции управления версиями (предположим, что в текущем месяце 31 день):

1) 1-й день месяца: вы выполняете операцию PUT в 4 ГБ (4 294 967 296 байт) в своей корзине.
2) 16-й день месяца: вы выполняете операцию PUT в 5 ГБ (5 368 709 120 байт) в той же корзине, используя тот же ключ, что и при первой операции PUT в 1-й день.

Анализируя затраты на хранилище при вышеуказанных операциях, обратите внимание, что объект в 4 ГБ с 1-го дня не удаляется из корзины, когда объект в 5 ГБ записывается на 15-й день. Вместо этого объект в 4 ГБ сохраняется как более старая версия, а объект в 5 ГБ становится последней записанной версией объекта в корзине. В конце месяца:

Всего использованных Байт-Часов
[4 294 967 296 байт x 31 день x (24 часа / день)] + [5 368 709 120 байт x 16 дней x (24 часа / день)] = 5 257 039 970 304 Байт-Часов.

Переводя в ГБ-Месяцы:
5 257 039 970 304 байт-часа x (1 ГБ / 1 073 741 824 байт) x (1 месяц / 744 часа) = 6,581 ГБ-месяца

Стоимость вычисляется с учетом текущего тарифа для конкретного региона, указанного на странице цен на Amazon S3.

Вопрос. Как оплачивается доступ в Amazon S3 через Консоль управления AWS?

При доступе в сервис через консоль управления AWS действуют стандартные цены на Amazon S3. Для оптимизации результатов консоль управления AWS может выполнять запросы заранее. Кроме того, некоторые интерактивные операции посылают более одного запроса в сервис.

Вопрос: Как начисляется плата, если к корзинам Amazon S3 осуществляется доступ из другого аккаунта AWS?

При доступе к данным с другого аккаунта AWS применяются стандартные цены Amazon S3. Кроме того, можно установить для своей корзины настройку «Requester Pays» (Платит инициатор). В этом случае стоимость запросов к данным Amazon S3 и их загрузки будет оплачивать инициатор.

Дополнительную информацию по настройке Requester Pays для корзины см. в документации по Amazon S3.

Вопрос. Ваши цены указаны с учетом налогов?

Если не указано иное, представленные здесь цены не включают применимые налоги и сборы, в том числе НДС и применимый налог с продаж. Для клиентов с платежным адресом в Японии использование сервисов AWS облагается потребительским налогом Японии.

Подробнее о налогах на использование сервисов AWS »

Вопрос. Придется ли мне платить за передачу данных в Интернет, если я перемещаю их из AWS?

AWS предлагает отвечающим критериям клиентам бесплатную передачу данных в Интернет при перемещении всех данных из AWS в соответствии с описанной ниже процедурой.

Вопрос. Я хочу перенести свои данные из AWS. Как запросить бесплатную передачу данных в Интернет?

Выполните указанные ниже шаги.

1) Если у вас есть специальная команда по работе с клиентами AWS, сначала свяжитесь с ними и сообщите о своих планах. В некоторых случаях, если у вас есть договорные обязательства с AWS, вы захотите обсудить возможные варианты со своей командой по работе с клиентами AWS.

2) Ознакомьтесь с критериями и процедурами, описанными на этой странице.

3) Обратитесь в службу поддержки клиентов AWS и укажите, что ваш запрос касается «бесплатной передачи данных для перемещения из AWS». Служба поддержки клиентов AWS попросит вас предоставить информацию, чтобы ознакомиться с вашими планами по переходу, оценить, можете ли вы претендовать на бесплатную передачу данных, и рассчитать подходящую сумму кредита.

4) Если служба поддержки клиентов AWS одобрит переход, вы получите временный кредит на оплату исходящих данных в зависимости от объема всех данных, которые вы хранили в сервисах AWS на момент расчета. Служба поддержки клиентов AWS уведомит вас об одобрении, и у вас будет 60 дней, чтобы завершить переход с AWS. Кредит будет засчитан только на использование исходящих данных и не будет распространяться на использование других услуг. После отказа от сервисов AWS в течение 60 дней вы должны удалить все оставшиеся данные и рабочие нагрузки из своего аккаунта AWS или закрыть его.

Бесплатная передача данных для ИТ-провайдеров, которые совершают переход, также зависит от указанных далее критериев.

a) Только клиенты с активным аккаунтом AWS и хорошей репутацией имеют право на бесплатную передачу исходящих данных.

b) Если в вашем аккаунте AWS хранится менее 100 ГБ данных, вы можете бесплатно перенести их из AWS в рамках существующего ежемесячного уровня бесплатного пользования AWS объемом 100 ГБ для передачи данных. Клиенты, у которых в аккаунте AWS хранится менее 100 ГБ данных, не имеют права на получение дополнительных кредитов.

c) AWS предоставит вам бесплатную передачу данных в Интернет при перемещении всех данных из AWS. Если вы хотите перенести данные только из одного сервиса, а не из всех сразу, обратитесь в службу поддержки клиентов AWS.

d) Если ваши планы изменятся или вы не сможете завершить перемещение из AWS в течение 60 дней, вы должны уведомить об этом службу поддержки клиентов AWS.

e) Стандартная плата за использование сервисов AWS не включена. Кредиты можно получить только за передачу исходящих данных, связанных с вашим переходом с AWS. Однако передача данных из специализированных сервисов, таких как Amazon CloudFront, AWS Direct Connect, AWS Snowball и Международный ускоритель AWS, не включена.

f) AWS может проверять использование вами услуг, чтобы убедиться в соответствии этим требованиям. Если мы определим, что вы использовали передачу исходящих данных не для перехода с AWS, мы можем взыскать с вас плату за передачу данных, которая была начислена.

g) AWS может в любое время внести изменения в отношении бесплатной передачи данных в Интернет.

Вопрос. Почему мне нужно запрашивать предварительное одобрение AWS на бесплатную передачу данных в Интернет, прежде чем осуществлять переход с AWS?

Количество передач данных ежедневно составляет сотни миллионов, и, как правило, мы не знаем причины передачи. Например, клиенты могут передавать данные конечному пользователю своего приложения, посетителю своего веб-сайта или в другую облачную либо локальную среду для резервного копирования. Это означает, что мы можем узнать о том, что передача данных выполняется для перемещения из AWS, только если вы сообщите нам об этом заранее.

Вопрос. Что такое IPv6?

Каждый сервер и устройство, подключенные к Интернету, должны иметь уникальный адрес. Интернет-протокол версии 4 (IPv4) изначально имел 32-битную адресацию. Непрерывное развитие Интернета приведет к тому, что через некоторое время все доступные IPv4-адреса будут использованы. Интернет-протокол версии 6 (IPv6) использует схему адресации, предназначенную для того, чтобы обойти глобальное ограничение адресации протокола IPv4.

Вопрос. Как можно использовать протокол IPv6?

Amazon S3 поддерживает использование протокола IPv6. Приложения могут подключаться к Amazon S3 без необходимости использования программного обеспечения или систем для преобразования адресов IPv4 в адреса IPv6. Это дает возможность обеспечить соответствие требованиям, проще выполнять интеграцию с существующими локальными приложениями на базе IPv6 и устраняет необходимость применения дорогого сетевого оборудования для преобразования адресов. С адресами IPv6 теперь можно использовать существующие возможности фильтрации адресов, имеющиеся в политиках IAM и политиках корзин, расширив возможности обеспечения безопасности приложений, взаимодействующих с Amazon S3.

Вопрос. Как начать использовать протокол IPv6 в Amazon S3?

Вы можете начать работу, указав приложению новый адрес сервера Amazon S3 с «двойным стеком» (поддерживающий доступ по обоим протоколам, IPv4 и IPv6). В большинстве случаев для доступа по IPv6 дополнительных настроек не требуется, так как большинство сетевых клиентов предпочитают по умолчанию использовать адреса IPv6. Приложения, на работе которых отражается использование протокола IPv6, можно в любое время переключить на работу со стандартными адресами серверов, работающими только по протоколу IPv4. Протокол IPv6 для работы с Amazon S3 поддерживается во всех коммерческих регионах AWS, включая AWS GovCloud (США), Amazon Web Services Китай (Пекин), управляемый Sinnet, и Amazon Web Services Китай (Нинся), управляемый NWCD. 

Вопрос. Меняется ли производительность Amazon S3 при использовании протокола IPv6?

Нет, качество функционирования сервиса Amazon S3 не зависит от того, будет при работе с ним использоваться протокол IPv4 или протокол IPv6.

Вопрос. Что такое оповещения о событиях Amazon S3?

Вы можете использовать функцию оповещения о событиях Amazon S3 для получения уведомлений при наступлении определенных событий в вашей корзине S3, таких как события PUT, POST, COPY и DELETE. Доступна публикация оповещений в Amazon EventBridge, Amazon SNS, Amazon SQS или напрямую в AWS Lambda.

Вопрос. Как можно использовать оповещения о событиях Amazon S3?

Оповещения о событиях в Amazon S3 позволяют запускать рабочие процессы, отправлять предупреждения или выполнять другие действия при изменении объектов, хранимых в корзине S3. Оповещения о событиях S3 можно использовать для настройки триггеров, запускающих выполнение определенных действий, таких как перекодировка мультимедийных файлов по завершении загрузки, обработка файлов данных по мере их поступления или синхронизация объектов S3 с другими хранилищами данных. Также вы можете настроить оповещения о событиях на основе префиксов и суффиксов имени объекта. Например, можно получать оповещения об объектах, имя которых начинается с «images/».

Вопрос. Что включено в оповещения о событиях Amazon S3?

Подробное описание информации, включенной в оповещения о событиях Amazon S3, см. в документации по оповещениям о событиях Amazon S3. 

Вопрос. Как настроить оповещения о событиях Amazon S3?

Подробную информацию о настройке оповещений о событиях см. в документации по оповещениям о событиях Amazon S3. Подробнее о сервисах AWS для обмена сообщениями см. в документации по Amazon SNS и документации по Amazon SQS.

Вопрос. Сколько стоит использование оповещений о событиях Amazon S3?

Amazon S3 не взимает дополнительную плату за оповещения о событиях. Оплачивается только использование Amazon SNS или Amazon SQS для доставки оповещений о событиях или стоимость исполнения функции AWS Lambda. Сведения о ценах на Amazon SNS, Amazon SQS или AWS Lambda см. на страницах цен на данные сервисы.

Вопрос. Что такое ускорение передачи данных Amazon S3 (Amazon S3TA)?

Функция ускорения передачи данных Amazon S3 (Amazon S3TA) выполняет быструю, простую и безопасную передачу файлов на большие расстояния между вашим клиентом и корзиной Amazon S3. При ускорении передачи данных Amazon S3 (Amazon S3TA) используются распределенные по всему миру периферийные местоположения AWS для сервиса Amazon CloudFront. После того как данные окажутся в периферийном местоположении AWS, они будут направлены в вашу корзину Amazon S3 по оптимизированному сетевому маршруту.

Вопрос. Как начать работу с ускорением передачи данных Amazon S3 (Amazon S3TA)?

Чтобы начать работу с S3 Transfer Acceleration, включите S3 Transfer Acceleration в корзине S3 с помощью консоли Amazon S3, API Amazon S3 или интерфейса командной строки AWS. После включения ускорения передачи данных Amazon S3 (Amazon S3TA) можно будет направлять запросы PUT и GET сервиса Amazon S3 на доменное имя s3-accelerate для соответствующего адреса. Для ускоренной передачи данных приложение должно использовать при передаче данных один из следующих адресов для подключения к корзине: .s3-accelerate.amazonaws.com или .s3-accelerate.dualstack.amazonaws.com для адреса «dual-stack». Для стандартной передачи данных можно будет по-прежнему использовать обычные адреса.

Существует ряд условий, которые должны быть выполнены, чтобы корзины поддерживали ускорение передачи данных Amazon S3 (Amazon S3TA). Подробную информацию см. в документации по Amazon S3.

Вопрос. Какова скорость работы ускорения передачи данных Amazon S3 (Amazon S3TA)?

S3 Transfer Acceleration помогает полностью использовать имеющуюся полосу пропускания и свести к минимуму влияние расстояний на пропускную способность. Это обеспечивает неизменно высокую скорость передачи данных в Amazon S3 независимо от местонахождения клиента. Уровень ускорения зависит главным образом от доступной пропускной способности, расстояния между источником и местом назначения и показателями потери пакетов на сетевом маршруте. В целом ускорение будет тем выше, чем дальше источник от места назначения, чем шире полоса пропускания и/или чем больше размер объекта.

Один из клиентов зафиксировал сокращение среднего времени вдвое при получении файлов размером 300 МБ от глобальной базы пользователей, находящихся в США, Европе и некоторых странах Азии, в корзину в регионе Азия и Тихий океан (Сидней). Другой клиент наблюдал повышение пропускной способности на 500 % для пользователей из Юго-Восточной Азии и Австралии при загрузке файлов размером 250 МБ (часть из них размером 50 МБ) в корзину S3 в регионе Восток США (Северная Вирджиния).

Попробуйте инструмент сравнения скорости ускорения передачи данных Amazon S3 (Amazon S3TA) для предварительной оценки прироста производительности при передаче от конкретного местоположения.

Вопрос. В каких случаях стоит использовать ускорение передачи данных Amazon S3 (Amazon S3TA)?

Возможность S3 Transfer Acceleration предназначена для оптимизации скорости передачи данных в корзины S3 по всему миру. Во время выполнении загрузки в централизованную корзину из географически рассредоточенных местоположений или во время регулярной передачи гигабайтов или терабайтов данных через целые континенты функция ускорения передачи данных Amazon S3 (Amazon S3TA) позволит сэкономить при передаче часы или даже дни.

Вопрос. Безопасно ли использовать ускорение передачи данных Amazon S3 (Amazon S3TA)?

Возможность ускорения передачи данных Amazon S3 (Amazon S3TA) так же безопасна, как и обычная передача данных в Amazon S3. Она поддерживает все инструменты безопасности сервиса Amazon S3, например ограничение доступа по IP-адресу клиента. Возможность ускорения передачи данных Amazon S3 (Amazon S3TA) взаимодействует с клиентами по стандартному протоколу TCP и не требует изменений в настройках брандмауэра. Данные не сохраняются в периферийных местоположениях AWS.

Вопрос. Что произойдет, если передача данных с использованием ускорения передачи данных Amazon S3 (Amazon S3TA) окажется не быстрее обычной передачи данных с помощью Amazon S3?

Каждый раз, когда для загрузки объекта в корзину используется S3 Transfer Acceleration, мы проверяем, действительно ли передача данных с помощью S3 Transfer Acceleration выполняется быстрее, чем обычная передача данных с помощью Amazon S3. Если передача данных с использованием S3 Transfer Acceleration оказывается не быстрее, чем обычная передача Amazon S3 того же объекта в тот же регион назначения AWS, AWS не начисляет плату за использование функции S3 Transfer Acceleration для этой передачи и игнорирует использование системы S3 Transfer Acceleration для этой загрузки.

Вопрос: Можно ли использовать S3 Transfer Acceleration для многокомпонентных загрузок?

Да, S3 Transfer Acceleration поддерживает все возможности на уровне корзин, включая многокомпонентные загрузки.

Вопрос. В каких случаях стоит выбрать S3 Transfer Acceleration, а в каких – команды PUT/POST сервиса Amazon CloudFront?

Возможность S3 Transfer Acceleration оптимизирует протокол TCP и расширяет логические функции передачи данных между клиентом и корзиной S3, поэтому ее стоит выбрать, когда требуется увеличение пропускной способности. Если размер передаваемых объектов или передаваемого набора данных менее 1 ГБ, для оптимальной производительности воспользуйтесь командами PUT/POST сервиса Amazon CloudFront.

Вопрос. Можно ли дополнить подключение AWS Direct Connect возможностью ускорения передачи данных S3?

AWS Direct Connect подходит клиентам, которым требуется использование частной сети или у которых есть доступ к обмену данными AWS Direct Connect. Ускорение передачи данных Amazon S3 (Amazon S3TA) оптимально подходит для отправки данных от распределенных клиентских местоположений через публичный Интернет или для тех случаев, когда неоднородные условия сети ухудшают пропускную способность. Некоторые клиенты, использующие AWS Direct Connect, используют ускорения передачи данных Amazon S3 (Amazon S3TA) для передачи данных из удаленных офисов, где скорость передачи данных через Интернет может быть низкой.

Вопрос. Можно ли дополнить шлюз хранилища AWS или шлюз стороннего поставщика использованием функции ускорения передачи данных Amazon S3 (Amazon S3TA)?

Вы получите преимущество, задав адрес корзины назначения в шлюзе стороннего поставщика с использованием домена адреса ускорения передачи данных Amazon S3 (Amazon S3TA).

Подробнее о таком использовании AWS можно узнать в разделе «Файловый шлюз» на странице вопросов и ответов по сервису Storage Gateway.

Вопрос. Можно ли дополнить интегрированное ПО стороннего поставщика возможностью S3 Transfer Acceleration?

Да. Пакеты ПО, которые подключаются непосредственно к Amazon S3, могут использовать преимущества S3 Transfer Acceleration при отправке заданий в Amazon S3.

Подробнее о решениях партнеров в сфере хранения данных »

Вопрос. Соответствует ли ускорение передачи данных Amazon S3 (Amazon S3TA) требованиям HIPAA?

Да, AWS расширила программу соответствия требованиям HIPAA. Теперь S3 Transfer Acceleration соответствует требованиям HIPAA. Если вы заключили с AWS договор делового партнерства (BAA), можно использовать ускорение передачи данных Amazon S3 (Amazon S3TA) для быстрой, простой и безопасной передачи файлов, включая закрытую медицинскую информацию (PHI), на большие расстояния между клиентом и корзиной Amazon S3.

Вопрос. Насколько безопасно хранить данные в Amazon S3?    

Amazon S3 безопасен по умолчанию. Сразу после создания корзин Amazon S3 доступ к ним имеет только владелец. Он же полностью контролирует доступ других пользователей. Amazon S3 поддерживает аутентификацию пользователей для управления доступом к данным. Можно использовать механизмы управления доступом, такие как политики управления корзинами, для выборочного предоставления разрешений пользователям и группам пользователей. Консоль Amazon S3 выделяет общедоступные корзины, указывает на источник общедоступности, а также предупреждает пользователя, если производимые изменения в политиках и списке контроля доступа корзины сделают эту корзину общедоступной. Необходимо включить параметр блокирования публичного доступа Amazon S3 для всех аккаунтов и корзин, которые не должны быть общедоступными. Во всех новых корзинах по умолчанию включена функция блокировки публичного доступа.

Существует также возможность загружать данные в сервис Amazon S3 и из него в безопасном режиме через адреса SSL, используя протокол HTTPS. Amazon S3 автоматически шифрует все передаваемые в вашу корзину объекты (с 5 января 2023 г.). Кроме того, можно использовать собственные библиотеки шифрования для шифрования данных перед их передачей на хранение в Amazon S3.

Дополнительные сведения о безопасности в AWS см. на странице по безопасности AWS, а сведения о безопасности в S3 − на странице по безопасности S3 или в руководстве с рекомендациями по безопасности S3.

Вопрос. Как управлять доступом к своим данным, хранимым в Amazon S3?

У клиентов есть несколько способов управления доступом к ресурсам Amazon S3, включая политики AWS Identity and Access Management (IAM), политики корзины и точек доступа, списки контроля доступа (ACL), аутентификацию строки запроса, политики адресов Amazon Virtual Private Cloud (Amazon VPC), политики управления сервисами (SCP) в AWS Organizations и блокирование публичного доступа к Amazon S3.

IAM
Сервис IAM позволяет организациям с большим штатом сотрудников создавать данные многочисленных пользователей и управлять этими данными, используя единый аккаунт AWS. С помощью политик IAM можно предоставлять пользователям IAM средства точного управления корзинами и объектами Amazon S3, в то же время также сохраняя за собой полный контроль над всем, что делают пользователи.

Политики на уровне корзины и точки доступа
С помощью политик на уровне корзин и политик точек доступа можно определить правила, которые применяются в целом ко всем запросам на ресурсы в Amazon S3, например предоставление прав на запись на подгруппу ресурсов в Amazon S3. Клиенты также могут ограничить доступ на основании типа запроса, например источник ссылки HTTP или IP-адрес. 

ACL
Amazon S3 поддерживает оригинальный метод управления доступом S3 – списки контроля доступа (ACL). С помощью ACL клиенты могут предоставлять определенные разрешения (т. е. READ, WRITE, FULL_CONTROL) определенным пользователям на отдельную корзину или объект. Клиентам, которые предпочитают использовать только политики контроля доступа, Amazon S3 предлагает функцию S3 Object Ownership для отключения ACL. Вы можете использовать S3 Inventory, чтобы наблюдать за использованием ACL в корзинах перед включением функции S3 Object Ownership при переходе на политики корзин на основе IAM.

Аутентификация строки запроса
С помощью аутентификации строки запроса можно создавать URL-адрес объекта Amazon S3, действующий только в течение ограниченного времени. Подробнее о различных политиках управления доступом к Amazon S3 см. в документах об управлении.

Amazon VPC
При создании адреса Amazon VPC пользователи могут подключить политику адреса, чтобы контролировать доступ к используемым ресурсам Amazon S3. Управлять доступом к корзинам с определенных адресов или VPC можно также с помощью политики корзины Amazon S3.

Политики управления сервисами
Политики управления сервисами (SCP) – это вид политики AWS Organizations, с помощью которой пользователи могут контролировать разрешения в рамках собственной организации. SCP позволяет централизованно управлять наибольшим количеством разрешений для всех аккаунтов организации. SCP гарантирует, что аккаунты пользователей соответствуют нормативам организации по контролю доступа.

Блокирование публичного доступа к S3
Блокирование публичного доступа Amazon S3 позволяет настраивать адреса, корзины и аккаунты и контролировать публичный доступ к ресурсам Amazon S3. Благодаря блокированию общего доступа к S3 администраторы аккаунтов и владельцы корзин могут с легкостью задавать централизованные средства управления и ограничивать публичный доступ к ресурсам Amazon S3, вне зависимости от способа их создания. Во всех новых корзинах по умолчанию включена функция блокировки публичного доступа в качестве рекомендации по безопасности.

Подробнее о политиках и разрешениях см. в документации AWS IAM.

Вопрос: Поддерживает ли Amazon S3 аудит доступа к данным?

Да. При необходимости можно настроить корзину Amazon S3 так, чтобы все запросы к ней фиксировались в журнале доступа. Кроме того, если требуется записывать в журналы информацию сервиса IAM и идентификации пользователей, можно настроить AWS CloudTrail для регистрации событий, связанных с данными.

Записи в журналах доступа можно использовать в целях аудита. В них могут фиксироваться такие сведения о запросе, как тип запроса, ресурсы, указанные в запросе, а также время и дата обработки запроса.

Вопрос. Какие возможности существуют для шифрования данных, хранимых в Amazon S3?

Amazon S3 шифрует все новые данные, загруженные в любую корзину. Amazon S3 применяет шифрование на стороне сервера, управляемое S3 (SSE-S3) в качестве шифрования базового уровня для всех передаваемых объектов (с 5 января 2023 г.). SSE-S3 предоставляет полностью управляемое решение, в котором Amazon берет на себя управление ключами и их защиту с использованием несколько уровней безопасности. Если вы предпочитаете, чтобы Amazon управлял вашими ключами, рекомендуем продолжать использовать SSE-S3. Также можно выбрать механизм шифрования данных с помощью SSE-C, SSE-KMS, DSSE-KMS или клиентской библиотеки, например Клиент шифрования Amazon S3. Каждый вариант позволяет хранить зашифрованные данные в покое в Amazon S3.

SSE-C дает Amazon S3 возможность выполнять шифрование и расшифровку объектов, сохраняя за вами контроль над ключами шифрования. При использовании SSE-C отпадает необходимость во внедрении или использовании клиентской версии библиотеки для шифрования и расшифровки хранимых в Amazon S3 объектов, но вам нужно будет управлять ключами, посылаемыми в Amazon S3 для шифрования и расшифровки объектов. Используйте SSE-C, если вы предпочитаете поддерживать свои собственные ключи шифрования, но не желаете внедрять или использовать клиентскую версию библиотеки шифрования.

SSE-KMS позволяет AWS Key Management Service (AWS KMS) управлять ключами шифрования. Использование AWS KMS для управления ключами имеет несколько дополнительных преимуществ. AWS KMS применяет отдельные разрешения на использование ключа KMS, обеспечивая таким образом дополнительный уровень контроля, а также защиту от несанкционированного доступа к хранилищу ваших объектов в Amazon S3. AWS KMS предоставляет аудит с информацией о том, кто и когда использовал ваш ключ и к какому объекту, а также о безуспешных попытках пользователей, не имеющих прав на расшифровку данных, получить к ним доступ. Кроме того, AWS KMS предоставляет клиенту дополнительные элементы управления безопасностью для соответствия таким требованиям отрасли, как PCI-DSS, HIPAA / HITECH и FedRAMP.

DSSE-KMS упрощает применение двухуровневого шифрования данных без необходимости вкладывать средства в инфраструктуру, необходимую для шифрования на стороне клиента. Каждый уровень шифрования использует отдельную реализацию 256-битного стандарта расширенного шифрования с алгоритмом Galois Counter Mode (AES-GCM), а также каждый из них проверен и одобрен к использованию в сверхсекретных рабочих нагрузках. DSSE-KMS использует AWS KMS для генерации ключей данных и позволяет AWS KMS управлять вашими ключами шифрования. AWS KMS применяет отдельные разрешения на использование ключа KMS, обеспечивая таким образом дополнительный уровень контроля, а также защиту от несанкционированного доступа к хранилищу ваших объектов в Amazon S3. AWS KMS предоставляет аудит с информацией о том, кто и когда использовал ваш ключ и к какому объекту, а также о безуспешных попытках пользователей, не имеющих прав на расшифровку данных, получить к ним доступ. Кроме того, AWS KMS предоставляет клиенту дополнительные элементы управления безопасностью для соответствия таким требованиям отрасли, как PCI-DSS, HIPAA/HITECH и FedRAMP.

Используя клиентскую библиотеку шифрования, вы сохраняете контроль над ключами и завершаете шифрование и расшифровку объектов клиентом с помощью выбираемой вами библиотеки шифрования. Некоторые клиенты предпочитают иметь полный контроль над шифрованием и расшифровкой объектов; таким образом, только зашифрованные объекты передаются через Интернет в Amazon S3. Используйте клиентскую библиотеку шифрования, если вы предпочитаете сохранить контроль над своими ключами шифрования, можете внедрить или использовать клиентскую версию библиотеки шифрования и вам необходимо, чтобы объекты были зашифрованы перед доставкой на хранение в Amazon S3.

Подробную информацию об использовании Amazon S3 SSE-S3, SSE-C или SSE-KMS см. в документации по защите данных с помощью шифрования.

Вопрос. Можно ли соблюдать требования европейских правил для конфиденциальных данных, используя Amazon S3?

Клиенты могут решить хранить все данные в Европе и выбрать один из следующих регионов: Европа (Франкфурт), Европа (Ирландия), Европа (Париж), Европа (Стокгольм), Европа (Милан), Европа (Испания), Европа (Лондон) или Европа (Цюрих). Кроме того, вы можете использовать Amazon S3 в Outposts для хранения всех данных на локальной основе в AWS Outpost, а также у вас есть возможность переместить данные из одного экземпляра AWS Outposts в другой либо в регион AWS. Ответственность за выполнение европейских законов о конфиденциальности данных лежит на вас. Для получения дополнительной информации ознакомьтесь с материалами Центра Общих норм защиты данных (GDPR) AWS и Центра конфиденциальности данных AWS. Если у вас есть более специфические требования к расположению данных либо вы должны выполнять некоторые альтернативные нормы конфиденциальности данных, для чего необходимо хранить данные в таком расположении, для которого не подходят регионы AWS, вы можете использовать S3 в Outposts.

Вопрос. Что такое адрес Amazon VPC для Amazon S3?

Адрес Amazon VPC для Amazon S3 представляет собой логический объект в облаке VPC, который поддерживает связь с S3 по глобальной сети AWS. Существует два типа адресов VPC для S3: шлюзный и интерфейсный. Шлюзные адреса являются шлюзом, который вы указываете в таблице маршрутизации для получения доступа к S3 из VPC по сети AWS. Интерфейсные адреса расширяют функциональность шлюзных адресов путем использования частных IP-адресов для маршрутизации запросов к S3 из VPC, локальных сетей или других регионов AWS. Подробную информацию см. в документации по AWS PrivateLink для Amazon S3.

Вопрос. Можно ли предоставить доступ к корзине Amazon S3 для определенного адреса Amazon VPC?

С помощью политик Amazon S3 можно ограничить доступ к корзине из определенной конечной точки Amazon VPC или из набора точек. Теперь в политики корзин S3 добавлена поддержка условия aws:sourceVpce, которое можно использовать для ограничения доступа. Для получения более подробной информации и примеров политик ознакомьтесь с документацией по конечным точкам шлюза для S3. 

Вопрос. Что такое AWS PrivateLink для Amazon S3?

AWS PrivateLink для S3 обеспечивает частное подключение между Amazon S3 и локальной средой. Вы можете предоставить интерфейсные адреса VPC для S3 в VPC для подключения локальных приложений непосредственно к S3 по AWS Direct Connect или AWS VPN. Для получения доступа к S3 из локальной сети больше не нужно использовать публичные IP-адреса, изменять правила брандмауэра или настраивать шлюз Интернета. Подробную информацию см. в документации по AWS PrivateLink для Amazon S3.

Вопрос. Как начать работу с интерфейсными адресами VPC для S3?

Интерфейсный адрес VPC можно создать с помощью консоли управления AWS VPC, AWS Command Line Interface (AWS CLI), AWS SDK или API. Подробнее см. в документации.

Вопрос. Когда следует использовать шлюзные адреса VPC, а не интерфейсные адреса VPC на основе AWS PrivateLink?

AWS рекомендует использовать интерфейсные адреса VPC для получения доступа к S3 из локальных сетей или из VPC в другом регионе AWS. Для ресурсов, которые получают доступ к S3 из VPC, расположенного в том же регионе AWS, что и S3, мы рекомендуем использовать шлюзные адреса VPC, поскольку плата за их использование не взимается. Подробнее см. в документации.

Вопрос. Можно ли одновременно использовать интерфейсные и шлюзные адреса для S3 в одном VPC?

Да. Если у вас уже есть шлюзный адрес VPC, создайте интерфейсный адрес VPC и добавьте в клиенты названия необходимых адресов VPC. Например, если идентификатор адреса VPC интерфейсного адреса в регионе Восток США 1 такой: vpce-0fe5b17a0707d6abc-29p5708s, то конкретное имя DNS адреса будет: vpce-0fe5b17a0707d6abc-29p5708s.s3.us-east-1.vpce.amazonaws.com. В таком случае только запросы к конкретному имени адреса VPC будут направляться к S3 через интерфейсные адреса VPC, а все остальные запросы – и далее через шлюзный адрес VPC. Подробнее см. в документации.

Вопрос. Что такое Amazon Macie и как его использовать для обеспечения безопасности данных?

Amazon Macie – это сервис обеспечения безопасности на базе искусственного интеллекта. Он помогает клиентам предотвращать потерю данных путем автоматического обнаружения, классификации и защиты конфиденциальных данных, хранящихся в Amazon S3. Amazon Macie использует машинное обучение для распознавания конфиденциальных данных, таких как персональная информация (PII) или интеллектуальная собственность, определяет их коммерческую ценность и обеспечивает наглядное представление того, где хранятся эти данные, как к ним осуществляется доступ и как они используются в организации клиента. Amazon Macie непрерывно проводит мониторинг действий по доступу к данным для выявления отклонений от нормы и генерирует подробные предупреждения, если обнаруживает риск несанкционированного доступа или неумышленной утечки данных.

Amazon Macie предназначен для защиты от угроз безопасности путем непрерывного контроля за данными для доступа и другими важными данными клиента. Amazon Macie предоставляет автоматизированный, практически не требующий обслуживания способ обнаружения и классификации коммерческих данных клиентов. Он предоставляет элементы управления с помощью созданных по шаблонам функций Lambda, позволяющие отменить доступ или вызвать политику сброса пароля при обнаружении подозрительного поведения систем, несанкционированного доступа к данным сущностей или во время работы сторонних приложений. После создания предупреждения можно использовать Amazon Macie для реагирования на инцидент, используя Amazon CloudWatch Events для быстрого принятия мер по защите данных. Подробнее см. в документации Amazon Macie.

Вопрос. Что такое Анализатор доступа AWS IAM для Amazon S3 и как он работает?

Анализатор доступа для S3 – это возможность, которая упрощает управление разрешениями по мере назначения, проверки и уточнения политик для точек доступа и корзин S3. Анализатор доступа для S3 выполняет мониторинг существующих политик доступа и предоставляет к ресурсам S3 исключительно требуемый доступ. Анализатор доступа для S3 оценивает ваши политики доступа к корзине, а также помогает обнаруживать и оперативно вносить изменения в тех корзинах, доступ к которым не требуется.

Анализатор доступа для S3 отправляет вам оповещение при наличии корзины с настройками, разрешающими доступ для всех в Интернете, или корзины, доступной из других аккаунтов AWS. Вы получаете результаты с информацией об источниках и уровне публичного или общего доступа. Например, Access Analyzer для S3 заблаговременно сообщит, если нежелательный доступ для чтения или записи был предоставлен посредством списка контроля доступа или политики корзин. Получив такие результаты, вы сможете немедленно задать или восстановить требуемую политику доступа.

При проверке результатов, указывающих на возможный общий доступ к корзине, можно заблокировать публичный доступ к корзине одним нажатием в консоли S3. Можно также перейти к настройкам разрешений на уровне корзины, чтобы точно указать уровни доступа. В целях аудита результаты работы сервиса Access Analyzer для S3 можно загрузить в виде CSV‑отчета. 

Кроме того, по мере авторизации политик S3 на консоли S3 отображаются предупреждения, ошибки и предложения в разрезе безопасности от IAM Access Analyzer. Консоль автоматически проводит более 100 проверок политик для подтверждения ваших политик. Эти проверки экономят ваше время, а также предоставляют возможность исправить ошибки и применить рекомендации в отношении безопасности.

Дополнительные сведения см. в документации Анализатора доступа IAM.

Вопрос. Что представляют собой права доступа Amazon S3?

Amazon S3 Access Grants сопоставляет возможность сопоставлять идентификационные данные в таких каталогах, как Active Directory или доверители Управления идентификацией и доступом AWS (IAM), с наборами данных в S3. Это помогает масштабировать разрешения на данные, автоматически предоставляя конечным пользователям доступ к S3 в соответствии с особенностями организации. Кроме того, S3 Access Grants регистрирует идентификационные данные конечного пользователя, а также приложение, используемое для доступа к данным S3, в AWS CloudTrail. Это помогает предоставить подробную историю аудита вплоть до идентификации конечного пользователя для любого доступа к данным в ваших корзинах S3.

Вопрос. Зачем использовать права доступа S3?

S3 Access Grants следует использовать, если ваши данные S3 совместно используются и доступны многим пользователям и приложениям, а некоторые их идентификационные данные находятся в вашем корпоративном каталоге, например Okta или Entra ID, и вам нужен масштабируемый, простой и контролируемый способ предоставления доступа к этим наборам данных S3 в нужном масштабе.

Вопрос. Как начать работу с правами доступа S3?

Для начала работы с правами доступа S3 нужно выполнить четыре шага. Первый шаг: настройте инстанс для прав доступа S3. Если вам нужно использовать права доступа S3 с пользователями и группами в корпоративном каталоге, на этом этапе включите Центр идентификации AWS и подключите права доступа S3 к инстансу Центра идентификации. Далее зарегистрируйте местоположение с помощью S3 Access Grants. В ходе этого процесса вы предоставляете S3 Access Grants роль IAM, которая используется для создания временных учетных данных S3, которые пользователи и приложения могут применять для доступа к S3. После этого определите разрешения – кто имеет доступ к каким данным. Затем в процессе доступа отправьте запрос от приложения на временные мандаты прав доступа S3. Используйте их для получения доступа к S3.

Вопрос. Какие типы удостоверений поддерживаются для прав доступа S3?

Права доступа S3 поддерживают два вида удостоверений: удостоверения корпоративных пользователей или групп из Центра идентификации AWS и доверителей AWS IAM, включая пользователей и роли IAM. При использовании прав доступа S3 вместе с Центром идентификации AWS можно определить права доступа к данным на основе членства в группах каталогов. Центр идентификации AWS – это сервис AWS, который подключается к часто используемым поставщикам удостоверений, таким как Entra ID, Okta, Ping и другие. Помимо поддержки удостоверений каталогов через Центр идентификации AWS права доступа S3 также поддерживают правила разрешений для доверителей AWS IAM, включая пользователей и роли IAM. Это необходимо в случаях, когда вы управляете либо собственной федерацией удостоверений не через Центр идентификации AWS, а с помощью утверждений IAM и SAML (пример реализации здесь), либо удостоверениями приложений на основе доверителей IAM, но все же хотите использовать права доступа S3 ввиду их масштабируемости и возможности аудита.

Вопрос. Какие уровни доступа предлагают права доступа S3?

Права доступа S3 имеют три уровня: READ, WRITE и READWRITE. READ позволяет просматривать и извлекать объекты из S3. WRITE позволяет осуществлять запись в S3 и удаление из него. READWRITE объединяет уровни READ и WRITE.

Вопрос. Можно ли настроить уровни доступа?

Нет. Можно использовать только три стандартных уровня доступа (READ/WRITE/READWRITE), которые предлагают права доступа S3.

Вопрос. Существуют ли ограничения в правах доступа S3?

Да. Можно создать до 100 000 грантов на каждый экземпляр S3 Access Grants и до 1000 местоположений на экземпляр S3 Access Grants.

Вопрос. Влияет ли использование прав доступа S3 на производительность доступа к данным?

Нет. Задержка получения временных мандатов от прав доступа S3 на сегодняшний день аналогична задержке получения временных мандатов от AWS STS. Получив мандаты от прав доступа S3, вы можете повторно использовать мандаты, срок действия которых еще истек, для последующих запросов. Для таких последующих запросов дополнительная задержка прав доступа S3 по сравнению с другими методами отсутствует.

Вопрос. Какие еще сервисы AWS необходимы для использования прав доступа S3?

Если вы собираетесь использовать права доступа S3 для удостоверений каталогов, сначала необходимо настроить Центр идентификации AWS IAM. Центр идентификации AWS IAM помогает создавать и связывать удостоверения сотрудников, созданные и хранящиеся как в Центре идентификации, так и у сторонних поставщиков удостоверений. Процесс настройки см. в документации по Центру идентификации. После настройки инстанса Центра идентификации вы сможете подключить его к правам доступа S3. После этого права доступа S3 будут использовать для оценки запросов и принятия решений об авторизации Центр идентификации, получая из него атрибуты пользователей, такие как членство в группах.

Вопрос. Требуется ли для использования прав доступа S3 внесение изменений на стороне клиента?

Да. При текущей схеме работы инициализация вашего клиента S3 выполняется с использованием мандатов IAM, связанных с вашим приложением (например, мандаты роли IAM для EC2 или IAM Roles Anywhere, либо с использованием долгосрочных мандатов пользователей IAM). При новой схеме вашему приложению перед инициализацией клиента S3 понадобится получить мандаты прав доступа S3. Такие мандаты прав доступа S3 будут относится к конкретному аутентифицированному пользователю в вашем приложении. После инициализации клиента S3 с использованием мандатов прав доступа S3 клиент сможет в обычном режиме запрашивать данные из S3, используя эти мандаты.

Вопрос. Какие сервисы AWS и сторонние приложения на сегодняшний день имеют готовую интеграцию с правами доступа S3?

Сегодня права доступа S3 уже интегрированы с EMR и Spark с открытым исходным кодом через коннектор S3A. Кроме того, права доступа S3 интегрируются со сторонним ПО, таким как Immuta и Informatica, что позволяет централизовать управление разрешениями. И наконец, права доступа S3 поддерживают Terraform и CloudFormation, что позволяет предоставлять разрешения на доступ S3 программно.

Вопрос. Являются ли права доступа S3 заменой AWS IAM?

Нет. Права доступа S3 не заменяют IAM. Более того, они хорошо сочетаются с существующими стратегиями защиты данных на основе IAM (правила шифрования, сети, периметра данных). Права доступа S3 построены на примитивах IAM и позволяют использовать детальные разрешения S3 в больших масштабах.

Вопрос. Работают ли права доступа S3 с KMS?

Да. Чтобы использовать права доступа S3 для объектов, зашифрованных с помощью KMS, владельцу корзины нужно включить необходимые разрешения KMS в роль IAM, которую он предоставляет правам доступа S3 при регистрации местоположения. Затем права доступа S3 смогут использовать эту роль IAM для доступа к зашифрованным с помощью KMS объектам в корзинах.

Вопрос. Как просматривать мои разрешения прав доступа S3 и управлять ими?

Вы можете использовать консоль S3 Access Grants в Консоли управления AWS или SDK и CLI API для просмотра разрешений S3 Access Grants и управления ими.

Вопрос. Можно ли предоставить с помощью прав доступа S3 публичный доступ к данным?

Нет, вы не можете предоставить публичный доступ к данным с помощью прав доступа S3.

Вопрос. Как провести аудит запросов, авторизованных с помощью прав доступа S3?

Запрос приложения на запуск сеанса доступа к данным с помощью прав доступа S3 записывается в CloudTrail. CloudTrail будет различать удостоверение пользователя, отправившего запрос, и удостоверение приложения, получающего доступ к данным от имени пользователя. Это поможет вам проверить удостоверение конечного пользователя, который обращался к конечным данным, а также время обращения.

Вопрос. Как осуществляется оплата прав доступа S3?

Плата за права доступа S3 взимается в зависимости от количества запросов к правам доступа S3. Подробнее см. на странице цен.

Вопрос. Какова взаимосвязь между правами доступа S3 и Lake Formation?

AWS Lake Formation предназначен для тех случаев, когда необходимо управлять доступом к табличным данным (например, таблицам Glue), где вам может потребоваться предоставление доступа на уровне строк и столбцов. Права доступа S3 предназначены для управления разрешениями на прямой доступ к S3 – неструктурированным данным, таким как видео, изображения, журналы и т. д.

Вопрос. Интегрированы ли права доступа S3 с Анализатором доступа IAM?

Нет. В настоящее время права доступа S3 не интегрированы с Анализатором доступа IAM. На данный момент Анализатор доступа IAM нельзя использовать для анализа прав доступа S3. Клиенты могут проверять S3 Access Grants напрямую, перейдя на страницу S3 Access Grants в консоли S3 или программно используя ListAccessGrants API.

Вопрос. Что такое Точки доступа Amazon S3?

Сегодня клиенты управляют доступом к своим корзинам S3 с помощью единой политики корзин. Такая политика может контролировать доступ для сотен приложений с разными уровнями разрешений.

Точки доступа Amazon S3 при любом масштабе упрощают управление доступом для приложений, использующих общие наборы данных в S3. С помощью точек доступа S3 можно запросто создавать сотни точек доступа для каждой корзины и по-новому предоставлять доступ к общим наборам данных. Компонент Access Points обеспечивает настраиваемую схему доступа к корзине с помощью уникального имени хоста и политики доступа, которая применяет определенные разрешения и средства контроля сети к любому запросу через точку доступа. Точки доступа S3 могут привязываться к корзинам в том же аккаунте или в другом проверенном аккаунте. Узнайте больше, посетив страницу Точки доступа S3 и ознакомившись с руководством пользователя.

Вопрос. Зачем использовать точку доступа?

Точки доступа S3 упрощают управление доступом к общим наборам данных в сервисе S3. Больше не нужно управлять единой комплексной политикой корзин с сотнями различных правил разрешений, которые необходимо записывать, читать, отслеживать и проверять. С помощью сервиса Точки доступа S3 вы можете создавать точки доступа или предоставлять разрешения доверенным аккаунтам для создания точек доступа к нескольким аккаунтам в своей корзине. Таким образом, обеспечивается доступ к общим наборам данных с политиками, разработанными для конкретного приложения.

С помощью Access Points можно разделить большую политику корзин на отдельные политики точек доступа для каждого приложения, которому требуется доступ к общим наборам данных. Это позволяет сосредоточиться на создании правильной политики доступа для приложения и не беспокоиться о нарушениях, вызванных работой других приложений с общими наборами данных. Можно также создать политику управления сервисами (SCP) и сделать обязательным требованием для всех точек доступа получение запросов только из Virtual Private Cloud (VPC). Это позволит защитить данные в частных сетях. 

Вопрос. Как работает сервис Точки доступа S3?

Каждый компонент S3 Access Point настраивается с особой политикой для каждого примера использования и приложения, а в корзине могут быть тысячи точек доступа. Например, можно создать точку доступа к корзине S3, которая предоставляет доступ группам пользователей или приложений к озеру данных. Компонент Access Point поддерживает как одного пользователя или приложение, так и группы пользователей и приложений в рамках одного или нескольких аккаунтов, что позволяет раздельно управлять каждой точкой доступа. 

Кроме того, вы можете создавать точки доступа или предоставлять разрешения доверенным аккаунтам для создания точек доступа к нескольким аккаунтам в своей корзине. Точки доступа к нескольким аккаунтам не позволяют получить доступ к данным до тех пор, пока вы не получите разрешения от владельца корзины.  Владелец корзины сохраняет полный контроль над данными и должен обновить политику корзины, чтобы разрешить запросы от точки доступа к нескольким аккаунтам. Образец политики корзины можно найти в руководстве пользователя.

Каждая точка доступа связана с одной корзиной и содержит средство контроля сетевого источника и средство контроля Block Public Access. Можно создать точку доступа со средством контроля сетевого источника, которое разрешает доступ к хранилищу только из Virtual Private Cloud, логически изолированного раздела облака AWS. Кроме того, существует возможность создать точку доступа и настроить политику доступа для нее так, чтобы разрешить доступ только к объектам с определенными префиксами или с конкретными тегами.

Есть два способа получить данные из общих корзин через точку доступа. Для операций с объектами S3 можно использовать точку доступа ARN вместо имени корзины. Для запросов, требующих имя корзины в стандартном формате S3, можно использовать псевдоним точки доступа. Псевдонимы точек доступа S3 генерируются автоматически и взаимозаменяемы с именами корзин S3 везде, где это имя используется для доступа к данным. Каждый раз при создании точки доступа для корзины, S3 автоматически создает новый псевдоним. Полный список совместимых операций и сервисов AWS см. в документации S3.

Вопрос. Существует ли квота на количество создаваемых точек доступа S3?

В корзинах аккаунта и кросс-аккаунта по умолчанию можно создать 10 000 точек доступа S3 на регион для каждого аккаунта. Жесткого ограничения на количество точек доступа S3 на один аккаунт AWS не существует. Чтобы отправить запрос на увеличение этой квоты, посетите страницу Квот на обслуживание.

Вопрос. Как выполняется авторизация запросов при использовании точки доступа?

Для точек доступа S3 предусмотрена специальная политика точек доступа IAM. Вы записываете политики точек доступа так же, как политику корзин, используя в качестве ресурса ARN точки доступа. В соответствии с политиками точек доступа разрешается или запрещается доступ к данным S3 через точку доступа. Сервис Amazon S3 оценивает все релевантные политики, в том числе те, которые касаются пользователя, корзины, точки доступа, адреса VPC, и политики управления сервисами (SCP), а также списки контроля доступа. На основании оценки он определяет, необходимо ли выполнить авторизацию запроса.

Вопрос. Как записать политики точек доступа?

Можно записать политику точек доступа так же, как и политику корзин, используя правила IAM для управления разрешениями и ARN точки доступа в документе политики.

Вопрос. Чем использование средств контроля сетевого источника в точках доступа отличается от использования политики корзин при получении доступа к VPC?

Вы можете продолжать использовать политики корзин, чтобы ограничить доступ к корзинам, разрешив его только из определенных VPC. Точки доступа обеспечивают более легкий и проверяемый способ разрешить для общего набора данных (всего или части) трафик только из VPC в отношении всех приложений организации с использованием средств контроля API. С помощью политики управления сервисами (SCP) AWS Organizations можно сделать обязательным требованием для любой точки доступа, созданной в организации, установку значения «vpc» для параметра API «network origin control» (средство контроля сетевого источника). После этого любая новая созданная точка доступа автоматически ограничивает доступ к данным, разрешая его только для трафика из VPC. Нет необходимости указывать дополнительную политику доступа, чтобы запросы на получение данных обрабатывались только от указанных VPC.

Вопрос. Можно ли применить политику запрета доступа к данным через Интернет для всех точек доступа в моей организации?

Да. Чтобы применить политику запрета доступа к данным через Интернет для точек доступа в организации, вам нужно для всех точек доступа разрешить доступ только из VPC. Для этого необходимо написать SCP AWS, которая поддерживает только значение «vpc» в параметре «network origin control» (средство контроля сетевого источника) в API «create_access_point()». Если у вас были ранее созданные точки доступа, взаимодействующие с Интернетом, их можно удалить. Вам также потребуется изменить политику корзин для каждой из корзин, чтобы дополнительно ограничить доступ по Интернету непосредственно к этим корзинам с использованием их имен хостов. Поскольку другие сервисы AWS могут напрямую получать доступ к вашей корзине, настройте политику так, чтобы разрешить доступ для нужных сервисов AWS. Примеры выполнения такой задачи показаны в документации к S3.

Вопрос: Как полностью отключить прямой доступ к корзине с использованием имени хоста корзины?

В настоящее время это невозможно, но вы можете подключить политику корзин, которая отклоняет запросы, сделанные без применения точки доступа. Дополнительные сведения приведены в документации к S3.

Вопрос: Можно ли заменить или удалить точку доступа из корзины?

Да. Если удалить точку доступа, доступ к связанной с нею корзине с использованием других точек доступа и имени хоста корзины не будет запрещен.

Вопрос. Какова стоимость Amazon S3 Access Points?

За точки доступа и за корзины, использующие точки доступа, дополнительная плата не взимается. Применяются обычные тарифы на запросы Amazon S3.

Вопрос. Как начать работу с сервисом Точки доступа S3?

Вы можете начать создавать точки доступа S3 для новых и существующих корзин, используя Консоль управления AWS, Интерфейс командной строки AWS (CLI), интерфейс прикладного программирования (API) и клиент Пакета средств разработки ПО AWS (SDK). Подробнее о сервисе Точки доступа S3 см. в руководстве пользователя.

Вопрос. Насколько надежно хранилище Amazon S3?

Amazon S3 – это самое надежное хранилище в облаке. Благодаря уникальной архитектуре S3 рассчитано на надежность данных на 99,999999999 % (11 девяток). Кроме того, S3 хранит данные с резервированием как минимум в трех зонах доступности (AZ), обеспечивая устойчивость к широкомасштабным авариям. Клиенты могут хранить данные в одной зоне доступности, чтобы минимизировать затраты на хранение или задержку, или в нескольких зонах доступности для обеспечения устойчивости к безвозвратной потере всего центра обработки данных, а также в нескольких регионах AWS для соблюдения требований географической устойчивости.

Вопрос. Каким образом Amazon S3 обеспечивает надежность на уровне 99,999999999 %?

Надежность системы Amazon S3 зависит от частоты отказов устройств хранения данных и скорости, с которой S3 может обнаружить неисправность, а затем повторно реплицировать данные на этих устройствах. S3 выполняет комплексную оценку целостности каждого загружаемого объекта, а также проверяет правильность и резервирование всех данных на нескольких устройствах хранения, а только потом признает загрузку выполненной. После сохранения данных S3 постоянно отслеживает их надежность с течением времени, периодически проверяя целостность всех данных в местах хранения. S3 также активно отслеживает резервируемость данных, чтобы убедиться, что объекты способны выдерживать одновременный отказ нескольких устройств хранения.

Вопрос. Защищены ли данные, хранящиеся в классе One Zone, от повреждения или потери зоны доступности?

В маловероятном случае потери или повреждения зоны доступности AWS данные в классе хранилища One Zone могут быть потеряны. Потеря данных может быть связана с чрезвычайными ситуациями, такими как пожар и затопление. Однако в классах хранилищ One Zone используются те же технические решения, что и в класса региональных хранилищ, которые обеспечивают защиту объектов от независимых сбоев на уровне дисков, хостов и стоек и надежность данных на уровне 99,999999999%.

Вопрос. Как Amazon S3 обеспечивает надежность, превышающую 99,999999999%?

В Amazon S3 сложилась прочная культура обеспечения надежности, а передовые методы обеспечения надежности закладываются в наши системы и программное обеспечение на этапе проектирования. У AWS больше опыта работы с высоконадежными хранилищами, чем у любого другого поставщика облачных сервисов, и мы используем этот опыт для снижения рисков долговечности и внедрения мер безопасности во все, что мы делаем.

Вопрос. Нужно ли мне при такой высокой надежности создавать резервные копии критически важных данных?

Да. Система надежности Amazon S3 не защищает от случайных или злонамеренных удалений. S3 полагается на то, что клиенты самостоятельно решают, какие данные они хотят сохранить, а от каких данных избавиться, а также какие дополнительные меры необходимы им для защиты от некорректного удаления (случайного или злонамеренного). Когда вы запрашиваете у Amazon S3 удаление данных, такие данные немедленно удаляются и не могут быть восстановлены AWS. Выполнение таких запросов на удаление является важной функцией сервиса.

Вопрос. Какие возможности предоставляет Amazon S3 для защиты моих данных от случайного или злонамеренного удаления?

Управление версиями объектов S3, репликация S3 и блокировка объектов S3 — все это дополнительные функции, которые можно использовать для дополнительной защиты данных, выходящей за рамки надежности, автоматически обеспечиваемой S3. Кроме того, для резервного копирования всех или части данных в корзинах S3 можно использовать приложение резервного копирования.

Вопрос. Какие контрольные суммы поддерживает Amazon S3 для проверки целостности данных?

Amazon S3 использует сочетание контрольной суммы Content-MD5, алгоритмы безопасного хэширования (SHA) и циклических проверок избыточности (CRC) для проверки целостности данных. Amazon S3 проверяет эти контрольные суммы на данных при хранении и восстанавливает любые повреждения, используя резервную копию данных. Кроме того, S3 вычисляет контрольную сумму всего сетевого трафика для выявления изменений в пакетах данных при хранении или получении данных. Вы можете выбрать один из четырех поддерживаемых алгоритмов контрольных сумм для проверки целостности данных в запросах на передачу и загрузку. В зависимости от потребностей вашего приложения можно выбрать алгоритм контрольных сумм SHA-1, SHA-256, CRC32 или CRC32C. Вы можете автоматически вычислять и проверять контрольные суммы при сохранении или извлечении данных из S3, а также получать информацию о контрольных суммах в любой момент с помощью API S3 GetObjectAttributes или отчета S3 Inventory. Вычисление контрольной суммы при потоковой передаче данных в S3 экономит время, потому что вы можете и проверять, и передавать данные за один проход, а не в ходе двух последовательных операций. Использование контрольных сумм для проверки данных – это рекомендуемая практика обеспечения надежности данных. Такие возможности повышают производительность и сокращают затраты.

Вопрос. Что такое управление версиями?

Функция управления версиями позволяет сохранять, извлекать и восстанавливать любую версию любого объекта, сохраненного в корзине сервиса Amazon S3. После включения функции управления версиями для корзины Amazon S3 будет сохранять существующие объекты каждый раз, когда вы выполняете операцию PUT, POST, COPY или DELETE на них. По умолчанию на запросы GET извлекается последняя записанная версия. Более старые версии перезаписанного или удаленного объекта можно извлечь, указав в запросе номер версии.

Вопрос: Почему следует использовать управление версиями?

Amazon S3 предоставляет клиентам инфраструктуру хранилища с высокой степенью надежности. Управление версиями предлагает дополнительный уровень защиты, предоставляя механизм восстановления, когда клиенты случайно переписывают или удаляют объекты. Эта функция позволяет легко восстанавливать систему после непреднамеренных действий пользователей и сбоев приложений. Управление версиями можно также использовать для хранения данных и архивирования.

Вопрос: Как начать использовать управление версиями?

Для начала использования управления версиями необходимо включить параметр настройки корзины Amazon S3. Дополнительные сведения о включении функции управления версиями см. в документации по Amazon S3.

Вопрос. Как управление версиями предохраняет меня от случайного удаления объектов?

Когда пользователь выполняет операцию DELETE на объекте, последующие простые (без использования управления версиями) запросы уже не смогут извлекать объект. Однако все версии этого объекта будут по-прежнему сохраняться в корзине Amazon S3 и могут быть извлечены или восстановлены. Только владелец корзины Amazon S3 может окончательно удалить версию. Можно установить правила управления жизненным циклом для управления сроками хранения и расходами на хранение нескольких версий объектов.

Вопрос. Можно ли завести специальную корзину или настроить для объектов Amazon S3 период отката для восстановления после удаления и перезаписи?

Для реализации периода отката для объектов в S3 можно использовать правила управления жизненным циклом Amazon S3 в сочетании с управлением версиями S3. Например, для корзины с включенным управлением версиями можно установить правило, которое архивирует все предыдущие версии в более экономичный класс хранилища S3 Glacier Flexible Retrieval и удаляет их через 100 дней, что обеспечит 100-дневный период отката любых изменений данных и поможет снизить расходы на хранилище. Кроме того, вы можете экономить, удаляя устаревшие (не текущие) версии объекта по истечении пяти дней при наличии как минимум двух новых версий объекта. Количество дней или более новых версий можно менять в зависимости от требуемой оптимизации затрат. Это позволяет при необходимости сохранять дополнительные версии объектов, но сокращает расходы за счет их перемещения или удаления через определенные промежутки времени.

Вопрос: Как обеспечить максимальную защиту сохраненных версий?

Для обеспечения дополнительного уровня безопасности можно использовать в системе управления версиями многофакторной аутентификации (MFA) для выполнения удаления. По умолчанию все запросы к вашей корзине Amazon S3 требуют подтверждения ваших прав доступа к аккаунту AWS. Если на корзине Amazon S3 включено управление версиями с функцией MFA Delete, для окончательного удаления версии объекта требуются два этапа аутентификации: права доступа к аккаунту AWS и действительный шестизначный код и серийный номер устройства аутентификации, находящегося в ваших руках. Дополнительную информацию о включении функции управления версиями с MFA Delete, включая приобретение и активацию устройства аутентификации, см. в документации по Amazon S3.

Вопрос. Как оплачивается управление версиями?

Каждая помещаемая на хранение или запрашиваемая версия объекта оплачивается по обычным тарифам Amazon S3. Например, рассмотрим следующий сценарий для иллюстрации стоимости хранилища при использовании функции управления версиями (предположим, что в текущем месяце 31 день):

1) 1-й день месяца: вы выполняете операцию PUT в 4 ГБ (4 294 967 296 байт) в своей корзине.
2) 16-й день месяца: вы выполняете операцию PUT в 5 ГБ (5 368 709 120 байт) в той же корзине, используя тот же ключ, что и при первой операции PUT в 1-й день.

Анализируя затраты на хранилище при вышеуказанных операциях, обратите внимание, что объект в 4 ГБ с 1-го дня не удаляется из корзины, когда объект в 5 ГБ записывается на 15-й день. Вместо этого объект в 4 ГБ сохраняется как более старая версия, а объект в 5 ГБ становится последней записанной версией объекта в корзине. В конце месяца:

Всего использованных Байт-Часов
[4 294 967 296 байт x 31 день x (24 часа / день)] + [5 368 709 120 байт x 16 дней x (24 часа / день)] = 5 257 039 970 304 Байт-Часов.

Переводя в ГБ-Месяцы:
5 257 039 970 304 байт-часа x (1 ГБ / 1 073 741 824 байт) x (1 месяц / 744 часа) = 6,581 ГБ-месяца

Стоимость вычисляется с учетом текущего тарифа для конкретного региона, указанного на странице цен на Amazon S3.

Вопрос. Что такое Amazon S3 Object Lock?

Amazon S3 Object Lock – это возможность Amazon S3, которая предотвращает удаление или перезапись версий объектов в течение установленного периода времени. Эта возможность позволяет применять политики хранения в качестве дополнительного уровня защиты данных либо для выполнения нормативных требований. Рабочие нагрузки можно переносить из существующих систем для однократной записи и многократного чтения (WORM) в Amazon S3 и настроить S3 Object Lock на уровне объектов или корзин для предотвращения удаления версий объектов до заданной даты, которую можно определить самостоятельно (Retain Until Date), или продолжать хранение в течение неопределенного срока (Legal Hold Date). Защита S3 Object Lock обеспечивается независимо от класса хранилища, в котором находится версия объекта, а также при переносах из одного класса хранилища в другой в течение жизненного цикла S3. 

S3 Object Lock следует использовать, если на вас распространяются законодательные требования по защите данных по правилам WORM либо если вы хотите использовать дополнительный уровень защиты данных в Amazon S3. S3 Object Lock может помочь в выполнении законодательных требований о том, что данные должны храниться в неизменяемом формате, а также может обеспечить защиту от случайного или злонамеренного удаления данных в Amazon S3.

Дополнительную информацию см. в руководстве пользователя S3 Object Lock.

Вопрос. Как работает сервис Amazon S3 Object Lock?

Amazon S3 Object Lock предотвращает удаление версии объекта в течение заданного периода сохранения либо сохраняет блокировку бессрочно (Legal Hold) пока она не будет снята. С помощью S3 Object Lock гарантируется неизменность версии объекта, пока применяется защита WORM. Защиту WORM можно применить либо путем задания даты Retain Until Date или применения статуса Legal Hold к версии объекта с помощью AWS SDK, CLI, REST API или консоли управления S3. Настройки сохранения можно задать в запросе PUT либо применить к существующему объекту после его создания.

Срок сохранения Retain Until Date определяет период времени, в течение которого версия объекта будет неизменной. После присвоения Retain Until Date объекту эту версию объекта будет невозможно удалить или изменить, пока не пройдет Retain Until Date. Если пользователь попытается удалить объект до даты Retain Until Date, в операции будет отказано.

Кроме того, можно сделать объект неизменным, применив к нему Legal Hold. Legal Hold предотвращает изменение или удаление версии объекта на неопределенный срок до тех пор, пока она не будет удалена явным образом. Для установки и снятия защиты Legal Hold аккаунт AWS должен иметь разрешение на запись для действия PutObjectLegalHold. Legal Hold можно применить к любому объекту в корзине с поддержкой защиты S3 Object Lock, независимо от наличия у этого объекта в текущий момент защиты WORM на какой‑либо срок сохранения.

S3 Object Lock можно настроить в одном из двух режимов. При использовании в режиме Governance аккаунты AWS с определенными разрешениями IAM могут снимать защиту WORM с версии объекта. Если вам требуется большая надежность по неизменности для выполнения законодательных требований, можно использовать режим Compliance. В режиме Compliance защиту WORM не может снять ни один пользователь, в том числе аккаунт root.

Как включить блокировку объектов Amazon S3 в корзине?

Включить блокировку объектов S3 при создании новой корзины, а также настроить блокировку объектов S3 в существующих корзинах можно с помощью консоли Amazon S3, AWS API или интерфейса командной строки AWS. Чтобы включить блокировку объектов S3 в существующих корзинах, используйте консоль Amazon S3 для редактирования настроек блокировки объектов S3 на вкладке «Свойства корзины», API PutObjectLockConfiguration AWS или интерфейс командной строки AWS. После включения блокировки объектов S3 вы можете установить режим и время хранения на уровне корзины по умолчанию, которые будут применяться ко всем новым объектам, загруженным в корзину. Дополнительные сведения см. в документации по настройке блокировки объектов S3 с помощью консоли S3, AWS API и интерфейса командной строки (CLI) AWS. 

Вопрос. Как включение блокировки объектов S3 в существующих корзинах влияет на новые объекты, загружаемые в корзины?

Включив блокировку объектов S3 в существующих корзинах, вы можете установить режим и период хранения блокировки объектов S3 по умолчанию для всех новых объектов, загруженных в корзину. На консоли S3 это можно сделать, используя вкладку Свойства выбранной корзины и включив режим и период хранения по умолчанию для всех новых объектов, загруженных в корзину. Кроме того, вы можете не настраивать параметры блокировки объектов на уровне корзины, что позволит сохранять новые объекты в корзинах незаблокированными. Вы можете впоследствии заблокировать отдельные объекты, изменив настройки блокировки объекта S3 на вкладке Свойства объекта, или использовать пакетные операции S3 для массовой блокировки объектов. Дополнительные сведения см. в документации по настройкам хранения по умолчанию.

Вопрос. Как включение блокировки объектов S3 для существующих корзин влияет на объекты, уже находящиеся в корзинах?

После включения блокировки объектов S3 в существующих корзинах настройки хранения применяются только к новым объектам, загружаемым в корзины. Чтобы заблокировать объекты, уже находящиеся в корзинах, можно изменить свойства хранения на уровне отдельных объектов с помощью консоли Amazon S3, интерфейса командной строки AWS или AWS API. В консоли S3 это можно сделать на вкладке «Свойства» объекта, изменив свойство Блокировка объектов — хранение в соответствии с законодательными требованиями или Блокировка объектов — хранение. Для изменения упомянутых свойств сразу у нескольких объектов можно использовать пакетные операции S3. Дополнительные сведения см. в документации по включению блокировки объектов S3 с помощью пакетных операций S3.

Вопрос. Можно ли отключить блокировку объектов S3 после ее включения?

Нет, после включения блокировки объектов S3 нельзя отключить ни блокировку объектов S3, ни управление версиями S3 для корзин.

Вопрос. Как начать репликацию объектов из корзин с включенной блокировкой объектов S3?

Чтобы начать репликацию объектов с помощью S3 Replication из корзин с включенной блокировкой объектов S3, добавьте конфигурацию репликации в исходную корзину, указав целевую корзину в том же или другом регионе AWS и в том же или другом аккаунте AWS. Можно реплицировать все объекты на уровне корзины S3 или отфильтровать объекты — на уровне общих префиксов или на уровне объектов, с помощью тегов объектов S3. Также необходимо указать роль Управления идентификацией и доступом AWS (IAM) с необходимыми разрешениями для выполнения операции репликации. Для репликации можно использовать консоль S3, AWS API, интерфейс командной строки AWS, AWS SDK или AWS CloudFormation. Кроме того, необходимо включить управление версиями S3 как для исходной, так и для целевой корзин. Также для репликации объектов из корзин с поддержкой блокировки объектов S3 в целевой корзине должна быть включена блокировка объектов S3. Дополнительные сведения см. в документации по настройке репликации S3 и использованию блокировки объектов S3 при репликации S3. 

Вопрос. Нужны ли дополнительные разрешения для репликации объектов из корзин с включенной блокировкой объектов S3?

Да, для репликации объектов из корзин с включенной блокировкой объектов S3 необходимо предоставить два новых разрешения — s3:GetObjectRetention и s3:GetObjectLegalHold — в исходной корзине в роли IAM, которую вы используете для настройки репликации. Если роль IAM имеет разрешение s3:Get*, она удовлетворяет требованию, и предоставлять другие разрешения не нужно. Дополнительные сведения см. в документации по использованию блокировки объектов S3 с репликацией S3.

Вопрос. Существуют ли ограничения на использование репликации S3 при репликации из корзин с включенной блокировкой объектов S3?

Нет. При репликации из корзин с включенной блокировкой объектов S3 поддерживаются все функции репликации S3, такие как репликация S3 в том же регионе (S3 SRR), межрегиональная репликация S3 (S3 CRR), метрики репликации S3 для отслеживания прогресса, контроль времени репликации S3 (S3 RTC) и пакетная репликация S3.

Вопрос. Как реплицировать существующие объекты из корзин с включенной блокировкой объектов S3?

Для репликации существующих объектов из корзин с включенной блокировкой объектов S3 можно использовать пакетную репликацию S3. Дополнительные сведения о репликации существующих объектов см. в документации по пакетной репликации S3.

Вопрос. Каков статус хранения реплик исходных объектов, защищенных с помощью блокировки объектов S3?

К репликам объектов, защищенным с помощью блокировки объектов S3 Object Lock, применяется та же политика хранения, что и к исходным объектам. Для просмотра состояния блокировки реплик объектов можно использовать команды GET Object или HEAD Object. Обе команды возвращают режим хранения, дату окончания хранения и статус хранения в соответствии с законодательными требованиями для указанной версии объекта. Также можно настроить отчеты Инвентаризации Amazon S3, чтобы в них отображались дата окончания хранения, режим хранения и статус хранения в соответствии с законодательными требованиями для всех объектов в корзине. Дополнительные сведения см. в документации по просмотру информации о блокировке объектов S3 для объекта и настройке Amazon S3 Inventory.

Вопрос. Что представляют собой классы хранилищ Amazon S3?

Amazon S3 предоставляет целый спектр классов хранилищ, что позволяет выбрать подходящий, исходя из требований рабочих нагрузок к типу доступа к данным, отказоустойчивости и стоимости. Классы хранилищ S3 отличаются минимальной стоимостью и предназначены для различных шаблонов доступа. Классы хранилищ S3 прекрасно подойдут для стандартных примеров использования, в том числе в случаях, когда необходима высокая производительность, выдвигаются требования к размещению данных, имеются неизвестные или изменчивые шаблоны доступа либо же архивное хранилище. В сумму платежа за класс хранилища S3 входит стоимость хранения данных и доступа к ним. Чтобы оптимизировать расходы и обеспечить минимальную стоимость обработки данных в течение всего срока их службы, при выборе подходящего для рабочей нагрузки класса хранилища S3 необходимо учитывать схемы доступа и период хранения данных.

Классы хранилища S3 можно настроить на уровне объектов, и одна корзина может содержать объекты, хранимые во всех классах хранилищ. С помощью политик жизненного цикла S3 также можно автоматически переносить объекты между классами хранилищ без каких-либо изменений в приложении.

Вопрос. Как выбрать класс хранилища S3?

Чтобы оптимизировать расходы и обеспечить минимальную стоимость обработки данных в течение всего срока их службы, при выборе подходящего для рабочей нагрузки класса хранилища S3 необходимо учитывать схемы доступа и период хранения данных. Схемы доступа во многих рабочих нагрузках носят изменяющийся (пользовательский контент), непредсказуемый (аналитика, озера данных) или неизвестный (новые приложения) характер. Поэтому, чтобы автоматически снижать затраты на хранение, в качестве класса хранилища по умолчанию необходимо использовать уровень S3 Intelligent-Tiering. Если вы знаете схемы доступа к собственным данным, то воспользуйтесь данным руководством. Класс хранилища S3 Standard идеально подходит для часто используемых данных.Это наилучший выбор в том случае, если доступ к данным осуществляется более одного раза в месяц. S3 Standard – Infrequent Access предназначен для данных, которые хранятся не менее месяца и доступ к которым осуществляется раз в месяц или два.

Классы хранилища Amazon S3 Glacier предназначены специально для архивных данных и обеспечивают максимальную производительность, гибкость при извлечении и минимальную стоимость облачного архивного хранилища. Теперь вы можете выбрать любой из трех классов хранилища для архивов, оптимизированных под разные шаблоны доступа и длительность хранения. Для архивных данных, к которым может потребоваться мгновенный доступ (например, в случае с медицинскими изображениями, ресурсами новостных мультимедиа или данными геномных исследований) лучше выбрать архивный класс хранилища мгновенного извлечения данных Amazon S3 Glacier, который отличается минимальной стоимостью хранения и возможностью извлечения за несколько миллисекунд. Для архивных данных, к которым не требуется мгновенный доступ, но может потребоваться ситуативный доступ к огромным наборам данных без дополнительных затрат на их извлечение (например, для резервных копий и при аварийном восстановлении), лучше выбрать класс хранилища S3 Glacier Flexible Retrieval, который поддерживает извлечение за несколько минут для небольших объемов и за 5–12 часов для пакетов. Чтобы сэкономить еще больше при длительном хранении архивных копий (например, для обеспечения соответствия требованиям или архивов цифровых СМИ), лучше выбрать класс хранилища глубокого архива Amazon S3 Glacier, который отличается минимальной стоимостью облачного хранилища и возможностью извлечения данных в пределах 12 часов. Все эти классы хранилищ обеспечивают отказоустойчивость нескольких зон доступности за счет избыточного хранения данных на множестве устройств и в физически разделенных зонах доступности региона AWS.

В том случае, когда требования к отказоустойчивости данных не столь высоки, можно выбрать класс хранилища с одной зоной доступности, например, S3 One Zone – Infrequent Access, и тем самым сократить расходы. Если ваши требования к размещению или задержке данных не могут быть удовлетворены существующими регионами AWS, можно выбрать хранилище класса S3 on Outposts для локального хранения данных.

Подробнее об этих классах хранилищ см. на странице «Классы хранилищ Amazon S3». 

Вопрос. Что такое S3 Intelligent-Tiering?

S3 Intelligent-Tiering является первым облачным хранилищем, автоматически снижающим стоимость хранения на уровне конкретных объектов путем автоматического перемещения данных на наиболее экономичные уровни доступа исходя из частоты получения доступа к этим данным и без ущерба производительности, платы за извлечение и операционных расходов. S3 Intelligent-Tiering отличается миллисекундной задержкой и высокой пропускной способностью в разрезе данных, к которым часто, нечасто и редко требуется доступ, на уровнях Frequent, Infrequent и Archive Instant Access. За небольшую ежемесячную плату S3 Intelligent-Tiering осуществляет мониторинг схем доступа и автоматически перемещает объекты с одного уровня на другой. За извлечение данных из S3 Intelligent-Tiering плата не взимается, а значит, вы не столкнетесь с неожиданным повышением платежей при изменении схемы доступа.

Можно использовать S3 Intelligent-Tiering как класс хранилища по умолчанию для практически любой рабочей нагрузки, особенно для озер данных, аналитики данных, машинного обучения, новых приложений и созданного пользователями контента.

Вопрос. Как работает хранилище S3 Intelligent-Tiering?

Класс хранилища Amazon S3 Intelligent-Tiering создан для оптимизации расходов на хранение путем автоматического перемещения данных на наиболее экономичный уровень доступа при изменении шаблонов доступа. За небольшую ежемесячную плату за мониторинг и автоматизацию объектов S3 Intelligent-Tiering осуществляет мониторинг шаблонов доступа, автоматически перемещает объекты, к которым не обращались в течение 30 дней подряд, на уровень Infrequent Access и обеспечивает экономию до 40 %. При отсутствии доступа в течение 90 дней подряд объекты перемещаются на уровень Archive Instant Access, что позволяет сэкономить на хранении до 68 %. Данный процесс не влияет на производительность, а за извлечение данных из хранилища S3 Intelligent-Tiering плата не взимается. Если в дальнейшем запрашивается доступ к объекту на уровне Infrequent Access или Archive Instant Access, он автоматически перемещается на уровень Frequent Access.

Если используются данные, доступ к которым можно получать асинхронно, то наиболее низкие тарифы доступны при активации дополнительных возможностей архивирования. После подключения одного или обоих уровней асинхронного доступа к архивным данным S3 Intelligent-Tiering перемещает объекты, доступ к которым не осуществлялся в течение как минимум 90 дней подряд, на уровень Archive Access и экономит до 71 %. Если к объектам не обращались в течение 180 дней, то они перемещаются на уровень Deep Archive Access для редко используемых данных, а экономия в таком случае составляет до 95 %. Если позже требуется получить объект, находящийся на дополнительных уровнях Archive или Deep Access, то он перемещается обратно на уровень Frequent Access, а перед получением восстанавливается с помощью RestoreObject. Подробно о восстановлении архивированных объектов см. в разделе Восстановление архивированных объектов. За извлечение данных из хранилища S3 Intelligent-Tiering плата не взимается. При использовании класса хранилища S3 Intelligent-Tiering дополнительная плата и политика жизненного цикла за перемещение объектов между уровнями доступа и операционные расходы также отсутствуют.

Для хранилища S3 Intelligent-Tiering не задан минимальный размер объекта, однако для объектов меньше 128 КБ автоматическая смена уровней не выполняется. Такие объекты можно сохранять в S3 Intelligent-Tiering, но за них будет взиматься плата по тарифам уровня Frequent Access. Плата за мониторинг и автоматизацию не взимается.

Если необходимо задать уровень S3 Intelligent-Tiering в качестве класса хранилища по умолчанию для вновь созданных данных, можно внести изменения в приложения, указав INTELLIGENT-TIERING в заголовке запроса API PUT S3. S3 Intelligent-Tiering спроектирован для того, чтобы предлагать доступность на уровне 99,9 % и надежность на уровне 99,999999999 %, а также по умолчанию обеспечивает низкую задержку и высокую пропускную способность хранилища S3 Standard. Чтобы посчитать дополнительную экономию от использования уровня Archive Instant Access, воспользуйтесь AWS Cost Explorer.

Вопрос. В каких случаях следует использовать хранилище S3 Intelligent-Tiering?

Можно использовать S3 Intelligent-Tiering как класс хранилища по умолчанию для практически любой рабочей нагрузки, особенно для озер данных, аналитики данных, машинного обучения, новых приложений и созданного пользователями контента. S3 Intelligent-Tiering является первым облачным хранилищем, автоматически снижающим стоимость хранения на уровне конкретных объектов путем автоматического перемещения данных на наиболее экономичные уровни доступа исходя из частоты получения доступа к этим данным и без ущерба производительности, платы за извлечение и операционных расходов. Если схемы доступа ваших данных, включая озера данных, аналитику данных и новые приложения, неизвестны или меняются, мы рекомендуем использовать S3 Intelligent-Tiering. При работе с данными, не требующими немедленного извлечения, доступ к которым в течение продолжительного времени осуществляется редко, рекомендуется активировать уровень Deep Archive Access, на котором оплата составляет всего 1 USD за ТБ в месяц. Хранилище S3 Intelligent‑Tiering предназначено для данных с неизвестной или меняющейся схемой доступа. При использовании класса хранилища S3 Intelligent-Tiering плата за извлечение данных не взимается.

Вопрос. Какую производительность обеспечивает хранилище S3 Intelligent-Tiering?

S3 Intelligent-Tiering автоматически оптимизирует затраты на хранение без ущерба для производительности. Уровни S3 Intelligent-Tiering Frequent, Infrequent и Archive Instant Access предлагают миллисекундную задержку и высокую пропускную способность.

Вопрос. Какую производительность обеспечивают дополнительные уровни Archive Access и Deep Archive Access?

При работе с данными с асинхронным доступом уровень Archive Access имеет ту же производительность, что и хранилище класса S3 Glacier Flexible Retrieval, а уровень Deep Archive Access – ту же производительность, что и хранилище класса S3 Glacier Deep Archive. Функцию асинхронного архивирования следует использовать только в том случае, если приложение может ждать от нескольких минут до нескольких часов. Если получаемый объект хранится на уровне доступа Archive или Deep Archive, то перед получением объекта сначала необходимо восстановить объект с помощью RestoreObject. Подробно о восстановлении архивированных объектов см. в разделе Восстановление архивированных объектов. Объекты, хранящиеся на уровне для доступа к архиву, перемещаются на уровень для частого доступа через 3–5 часов, а те, что хранятся на уровне для доступа к глубокому архиву, – в течение 12 часов. Если требуется более быстрый доступ к объекту на уровне для доступа к архиву, вы можете заплатить за ускоренное извлечение, выбрав повышенную скорость извлечения на консоли.

Вопрос. Какую надежность и доступность обеспечивает хранилище S3 Intelligent-Tiering?

Хранилище S3 Intelligent-Tiering обеспечивает ту же надежность 99,999999999 %, что и хранилище класса S3 Standard. Хранилище S3 Intelligent-Tiering обеспечивает доступность на уровне 99,9 %, а Соглашение об уровне обслуживания предусматривает компенсацию в том случае, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос: Как поместить данные в хранилище S3 Intelligent-Tiering?

Поместить данные в хранилище S3 Intelligent-Tiering можно двумя способами. Можно напрямую отправлять данные методом PUT в хранилище S3 Intelligent-Tiering, указав INTELLIGENT_TIERING в заголовке файла x-amz-storage-class, или задать политики жизненного цикла для перемещения объектов из хранилищ S3 Standard или S3 Standard – IA в S3 INTELLIGENT_TIERING.

Вопрос. Как начисляется оплата за S3 Intelligent-Tiering?

Начисляется ежемесячная плата за хранение, выполнение запросов на получение и передачу данных, находящихся в хранилище S3 Intelligent-Tiering, а также небольшая ежемесячная плата за мониторинг и автоматизацию для каждого объекта. Хранилище класса S3 Intelligent-Tiering автоматически сохраняет объекты на трех уровнях доступа: уровне частого доступа Frequent Access по ценам хранилища S3 Standard, уровне для нечастого доступа Infrequent Access по ценам хранилища S3 Standard-Infrequent Access и уровне Archive Instant Access по ценам хранилища S3 Glacier Instant Retrieval. Кроме того, S3 Intelligent-Tiering имеет два дополнительных уровня для асинхронного доступа к архиву: уровень Archive Access по цене хранилища S3 Glacier Flexible Retrieval и уровень Deep Archive Access по цене хранилища S3 Glacier Deep Archive.

S3 Intelligent-Tiering, взимая небольшую плату за мониторинг и автоматизацию, отслеживает схемы доступа и автоматически перемещает объекты между уровнями доступа с низкой задержкой и высокой пропускной способностью, а также между двумя уровнями асинхронного архивного доступа с самыми низкими тарифами на облачное хранение данных.

Для хранилища S3 Intelligent-Tiering не задан минимальный размер объекта, за хранение которого начисляется оплата, однако для объектов меньше 128 КБ автоматическая смена уровней не выполняется. Эти небольшие объекты не будут контролироваться, но за них будет взиматься плата по тарифам уровня Frequent Access; плата за мониторинг и автоматизацию не взимается. Для каждого объекта, заархивированного на уровне Archive Access или Deep Archive Access в S3 Intelligent-Tiering, Amazon S3 использует 8 КБ хранилища для имени объекта и других метаданных (плата начисляется по тарифам хранилища S3 Standard) и 32 КБ хранилища для индекса и связанных метаданных (плата начисляется по тарифам хранилища S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive).

Вопрос. Взимается ли плата за извлечение данных из S3 Intelligent-Tiering?

Нет. За извлечение данных из хранилища S3 Intelligent-Tiering плата не взимается. S3 Intelligent-Tiering отслеживает схемы доступа к данным и, при обращении к объекту, расположенному на уровнях Infrequent Access, Archive Instant Access или асинхронных архивных уровнях, автоматически перемещает его в Frequent Access.

Вопрос. Как активировать уровни для доступа к архиву хранилища S3 Intelligent-Tiering?

Активировать уровень для доступа к архиву и уровень для доступа к глубокому архиву можно, создав конфигурацию уровня для корзины, префикса или тега объекта с помощью Amazon S3 API, интерфейса командной строки или консоли управления S3. Один или оба уровня для доступа к архиву следует активировать только в том случае, если ваше приложение имеет асинхронный доступ к объектам.

Вопрос. Можно ли продлить время до архивации объектов в хранилище класса S3 Intelligent-Tiering?

Да. Время, которое должно пройти после последнего доступа к объектам в хранилище S3 Intelligent-Tiering перед их архивированием, можно продлить в конфигурации уровня для корзины, префикса или тега объекта. После активации объекты по умолчанию, доступ к которым не осуществлялся в течение как минимум 90 дней подряд, автоматически перемещаются на уровень Archive Access, минуя уровень Archive Instant Access. Объекты, доступ к которым не осуществлялся в течение как минимум 180 дней подряд, автоматически перемещаются на уровень доступа к глубокому архиву. Время, которое по умолчанию должно пройти с момента последнего доступа к объектам в хранилище S3 Intelligent-Tiering перед их автоматическим архивированием, можно продлить до 2 лет максимум.

Вопрос. Как получить доступ к объекту с уровней для доступа к архиву или глубокому архиву в хранилище класса S3 Intelligent-Tiering?

Чтобы получить доступ к объекту на уровнях для доступа к архиву или глубокому архиву, вам необходимо отправить запрос на восстановление, и объект вернется на уровень для частого доступа в том же хранилище класса S3 Intelligent-Tiering. Объекты, хранящиеся на уровне для доступа к архиву, перемещаются на уровень для частого доступа через 3–5 часов, а объекты, хранящиеся на уровне для доступа к глубокому архиву – в течение 12 часов. Когда объект будет перемещен на уровень для частого доступа, вы сможете отправить запрос GET для его извлечения.

Вопрос. Как узнать, на каком уровне доступа хранятся объекты в хранилище S3 Intelligent-Tiering?

Для создания отчетов об уровне доступа к объектам, хранящимся в хранилище класса S3 Intelligent-Tiering, можно воспользоваться Amazon S3 Inventory. Amazon S3 Inventory на ежедневной или еженедельной основе предоставляет выходные файлы CSV, ORC или Parquet, в которых перечислены объекты корзины S3 или объекты с общим префиксом и соответствующие им метаданные. Также можно сделать запрос HEAD для своих объектов и создать отчет об уровнях для доступа к архивам S3 Intelligent-Tiering.

Вопрос: Могут ли объекты перемещаться из хранилища S3 Intelligent-Tiering в хранилище другого класса в рамках жизненного цикла?

Да. Объекты жизненного цикла могут перемещаться из уровней S3 Intelligent-Tiering Frequent Access, Infrequent и Archive Instant Access на уровни S3 One-Zone Infrequent Access, S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive. Кроме того, в рамках жизненного цикла объекты могут переходить из дополнительных уровней архивного доступа S3 Intelligent-Tiering в S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive, а с уровня S3 Intelligent-Tiering Deep Archive Access на уровень S3 Glacier Deep Archive.

Вопрос. Определен ли минимальный срок хранения данных в хранилище S3 Intelligent-Tiering?

Нет. Класс хранилища S3 Intelligent-Tiering не имеет минимального срока хранения.

Вопрос. Существует ли минимальный размер объекта, за хранение которого в хранилище S3 Intelligent-Tiering, начисляется оплата?

Нет. Для хранилища класса S3 Intelligent-Tiering не задан минимальный размер объекта, за хранение которого начисляется оплата, однако для объектов меньше 128 КБ автоматическая смена уровней не выполняется. За более мелкие объекты будет взиматься плата по тарифам уровня Frequent Access; плата за мониторинг и автоматизацию не взимается. Для каждого объекта, заархивированного на переходном уровне Archive Access или Deep Archive Access в S3 Intelligent-Tiering, Amazon S3 использует 8 КБ хранилища для имени объекта и других метаданных (плата начисляется по тарифам хранилища S3 Standard) и 32 КБ хранилища для индекса и связанных метаданных (плата начисляется по тарифам хранилища S3 Glacier и S3 Glacier Deep Archive). Подробные сведения см. на странице цен Amazon S3. 

Вопрос: Что такое S3 Standard?

Amazon S3 Standard предлагает надежное хранилище с миллисекундной задержкой доступа и высокой пропускной способностью для данных, доступ к которым осуществляется часто, как правило, более одного раза в месяц. S3 Standard предназначен для таких примеров использования, где важна производительность: озера данных, облачные приложения, динамические веб-сайты, доставка контента, мобильные и игровые приложения, аналитика и модели машинного обучения. S3 Standard обеспечивает доступность на уровне 99,99 % и хранение объектов с надежностью 99,999999999 % в нескольких зонах доступности в течение года. Чтобы обеспечить внимательный контроль за тем, когда данные перемещаются между S3 Standard и более экономичными классами хранения, можно не вносить изменения в приложение, а использовать политики жизненного цикла S3.

Вопрос. В каких случаях следует использовать S3 Standard?

S3 Standard обеспечивает высокую производительность и доступ на уровне миллисекунд, а значит идеально подходит для данных, которые часто используются или изменяются. Кроме того, в рамках S3 Standard не взимается плата за извлечение данных, поэтому его можно использовать в тех случаях, когда осуществляется множество операций чтения или записи. S3 Standard оптимально подходит для различных видов использования, включая озера данных, облачные приложения, динамические веб‑сайты, распространение контента, мобильные приложения и игры, а также аналитику.

Вопрос. Что представляет собой класс хранилища Amazon S3 Express One Zone?

Amazon S3 Express One Zone — это высокопроизводительный класс хранилища Amazon S3 в одной зоне доступности, специально разработанный для обеспечения доступа к данным с задержкой, не превышающей несколько миллисекунд — для приложений клиентов, наиболее чувствительных к задержкам. Amazon S3 Express One Zone – это класс облачных объектных хранилищ с наименьшей задержкой, доступной на сегодняшний день: скорость доступа к данным в 10 раз выше, а стоимость запросов на 50 % ниже, чем у Amazon S3 Стандартный. Используя S3 Express One Zone, вы можете выбрать для хранения данных определенную зону доступности AWS в регионе AWS. Для еще большей оптимизации производительности можно разместить хранилище в одной зоне доступности с вычислительными ресурсами.

Вопрос. Когда следует выбирать класс хранилища Amazon S3 Express One Zone?

S3 Express One Zone — идеальный класс хранилища данных для приложений, чувствительных к задержкам, которым требуется самая высокая скорость доступа к данным. S3 Express One Zone — лучший класс хранения данных для операций с интенсивным использованием запросов, таких как тренировка и анализ систем машинного обучения (ML), интерактивная аналитика или создание мультимедийного контента.

Вопрос. Как начать работу с классом хранилища Amazon S3 Express?

Для начала можно создать корзину каталогов S3 в выбранной зоне доступности AWS. Для еще большей оптимизации производительности можно разместить хранилище в одной зоне доступности с вычислительными ресурсами. В корзинах каталогов по умолчанию включена функция блокировки публичного доступа S3. После создания корзины каталогов можно напрямую загрузить объекты в класс хранилища S3 Express One Zone или копировать объекты из существующих классов хранилища S3 в S3 Express One Zone. Также можно импортировать данные S3 Express One Zone одним щелчком мыши из Консоли управления AWS или использовать пакетные операции S3 для копирования всей корзины, префикса или подмножества данных из существующего класса хранения S3 в S3 Express One Zone.

Вопрос. Как импортировать данные в класс хранилища Amazon S3 Express One Zone?

После создания корзины каталогов можно импортировать данные из того же региона AWS в класс хранилища S3 Express One Zone через консоль S3, используя опцию Импорт. Импорт упрощает копирование данных в корзины каталогов S3, позволяя выбрать префикс или корзину для импорта данных без необходимости указывать все объекты для копирования по отдельности. Пакетные операции S3 копируют объекты в выбранном префиксе или корзине общего назначения. Отслеживать ход выполнения задания на импорт можно на странице сведений о задании пакетных операций S3.

Вопрос. В скольких зонах доступности хранятся объекты Amazon S3 Express One Zone?

Объекты S3 Express One Zone хранятся в одной выбранной вами зоне доступности AWS (AZ). Хранение объектов в одной зоне дает возможность хранить данные рядом с вычислительными мощностями, чтобы минимизировать задержку. Доступ к данным можно осуществлять и из других зон доступности, но задержка при этом будет увеличиваться.

Вопрос. Какую производительность обеспечивает хранилище Amazon S3 Express One Zone?

S3 Express One Zone обеспечивает такую же эластичность производительности, как и другие классы хранилищ S3, но задержка запросов на чтение первого бита и запись не превышает нескольких миллисекунд, что до 10 раз меньше, чем у существующих классов хранилищ S3. Благодаря S3 Express One Zone клиентам не нужно заранее планировать или выделять требования к емкости или пропускной способности. Они сразу же получают выгоду от выполнения запросов на порядок быстрее. S3 Express One Zone идеально подходит для аналитических задач, где снижение задержки хранения данных сокращает время выполнения задач и снижает общую стоимость владения. Также этот класс идеально подходит для интерактивных рабочих нагрузок, в которых специалистам при работе нужен максимально быстрый доступ к данным S3 — таких как редактирование видео.

Вопрос. За счет чего класс хранилища Amazon S3 Express One Zone обеспечивает высокую производительность?

Для оптимизации производительности и обеспечения стабильно низкой задержки запросов S3 Express One Zone использует уникальную архитектуру. S3 Express One Zone хранит данные на высокопроизводительном оборудовании, а его объектный протокол был усовершенствован, чтобы оптимизировать издержки на аутентификацию и метаданные. Для еще большего повышения скорости доступа и поддержки сотен тысяч запросов в секунду данные хранятся в корзине нового типа — корзине каталогов Amazon S3. Используя S3 Express One Zone, вы можете выбрать для хранения данных определенную зону доступности AWS в регионе AWS. Для еще большей оптимизации производительности можно разместить хранилище в одной зоне доступности с вычислительными ресурсами.

Вопрос. Какую скорость запросов поддерживает корзина каталогов S3?

Каждая корзина каталогов S3 может поддерживать сотни тысяч транзакций в секунду (TPS), независимо от количества каталогов в корзине.

Вопрос. Что происходит с корзиной каталогов S3, в которой запросы не обрабатываются в течение длительного периода?

Корзины каталогов S3, в которых не было запросов в течение как минимум 3 месяцев, перейдут в неактивное состояние. В неактивном состоянии корзина каталогов временно недоступна для чтения и записи. В ней также содержатся все хранилища, метаданные объектов и метаданные корзины. Существующая плата за хранение будет применяться к неактивным корзинам. При запросе доступа к неактивной корзине она переходит в активное состояние, обычно в течение нескольких минут. В течение этого переходного периода при чтении и записи будет возвращен код ошибки 503 SlowDown.

Вопрос. Как спланировать потребности моего приложения в пропускной способности с помощью класса хранилища S3 Express One Zone?

S3 Express One Zone обеспечивает такую же высокую эластичную пропускную способность, как и другие классы хранилищ Amazon S3. Еще при разработке в S3 Express One Zone закладывалась возможность увеличивать отдельным клиентам пропускную способность до очень высоких совокупных уровней. Например, приложения для тренировки моделей машинного обучения могут работать с миллионами объектов и петабайтами данных. За счет распределения этих запросов по отдельным подключениям — и, соответственно, максимально эффективного использования доступной полосы пропускания — можно добиться высочайшей эффективности.

Вопрос. Чем авторизация запросов в Amazon S3 Express One Zone отличается от других классов хранилищ S3?

В S3 Express One Zone аутентификация и авторизация запросов выполняется с помощью нового механизма, основанного на сеансах — S3 CreateSession, — который оптимизирован для обеспечения минимальной задержки. С помощью CreateSession можно запросить временные мандаты, обеспечивающие доступ к корзине с низкой задержкой. Эти временные мандаты привязаны к определенной корзине каталогов S3. Дополнительные сведения об этой модели, основанной на сеансах, см. в разделе S3 Create Session в руководстве для разработчиков.

Вопрос. Насколько надежен класс хранилища Amazon S3 Express One Zone?

При разработке S3 Express One Zone учитывалось требование по обеспечению доступности на уровне 99,95% в пределах одной зоны доступности. В соглашении об уровне обслуживания используется уровень доступности 99,9%.

Вопрос. За счет каких решений класс Amazon S3 Express One Zone обеспечивает доступность на уровне 99,95%?

При использовании S3 Express One Zone ваши данные резервируются на нескольких устройствах в одной зоне доступности. Сервис спроектирован так, чтобы выдерживать параллельные отказы устройств, быстро обнаруживая и восстанавливая любую потерю резервирования. Это означает, что в случае сбоя существующего устройства S3 Express One Zone автоматически перенаправляет запросы на новые устройства в зоне доступности. Такое резервирование обеспечивает бесперебойный доступ к вашим данным в зоне доступности.

Вопрос. Можно ли добавить данные к объекту в Amazon S3 Express для одной зоны?

Да. Данные к объекту в S3 Express для одной зоны добавляются с помощью запроса PutObject и задания в заголовке x-amz-write-offset-bytes размера объекта, к которому производится добавление. При использовании AWS SDK и AWS CLI для добавления к объекту можно использовать опцию write-offset-bytes. S3 Express для одной зоны поддерживает добавление данных только в конец объекта. Для этого смещение записи должно соответствовать размеру объекта.

Вопрос. Как взимается плата за пользование Amazon S3 Express для одной зоны?

Для начала работы с S3 Express One Zone не требуются предоплата или какие-либо обязательства. S3 Express One Zone взимает плату за хранение и запросы. Счета выставляются ежемесячно за объем хранилища, использованный за определенное время — измеряется в гигабайтах в месяц (ГБ-мес). Кроме того, взимается плата за доступ к данным — за каждый запрос в зависимости от его типа, например PUT и GET. За часть запроса, которая превышает 512 КБ, взимается дополнительная плата за гигабайт.

Пример 1.
Предположим, что вы храните 10 ГБ данных в S3 Express One Zone в течение 30 дней, проводя 1 000 000 операций записи и 9 000 000 операций чтения с помощью Athena (размер запроса — 10 КБ). К концу 30 дней вы удаляете 1 000 000 файлов. Приведенная ниже цена рассчитана для корзины, расположенной в регионе Восток США (Северная Вирджиния).

Стоимость хранилища
Всего использованных ГБ-месяцев = 10 ГБ-мес
Общая стоимость хранения = 10 ГБ-мес x 0,16 USD = 1,6 USD

Стоимость запросов
1 000 000 запросов PUT: 1 000 000 запросов x 0,0025 USD / 1000 = 2,5 USD
9 000 000 запросов GET: 9 000 000 запросов x 0,0002 USD / 1000 = 1,8 USD
1 000 000 запросов DELETE = 1 000 000 запросов x 0,00 USD (бесплатно) = 0 USD

Общая стоимость = 1,6 USD + 2,5 USD +1,8 USD = 5,9 USD

Пример 2.
Предположим, что вы храните 10 ТБ данных для тренировки системы машинного обучения в течение 8 часов каждый день, а затем удаляете их. За 8 часов рабочей нагрузки вы совершаете 5 242 880 операций записи и 10 485 760 операций чтения, размер запроса составляет 2 МБ. Общий срок использования составляет 30 дней (один месяц).

Стоимость хранилища
Общее использование байт-часов = [10 995 116 277 760 байт x 30 дней x (8 часов в день)] = 2 638 827 906 662 400 байт-часов = 3303,77 ГБ-мес
Общая стоимость хранилища = 3303,77 ГБ x 0,16 USD = 528,51 USD

Стоимость запросов
5 242 880 запросов PUT в день: 5 242 880 запросов x 30 x 0,0025 USD / 1000 = 393,22 USD
10 485 760 запросов GET в день: 10 485 760 запросов x 30 x 0,0002 / 1,000 USD = 62,91 USD
5 242 880 запросов DELETE = 5 242 880 запросов x 0,00 USD (бесплатно) = 0 USD

За каждый запрос будет взиматься дополнительная плата за пропускную способность: 1,5 МБ (2-0,5 МБ) = 0,001465 ГБ
Плата за полосу пропускания PUT: 0,001465 ГБ x 5 242 880 x 30 x 0,008 USD = 1843,2 USD
Плата за полосу пропускания GET: 0,001465 ГБ x 10 485 760 x 30 x 0,015 USD = 691,2 USD

Общая стоимость = 528,51 USD + 393,22 USD + 62,91 USD + 1843,2 USD + 691,2 USD = 3519,05 USD

Вопрос. Взимается ли дополнительная плата за передачу данных при использовании хранилища класса Amazon S3 Express One Zone в том же регионе?

Плата за запросы на доступ к данным в S3 Express One Zone включает расходы на передачу данных в сети AWS в регионе. Дополнительная плата за передачу данных между Amazon EC2 (или любым сервисом AWS) и S3 Express One Zone в одном и том же регионе (например, внутри региона Восток США (Северная Вирджиния)) не взимается.

Вопрос. Взимается ли дополнительная плата за использование сети при использовании шлюзовых адресов VPC с хранилищем класса Amazon S3 Express One Zone?

Плата за запросы на доступ к данным в S3 Express One Zone включает стоимость использования шлюзовых адресов VPC. Дополнительная плата за использование шлюзовых адресов VPC с S3 Express One Zone не взимается.

Вопрос: Что такое S3 Standard-Infrequent Access?

S3 Standard-Infrequent Access (S3 Standard-IA) – это хранилище Amazon S3 для данных, доступ к которым выполняется относительно редко, но при необходимости должен обеспечиваться быстро. Хранилище S3 Standard – IA обеспечивает такую же высокую надежность, пропускную способность и низкие задержки, как и хранилище класса Amazon S3 Standard, но отличается более низкими ценами за гигабайт сохраняемых и извлекаемых данных. Такое сочетание низкой стоимости и высокой производительности делает хранилище S3 Standard – IA идеальным выбором для долгосрочного хранения данных, резервного копирования, а также хранения данных на случай аварийного восстановления. Класс хранилища S3 Standard – IA устанавливается на уровне объекта и может применяться в одной корзине с классами хранилищ S3 Standard или S3 One Zone – IA, что позволяет автоматически переносить объекты между классами хранилищ с помощью политик жизненного цикла S3 без каких-либо изменений в приложении.

Вопрос: В каких случаях следует использовать S3 Standard – IA?

Класс хранилища S3 Standard – IA является идеальным выбором для хранения данных, доступ к которым осуществляется относительно редко, но при этом должен обеспечиваться быстро. S3 Standard – IA идеально подходит для длительного хранения файлов, для устаревающих данных синхронизации, общих данных или других данных, подверженных устареванию.

Вопрос. Какую производительность обеспечивает хранилище S3 Standard – IA?

S3 Standard – IA обеспечивает те же показатели миллисекундной задержки и высокой пропускной способности, что и хранилище класса S3 Standard. 

Вопрос. Как поместить данные в хранилище S3 Standard – IA?

Поместить данные в хранилище S3 Standard – IA можно двумя способами. Можно непосредственно выполнить для записи в S3 Standard – IA запрос PUT, указав в заголовке запроса x-amz-storage-class значение STANDARD_IA. Как вариант, можно задать политики жизненного цикла для переноса объектов из класса хранилища S3 стандарт в S3 стандарт – IA.

Вопрос. Какая плата начисляется за изменение класса хранилища объекта с S3 стандарт – IA на S3 стандарт с помощью запроса COPY?

С вас будет взиматься плата за запрос COPY S3 стандарт (класс целевого хранилища) и за получение данных S3 стандарт – IA (класс хранилища-источника). Подробную информацию см. на странице цен на Amazon S3.

Вопрос. Предусмотрена ли при использовании S3 стандарт – IA плата за минимальный срок хранения?

S3 Standard – IA предназначено для продолжительного хранения и нечастого доступа к данным, которые требуется хранить месяцы и годы. Если данные удаляются из «Amazon S3 со стандартным редким доступом (S3 стандарт-IA)» в течение первых 30 дней, плата начисляется за полные 30 дней хранения. Общую информацию о ценах на хранилище «Amazon S3 со стандартным редким доступом (S3 стандарт-IA)» см. на странице цен на Amazon S3.

Вопрос. Предусмотрена ли при использовании «Amazon S3 со стандартным редким доступом (S3 стандарт-IA)» плата за минимальный размер хранимого объекта?

Хранилище S3 Standard – IA предназначено для крупных объектов, при этом предусмотрена минимальная плата за хранение объектов на уровне 128 КБ. За объекты размером менее 128 КБ будет взиматься плата как за объекты по 128 КБ. Например, за объект размером 6 КБ в хранилище «Amazon S3 со стандартным редким доступом (S3 стандарт-IA)» будет взиматься плата за хранение фактических 6 КБ и дополнительных 122 КБ. Общую информацию о ценах на хранилище «Amazon S3 со стандартным редким доступом (S3 стандарт-IA)» см. на странице цен на Amazon S3.

Вопрос. Можно ли перемещать объекты из хранилища «Amazon S3 со стандартным редким доступом (S3 стандарт-IA)» в хранилище «Amazon S3 для одной зоны – редкий доступ (S3 одна зона-IA)» или «Гибкое извлечение данных Amazon S3 Glacier»?

Да. Помимо политик жизненного цикла для миграции объектов из хранилища S3 Standard в S3 Standard – IA можно настроить политики жизненного цикла, позволяющие перемещать объекты из хранилища S3 Standard – IA в хранилища классов S3 One Zone – IA, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive.

Вопрос: Что представляет собой класс хранилища нечастого доступа в одной зоне доступности (S3 One Zone-IA)?

S3 One Zone – IA представляет собой класс хранилища Amazon S3, который можно выбрать для хранения объектов в одной зоне доступности. S3 One Zone – IA обеспечивает избыточное хранение данных в пределах одной зоны доступности и стоит на 20 % дешевле, чем географически избыточное хранилище S3 Standard – IA, обеспечивающее избыточное хранение данных в нескольких географически изолированных зонах доступности.

В соответствии с Соглашением об уровне обслуживания (SLA) хранилище S3 One Zone – IA обеспечивает доступность на уровне 99% и надежность на уровне 99,999999999% в пределах зоны доступности. Однако данные в хранилище класса S3 One Zone – IA не являются устойчивыми к физическому выходу из строя всей зоны доступности.

Хранилище S3 One Zone – IA предоставляет те же возможности Amazon S3, что и хранилища S3 Standard и S3 Standard – IA; его можно использовать посредством API Amazon S3, интерфейса командной строки или консоли сервиса. Класс хранилища S3 One Zone – IA устанавливается на уровне объектов и может применяться в одной корзине с классами хранилищ S3 Standard и S3 Standard – IA. С помощью политик жизненного цикла S3 можно автоматически переносить объекты между классами хранилищ без каких-либо изменений в приложении.

Вопрос: Каковы наиболее подходящие примеры использования хранилища S3 One Zone – IA?

Клиенты могут использовать S3 One Zone – IA в качестве хранилища нечастого доступа для таких данных, как резервные копии, копии для аварийного восстановления, или для других легко восстанавливаемых данных.

Вопрос. Какую производительность обеспечивает хранилище S3 One Zone – IA?

Хранилище S3 One Zone – IA обеспечивает те же показатели задержки и пропускной способности, что и хранилища классов S3 Standard и S3 Standard-Infrequent Access.

Вопрос. Насколько надежно хранилище S3 One Zone – IA?

Класс хранилищ S3 One Zone – IA обеспечивает надежность на уровне 99,999999999 % в пределах зоны доступности. Однако данные в хранилище класса S3 One Zone – IA не являются устойчивыми к потере связи с зоной доступности и ее физическому выходу из строя. Для сравнения: хранилища классов S3 Standard, S3 Intelligent-Tiering, S3 Standard – IA и S3 Glacier спроектированы таким образом, чтобы выдерживать потерю связи с зоной доступности или ее выход из строя. S3 One Zone – IA может обеспечить уровень надежности и доступности, сравнимый с современными физическими ЦОД или выше такового, предоставляя в то же время дополнительные преимущества в виде эластичности хранилища и функциональных возможностей Amazon S3.

Вопрос. Zone в контексте S3 One Zone – IA – это то же самое, что и зона доступности AWS?

Да. Каждый регион AWS представляет собой отдельную географическую область. В каждом регионе имеется несколько изолированных местоположений, называемых зонами доступности. Хранилище класса Amazon S3 One Zone – IA использует одну зону доступности AWS в пределах региона.

Вопрос. Насколько надежно хранилище S3 One Zone – IA защищено от аварийных ситуаций?

В каждой зоне доступности применяются резервные системы электропитания и сети передачи данных. В пределах региона AWS зоны доступности располагаются в различных поймах и сейсмических районах; они отделены друг от друга географически для обеспечения защиты в случае пожара. Хранилища классов S3 Standard и S3 Standard – IA обеспечивают защиту от аварийных ситуаций путем избыточного хранения данных в нескольких зонах доступности. Хранилище S3 One Zone – IA обеспечивает защиту от сбоев оборудования в пределах зоны доступности, не является устойчивым к физическому выходу из строя зоны доступности вследствие серьезных стихийных бедствий, таких как землетрясение или наводнение. Среди вариантов S3 One Zone – IA, S3 Standard и S3 Standard – IA клиенты могут выбрать класс хранилища, который наилучшим образом соответствует требованиям, предъявляемым к надежности и доступности хранилища.

Вопрос. Что такое класс хранилища S3 Glacier Instant Retrieval?

Класс хранилища S3 Glacier Instant Retrieval отличается минимальной стоимостью длительного хранения данных, доступ к которым требуется редко и которые необходимо извлекать за несколько миллисекунд. S3 Glacier Instant Retrieval обеспечивает самый быстрый доступ к архивному хранилищу с той же пропускной способностью и за то же количество миллисекунд, что и классы хранилищ S3 Standard и S3 Standard – IA. S3 Glacier Instant Retrieval обеспечивает надежность хранения данных на уровне 11 девяток (99,999999999 %) и доступность на уровне 99,9 % благодаря использованию избыточного размещения как минимум в трех физически удаленных зонах доступности AWS.

Вопрос. В каких случаях следует использовать S3 Glacier Instant Retrieval?

S3 Glacier Instant Retrieval подходит для работы с данными, доступ к которым осуществляется редко (раз в квартал), но с миллисекундной скоростью. Этот класс хранилища идеален в том случае, когда нужна такая же низкая задержка и высокая пропускная способность, как у S3 Standard – IA, но доступ к данным происходит реже. S3 Glacier Instant Retrieval предлагает низкую стоимость хранения и чуть более высокие тарифы доступа к данным.

Вопрос. Какова доступность и надежность S3 Glacier Instant Retrieval?

S3 Glacier Instant Retrieval, как и S3 Standard – IA, обеспечивает надежность хранения данных на уровне 11 девяток (99,999999999 %) и доступность на уровне 99,99 %. Кроме того, в соответствии с соглашением об уровне обслуживания предоставляет кредиты на услуги сервиса в том случае, если доступность в течение любого платежного периода составляет менее 99 %.

Вопрос. Какую производительность предлагает S3 Glacier Instant Retrieval?

S3 Glacier Instant Retrieval обеспечивает те же показатели миллисекундной задержки и высокой пропускной способности, что и хранилища классов S3 Standard и Standard – IA. В отличие от классов хранилищ S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive, предназначенных для асинхронного доступа, перед обращением к объекту в S3 Glacier Instant Retrieval не нужно отправлять запрос на восстановление.

Вопрос. Как отправить данные в хранилище S3 Glacier Instant Retrieval?

Поместить данные в хранилище S3 Glacier Instant Retrieval можно двумя способами. Можно напрямую отправлять данные методом PUT в хранилище Glacier Instant Retrieval, указав GLACIER_IR в заголовке файла x-amz-storage-class, или задать политики жизненного цикла S3 для перемещения объектов из хранилищ S3 Standard или S3 Standard – IA в S3 Glacier Instant Retrieval.

Вопрос. Предусмотрена ли при использовании Amazon S3 Glacier Instant Retrieval плата за минимальный срок хранения?

S3 Glacier Instant Retrieval предназначен для продолжительного хранения данных с нечастым доступом, хранящихся месяцы и годы. Объекты, архивированные в S3 Glacier Instant Retrieval, хранятся не менее 90 дней. При этом плата за объекты, которые удаляются, перезаписываются или перемещаются до истечения 90 дней, будет взиматься согласно тарифам на хранение, пропорционально оставшимся дням. Подробнее о ценах на Amazon S3 Glacier Instant Retrieval см. на странице цен на Amazon S3.

Вопрос. Предусмотрена ли при использовании Amazon S3 Glacier Instant Retrieval плата за минимальный размер объекта?

Хранилище S3 Glacier Instant Retrieval предназначено для крупных объектов, при этом предусмотрена минимальная плата за хранение объектов размером 128 КБ. За объекты размером менее 128 КБ будет взиматься плата как за объекты по 128 КБ. Например, за объект размером 6 КБ в хранилище S3 Glacier Instant Retrieval будет взиматься плата за хранение фактических 6 КБ и дополнительных 122 КБ. Подробнее о ценах на Amazon S3 Glacier Instant Retrieval см. на странице цен на Amazon S3.

Вопрос. Каким образом начисляется плата за S3 Glacier Instant Retrieval?

S3 Glacier Instant Retrieval взимает ежемесячную плату за хранение, отправку запросов (в зависимости от типа запроса) и извлечение данных. Объем подлежащего оплате за месяц хранилища основан на среднем объеме хранилища, использованном на протяжении месяца и измеряемом в гигабайтах за месяц (ГБ-Месяцах). Плата за запросы начисляется в зависимости от использованных типов запросов, например PUT, COPY и GET. Кроме того, при возврате данных начисляется плата за каждый ГБ. 

Вопрос. Что такое класс хранилища гибкого извлечения данных Amazon S3 Glacier?

Хранилище класса гибкого извлечения данных Amazon S3 Glacier обеспечивает экономичное хранение, снижая затраты на 10 % (по сравнению с классом мгновенного извлечения данных Amazon S3 Glacier) для архивных данных, доступ к которым требуется 1–2 раза в год в асинхронном режиме, а также предлагает бесплатное пакетное извлечение. Класс хранилища гибкого извлечения данных S3 Glacier идеально подходит для архивных данных, к которым не требуется мгновенный доступ, но может потребоваться ситуативный доступ к огромным наборам данных без дополнительных затрат на их извлечение (например, для резервных копий и при аварийном восстановлении). Гибкое извлечение данных Amazon S3 Glacier предоставляет наиболее гибкий баланс между стоимостью и скоростью доступа, позволяя получать данные за несколько минут или за несколько часов в пакетном режиме. Это идеальное решение для резервного копирования, аварийного восстановления, хранения данных вне предприятия или для других данных, которые нужно иногда получать с задержкой в несколько минут и на хранение которых нет смысла тратить много средств. S3 Glacier Flexible Retrieval обеспечивает надежность хранения данных на уровне 11 девяток (99,999999999 %) и доступность на уровне 99,99 % за год благодаря использованию избыточного размещения в нескольких физически удаленных зонах доступности AWS.

Вопрос. Почему стоит выбрать класс хранилища гибкого извлечения данных Amazon S3 Glacier?

Класс хранилища гибкого извлечения данных S3 Glacier идеально подходит для архивных данных, к которым не требуется мгновенный доступ, но может потребоваться ситуативный доступ к огромным наборам данных без дополнительных затрат на их извлечение (например, для резервных копий и при аварийном восстановлении). Гибкое извлечение данных Amazon S3 Glacier предоставляет наиболее гибкий баланс между стоимостью и скоростью доступа, позволяя получать данные за несколько минут или за несколько часов в пакетном режиме. Это идеальное решение для резервного копирования, аварийного восстановления, хранения данных вне предприятия или для других данных, которые нужно иногда получать с задержкой в несколько минут без дополнительных затрат на извлечение.

Вопрос. Как поместить данные в S3 Glacier Flexible Retrieval?

Поместить данные в хранилище S3 Glacier Flexible Retrieval можно двумя способами. Можно непосредственно выполнить запрос PUT для записи в S3 Glacier Flexible Retrieval, указав в заголовке запроса x-amz-storage-class значение GLACIER. Можно также использовать правила жизненного цикла S3 для перемещения объектов из любых классов хранилища S3 для активных данных (S3 Standard, S3 Intelligent-Tiering, S3 Standard − IA, S3 One Zone − IA и S3 Glacier Instant Retrieval) в Amazon S3 Glacier Flexible Retrieval исходя из возраста объектов. Для непосредственного выполнения запроса PUT в Amazon S3 Glacier или создания правил архивирования используйте консоль управления Amazon S3, AWS SDK или API Amazon S3.

Примечание. Гибкое извлечение данных Amazon S3 Glacier также доступно через оригинальные прямые Glacier API и в консоли управления Amazon S3 Glacier. Для более широких возможностей и доступа к полному набору функций S3, включая управление жизненным циклом, Репликацию S3, Объектив хранения данных Amazon S3 и многое другое, мы рекомендуем использовать для работы S3 API и консоль управления S3.

Вопрос. Как извлечь объекты, заархивированные в хранилище S3 Glacier Flexible Retrieval? Отправляются ли уведомления после восстановления объекта?

Доступ к архивированным в S3 Glacier Flexible Retrieval объектам осуществляется асинхронно. Для извлечения данных, сохраненных в S3 Glacier Flexible Retrieval, необходимо инициировать запрос на извлечение с помощью API Amazon S3 или консоли Amazon S3. В ходе запроса на извлечение создается временная копия данных в хранилище класса S3 Standard, при этом архивные данные в S3 Glacier Flexible Retrieval остаются неизменными. Временная копия будет храниться в Amazon S3 на протяжении указанного пользователем срока (в днях). После извлечения доступ к временной копии из Amazon S3 можно получить, выполнив запрос GET сервиса Amazon S3 к заархивированному объекту. В регионах AWS, где стоимость хранилища с пониженной избыточностью ниже стоимости S3 Standard, временно доступные данные оплачиваются как хранилище с пониженной избыточностью. Однако класс биллингового хранилища с пониженной избыточностью не отражает способ хранения данных.

Благодаря уведомлениям о восстановлении теперь можно получать оповещение о событии S3, когда объект успешно восстанавливается из хранилища S3 Glacier Flexible Retrieval и вам становится доступна его временная копия. Владелец корзины (или другие лица, которым политикой IAM предоставлено соответствующее разрешение) может настроить отправку оповещений в Amazon Simple Queue Service (SQS) или Amazon Simple Notification Service (SNS). Оповещения также могут доставляться в AWS Lambda для обработки функцией Lambda.

Вопрос. Сколько времени требуется на извлечение объектов, заархивированных в Amazon S3 Glacier Flexible Retrieval?

Обрабатывая задание на извлечение данных, Amazon S3 сначала извлекает запрошенные данные из S3 Glacier Flexible Retrieval, а затем создает временную копию запрашиваемых данных в Amazon S3. Обычно это занимает несколько минут. Время доступа к запрашиваемым данным зависит от выбранного пользователем варианта извлечения: ускоренное, стандартное или пакетное. При использовании ускоренного извлечения доступ к данным предоставляется обычно в течение 1–5 минут для любых объектов, кроме самых крупных (более 250 МБ). Извлечение объектов по стандартному варианту обычно занимает 3–5 часов. Стандартные операции извлечения при запуске с помощью пакетных операций S3 обычно начинаются через несколько минут. Пакетное извлечение выполняется бесплатно, как правило, за 5–12 часов. Подробнее об опциях S3 Glacier Flexible Retrieval см. раздел Восстановление архивированного объекта в руководстве пользователя S3.

С выделенными единицами емкости класса хранилища S3 Glacier можно внести фиксированный авансовый платеж за определенный месяц, чтобы обеспечить доступ к ресурсам для ускоренного извлечения из S3 Glacier Flexible Retrieval. Вы можете приобрести две единицы выделенной емкости в месяц, чтобы увеличить объем извлекаемых данных. Каждая единица ресурса гарантирует, что каждые пять минут можно выполнить минимум три ускоренных извлечения, и обеспечивает пропускную способность извлечения до 150 МБ/с. Если для вашей рабочей нагрузки требуется высоконадежный, быстрый и предсказуемый доступ к подмножеству данных, следует приобрести выделенные ресурсы извлечения. Без выделенных ресурсов в периоды высокого спроса могут не приниматься запросы на ускоренное извлечение. Если вам при любых обстоятельствах требуется доступ к ускоренному извлечению, мы рекомендуем приобрести выделенные ресурсы извлечения.

Выделенные ресурсы можно приобрести с помощью консоли Amazon S3, REST API для покупки выделенных ресурсов, пакеты AWS SDK или AWS CLI. Срок службы единиц выделенных ресурсов составляет один месяц, начиная с даты и времени покупки. Работа единицы заканчивается в дату окончания, которая наступает точно через месяц во время, аналогичное времени приобретения, и ни секундой больше. Подробные цены на выделенные ресурсы см. на странице цен Amazon S3.

Вопрос. Как рассчитывается стоимость хранилища для объектов Amazon S3, архивируемых в S3 Glacier Flexible Retrieval?

Объем подлежащего оплате за месяц хранилища основан на среднем объеме хранилища, использованном на протяжении месяца и измеряемом в гигабайт – месяцах (ГБ-Месяцах). Amazon S3 рассчитывает размер объектов как объем хранимых данных плюс дополнительные 32 КБ данных в S3 Glacier плюс дополнительные 8 КБ данных в хранилище класса Amazon S3 Standard. S3 Glacier Flexible Retrieval занимает дополнительно 32 КБ данных на каждый объект для своего индекса и метаданных, необходимых для идентификации и извлечения данных. Amazon S3 требует 8 КБ для хранения и поддержания определяемого пользователем имени и метаданных объектов, архивируемых в S3 Glacier Flexible Retrieval. С помощью API LIST сервиса Amazon S3 или отчета S3 Inventory можно получить актуальный список всех имен объектов Amazon S3 в режиме реального времени, в том числе объектов, размещенных в S3 Glacier Flexible Retrieval.

Например, если вы заархивировали 100 000 объектов в 1 ГБ каждый, оплачиваемое хранилище было бы:
1,000032 гигабайта на каждый объект x 100 000 объектов = 100 003,2 гигабайта хранилища S3 Glacier.
0,000008 гигабайт на каждый объект x 100 000 объектов = 0,8 гигабайт хранилища S3 Standard.

Стоимость вычисляется на основе текущего тарифа для конкретного региона AWS, который можно узнать на странице цен на Amazon S3. Примеры расчета цен на Amazon S3 см. на странице вопросов и ответов по выставлению счетов за S3 или воспользуйтесь Калькулятором цен AWS.

Вопрос: Существует ли минимальный срок хранения и минимальная плата за хранение объектов для сервиса Гибкое извлечение данных Amazon S3 Glacier?

Объекты, архивированные в сервисе Гибкое извлечение данных Amazon S3 Glacier, хранятся там как минимум 90 дней. При удалении, перезаписи или перемещении объектов до истечения 90-дневного срока начисляется плата за хранение, пропорциональная количеству дней, оставшихся до этого минимального срока.

Для сервиса Гибкое извлечение данных S3 Glacier также нужны 40 КБ дополнительных метаданных для каждого архивированного объекта. В них входят 32 КБ метаданных, за которые взимается плата по тарифу на Гибкое извлечение данных S3 Glacier и которые нужны для идентификации и извлечения ваших данных. За остальные 8 КБ данных взимается плата по стандартному тарифу на S3. Они нужны, чтобы хранить определенное пользователем имя и метаданные для объектов, архивированных в сервисе Гибкое извлечение данных S3 Glacier. Это позволяет в реальном времени получать список всех объектов в S3 с помощью API S3 LIST или отчета S3 Inventory. Подробнее о ценах на сервис Гибкое извлечение Amazon S3 Glacier см. на странице цен на Amazon S3. 

Вопрос. Какова стоимость извлечения данных из сервиса Гибкое извлечение данных Amazon S3 Glacier?

Существует три способа извлечения данных из S3 Glacier Flexible Retrieval: ускоренное, стандартное и пакетное. Для ускоренного и стандартного извлечения установлены тарифы за гигабайт извлекаемых данных и за запрос (т. е. вы платите за запросы к объектам Amazon S3). Плата за пакетное извлечение из S3 Glacier Flexible Retrieval не взимается. Подробную информацию о расценках S3 Glacier по регионам AWS см. на странице цен на Amazon S3.

Вопрос. Предоставляет ли Amazon S3 возможность архивирования объектов в более дешевые варианты хранилища?

Классы хранилища Amazon S3 Glacier предназначены специально для архивных данных и обеспечивают максимальную производительность, гибкость при извлечении и минимальную стоимость облачного архивного хранилища. Теперь вы можете выбрать любой из трех классов хранилища для архивов, оптимизированных под разные шаблоны доступа и длительность хранения. Для архивных данных, к которым может потребоваться мгновенный доступ (например, в случае с медицинскими изображениями, ресурсами новостных мультимедиа или данными геномных исследований) лучше выбрать архивный класс хранилища мгновенного извлечения данных Amazon S3 Glacier, который отличается минимальной стоимостью хранения и возможностью извлечения за несколько миллисекунд. Для архивных данных, к которым не требуется мгновенный доступ, но может потребоваться ситуативный доступ к огромным наборам данных без дополнительных затрат на их извлечение (например, для резервных копий и при аварийном восстановлении), лучше выбрать класс хранилища S3 Glacier Flexible Retrieval, который поддерживает извлечение за несколько минут для небольших объемов и за 5–12 часов для пакетов. Чтобы сэкономить еще больше при длительном хранении архивных копий (например, для обеспечения соответствия требованиям или архивов цифровых СМИ), лучше выбрать класс хранилища глубокого архива Amazon S3 Glacier, который отличается минимальной стоимостью облачного хранилища и возможностью извлечения данных в пределах 12 часов.

Вопрос. Какая серверная инфраструктура используется для хранилищ классов S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive?

Мы предпочитаем говорить об итоговых преимуществах для клиента в отношении производительности, надежности, доступности и безопасности. Однако клиенты часто задают нам этот вопрос. Мы используем ряд технологий, позволяющих нам предлагать клиентам текущие цены. Наши сервисы основаны на распространенных технологиях хранилищ данных. Они реализованы в специально спроектированных системах с оптимальными экономическими характеристиками и работают под управлением собственного программного обеспечения AWS. Максимальная эффективность доступа к классам хранилищ S3 Glacier достигается благодаря оптимизации последовательности ввода‑вывода.

Вопрос. Что такое теги объектов S3?

Теги объектов S3 – это пары ключ-значение, назначаемые объектам S3. Эти пары можно создавать, обновлять и удалять в любое время в течение жизненного цикла объекта. С их помощью можно создавать политики Identity and Access Management (IAM), настраивать политики жизненного цикла сервиса S3, а также настраивать метрики хранилища. Эти теги на уровне объектов могут затем использоваться для управления перемещением данных между хранилищами разных классов и управления объектами, срок действия которых истекает, в фоновом режиме. Добавлять теги можно для новых объектов при их загрузке или для существующих объектов. Для каждого объекта S3 можно добавить до десяти тегов, при этом для добавления тегов объектов можно использовать Консоль управления AWS, API REST, интерфейс командной строки AWS или AWS SDK. 

Дополнительную информацию см. в руководстве пользователя по работе с тегами объектов S3.

Вопрос. Почему следует использовать теги объектов?

Теги объектов – это инструмент, который упрощает управление хранилищем S3. Благодаря наличию возможности создавать, обновлять и удалять теги в любое время в течение всего жизненного цикла объекта можно адаптировать хранилище к любым потребностям бизнеса. С помощью этих тегов можно контролировать доступ к объектам, которым присвоены определенные пары «ключ-значение», что позволяет обеспечить дополнительную защиту конфиденциальных данных, предоставив к ним доступ только выбранной группе или пользователю. С помощью тегов объектов можно также помечать объекты, которые относятся к определенному проекту или бизнес-подразделению. Эти теги можно использовать вместе с политиками жизненного цикла S3 для управления переносом в хранилища других классов (S3 Standard – IA, S3 One Zone – IA, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive) или для выборочной репликации данных S3 между регионами AWS.

Вопрос. Как обновлять теги объектов?

Теги объектов можно изменять в любое время в течение всего жизненного цикла объекта S3. Для обновления тегов объектов можно использовать Консоль управления AWS, API REST, интерфейс командной строки AWS или AWS SDK. Учтите, что все изменения тегов, которые выполняются без использования Консоли управления AWS, выполняются над полным набором тегов. Если у определенного объекта есть пять тегов и необходимо добавить шестой, в запрос следует включить исходные пять тегов.

Вопрос. Какова стоимость тегов объектов?

Плата за теги объектов начисляется по количеству тегов и запросов для их добавления. Плата за запросы, связанные с добавлением и обновлением Тегов объектов, взимается по существующим тарифам на запросы. Дополнительную информацию см. на странице цен на Amazon S3.

Вопрос. Как начать работу со Storage Class Analysis?

Чтобы выявить редко запрашиваемые данные, которые можно перенести в хранилище класса S3 Standard-IA, S3 One Zone-IA либо заархивировать в хранилище классов S3 Glacier, можно воспользоваться Консолью управления AWS или API PUT Bucket Analytics сервиса S3 для настройки политик Storage Class Analysis. Для управления метриками Storage Class Analysis, S3 Inventory и S3 CloudWatch требуется перейти на вкладку «Management» (Управление) в консоли S3.

Вопрос: Что такое S3 Inventory?

Отчет S3 Inventory предоставляет альтернативу синхронному API Amazon S3 List, позволяющую выполнять задачи по расписанию. Можно настроить S3 Inventory для предоставления выходных данных объектов и соответствующих им метаданных корзины S3 или префикса в формате CSV, ORC или Parquet на ежедневной или еженедельной основе. С помощью S3 Inventory можно упростить и ускорить рабочие бизнес-процессы и задачи обработки больших данных. S3 Inventory можно также использовать для проверки состояния шифрования и репликации объектов на предмет соответствия требованиям бизнеса и применимых нормативных актов. Подробнее см. в руководстве пользователя Amazon S3 Inventory.

Вопрос. Как начать работу с S3 Inventory?

С помощью консоли управления AWS или вызова API PUT Bucket Inventory Configuration можно настроить создание ежедневного или еженедельного отчета по инвентаризации всех объектов в корзине S3 или набора объектов с общим префиксом. При настройке можно указать корзину S3 для сохранения отчета S3 Inventory, формат выходных файлов (CSV, ORC или Parquet), а также определенные метаданные объектов, актуальные для конкретного бизнес-приложения, такие как имя объекта, размер, дата последнего изменения, класс хранилища, идентификатор версии, маркер удаления, метка устаревшей версии, метка многокомпонентной загрузки, состояние репликации или шифрования. S3 Inventory можно использовать для прямой передачи данных в рабочие процессы приложений или в задания по обработке больших данных. Можно также делать запросы к S3 Inventory с использованием стандартного языка SQL с помощью Amazon Athena, Amazon Redshift Spectrum или других инструментов, например Presto, Hive и Spark.

Подробнее см. в руководстве пользователя Amazon S3 Inventory.

Вопрос. Как начисляется плата за использование S3 Inventory?

Цены на S3 Inventory см. на странице цен на Amazon S3. После настройки шифрования с помощью шифрования на стороне сервера KMS будет взиматься плата за шифрование по тарифам сервиса KMS; подробнее см. на странице цен на KMS.

Вопрос. Что представляют собой пакетные операции S3 Batch Operations?

S3 Batch Operations – это возможность, которую можно использовать для автоматизации выполнения одной операции (например, копирования объекта или выполнения функции AWS Lambda) со многими объектами. С помощью S3 Batch Operations можно путем нескольких нажатий в консоли S3 или одного запроса API внести изменение в миллиарды объектов; при этом не потребуется писать собственный код приложения или запускать вычислительные кластеры для управления хранилищами. Инструмент S3 Batch Operations не только позволяет управлять работой хранилища для множества различных объектов, он также осуществляет повторные попытки, отображает ход выполнения операций, доставляет оповещения, создает отчет о выполнении и отправляет события в AWS CloudTrail для всех операций, проведенных над целевыми объектами. S3 Batch Operations можно использовать из консоли S3 либо с помощью AWS CLI и SDK. 

Подробнее см. на странице S3 Batch Operations или в руководстве пользователя.

Вопрос. Как начать работу с S3 Batch Operations?

Начать работу с S3 Batch Operations можно, используя консоль Amazon S3, интерфейс командной строки AWS (CLI) или пакет средств разработки ПО AWS (SDK) для создания первого задания S3 Batch Operations. Задание S3 Batch Operations состоит из списка объектов, над которыми требуется провести операцию, и типа проводимой операции (см. полный список доступных операций). Начните с выбора отчета S3 Inventory или составления собственного списка объектов для выполнения операций S3 Batch Operations. Отчет S3 Inventory – файл со списком всех объектов, хранящихся в корзине S3 или имеющих определенный префикс. Затем выберите в перечне операций S3, поддерживаемых S3 Batch Operations, нужные вам действия, например замену наборов тегов, изменение ACL, копирование хранилища из одной корзины в другую или инициацию восстановления из S3 Glacier Flexible Retrieval в хранилище класса S3 Standard. Затем можно настроить созданные задания S3 Batch Operations с помощью определенных параметров, таких как значения тегов, участники списка ACL и срок восстановления. Для дополнительной настройки действий хранилища под свои потребности можно написать собственную функцию Lambda и вызывать этот код через S3 Batch Operations.

Когда задание S3 Batch Operations будет создано, S3 Batch Operations обработает список объектов и отправит задание в состояние "ожидание подтверждения", если в этом будет необходимость. После подтверждения сведений задания S3 Batch Operations начнет выполнение указанной операции. Ход выполнения задания можно просматривать программным образом или через консоль S3, можно получать оповещения о выполнении и просматривать отчет о выполнении, в котором приводятся подробные сведения об изменениях в хранилище.

Чтобы больше узнать об S3 Batch Operations, посмотрите обучающие видео и документацию.

Вопрос. Какие сервисы электронных хранилищ AWS можно использовать с учетом нормативных требований к финансовым сервисам?

Для клиентов из сферы финансовых услуг S3 Object Lock обеспечивает дополнительную поддержку брокерской и дилерской деятельности, поскольку эти компании обязаны хранить записи в нестираемом и неперезаписываемом формате в соответствии с нормативными требованиями Правила Комиссии по ценным бумагам и биржам 17a-4(f), Правила Агентства по регулированию деятельности финансовых институтов 4511 или Норматива Комиссии по торговле товарными фьючерсами 1.31. Вы легко можете указать необходимое время хранения записей, чтобы хранить нужные архивы в оригинальной форме в течение указанного срока, а также хранить определенные данные для судебных нужд в течение неограниченного периода (пока соответствующее требование не будет снято).

Вопрос: Какие документы AWS поддерживают требования SEC 17a-4(f)(2)(i) и CFTC 1.31(c) по оповещению регулятора?

Отправьте регулятору или выбранному вами уполномоченному контролирующему органу (DEA) оповещение о намерении использовать сервис Amazon S3 в качестве электронного хранилища, а также экземпляр оценки компании Cohasset. В рамках этих требований AWS не является уполномоченной третьей стороной (D3P). Обязательно выберите D3P и укажите эту информацию в оповещении для своего DEA.

Вопрос Как начать работу с метриками CloudWatch для S3?

Можно использовать Консоль управления AWS для включения ежеминутных метрик CloudWatch для запросов для корзины S3 или настройки фильтров для метрик на основании префикса, тега объекта или точки доступа. Кроме того, можно выполнить вызов API PUT Bucket Metrics сервиса S3, чтобы включить и настроить публикацию метрик хранилища S3. Метрики CloudWatch для запросов появятся в CloudWatch через 15 минут после включения. Метрики CloudWatch для запросов по умолчанию выключены для всех корзин, а отчет по ним составляется один раз в день. Подробнее о метриках CloudWatch для Amazon S3

Вопрос. Какие предупреждения можно установить для метрик своего хранилища?

Можно использовать CloudWatch для задания пороговых значений для всех результатов подсчета, таймеров или измерений метрик хранилища и выполнения определенного действия при превышении порогового значения. Например, можно установить пороговое значение, выраженное в процентах, для ответов, содержащих информацию об ошибке с кодом 4xx, и когда значения хотя бы трех точек данных превысят пороговое значение, CloudWatch выдаст предупреждение ответственному специалисту DevOps.

Вопрос. Как начисляется плата за использование метрик CloudWatch для S3?

Метрики CloudWatch для хранилища предоставляются бесплатно. Плата за запросы к метрикам CloudWatch начисляется по тарифам для пользовательских метрик Amazon CloudWatch. Общую информацию о ценах на метрики CloudWatch для S3 см. на странице цен на Amazon CloudWatch.

Вопрос: Что такое управление жизненным циклом S3?

Функция управления жизненным циклом сервиса S3 предоставляет возможность определить жизненный цикл вашего объекта посредством предопределенной политики и уменьшить стоимость его хранения. Можно настроить политику жизненного цикла для автоматического переноса объектов, размещенных в хранилище класса S3 Standard, в хранилища S3 Standard-IA, S3 One Zone-IA, и/или S3 Glacier в зависимости от срока существования данных. Можно также настроить политики окончания жизненного цикла для автоматического удаления объектов на основе срока их хранения. Можно настроить политику окончания срока многокомпонентной загрузки, прекращающую незавершенные многокомпонентные загрузки на основании их продолжительности.

Дополнительную информацию см. в руководстве пользователя по управлению жизненным циклом S3.

Вопрос. Как создать политику управления жизненным циклом S3?

Создавать политики жизненного цикла и управлять ими можно с помощью Консоли управления AWS, API REST сервиса S3, AWS SDK или интерфейса командной строки AWS. Вы можете определить политику на уровне префикса или корзины.

Вопрос. Как использовать управление жизненным циклом Amazon S3 для снижения затрат на хранилище Amazon S3?

С помощью политик жизненного цикла Amazon S3 можно настроить миграцию объектов из хранилища класса S3 Standard в хранилище S3 Standard – IA, S3 One Zone – IA и/или их архивацию в хранилища классов S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval или S3 Glacier Deep Archive.

Дополнительно можно задать политику жизненного цикла S3 для удаления объектов по истечении определенного периода времени. С помощью такой определяемой правилами автоматизации можно быстро и легко понизить затраты на хранилище, а также сэкономить время. В каждом правиле можно указать префикс, промежуток времени, перенос в хранилище S3 Standard – IA, S3 One Zone – IA, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval, S3 Glacier Deep Archive, а также окончание срока хранения. Например, можно создать правило, архивирующее в S3 Glacier Flexible Retrieval все объекты с общим префиксом "logs/" через 30 дней после их создания и прекращающее хранение этих объектов после 365 дней с момента их создания.

Можно создать отдельное правило, прекращающее хранение всех объектов с префиксом backups/ через 90 дней с момента их создания. Политики жизненного цикла S3 применяются как к существующим, так и к новым объектам S3, обеспечивая оптимизацию хранилища и максимальную экономию при размещении любых данных в S3 без затрат времени на проверку и перемещение данных вручную.

В рамках правила управления жизненным циклом объектов поле префикса определяет объекты, к которым правило применяется. Для того чтобы применить правило к отдельному объекту, необходимо указать имя ключа. Для того чтобы применить правило к набору объектов, необходимо указать их общий префикс (например, “logs/”). Для удаления объектов можно указать действие переноса (архивацию объектов или окончание срока действия). Укажите время: конкретную дату (например, 31 января 2015 года) или количество дней с момента создания (например, 30 дней), по истечении которого следует выполнять архивацию или удаление объектов. Можно создать несколько правил для разных префиксов.

Вопрос. Какова стоимость использования управления жизненным циклом S3?

За настройку и использование политик управления жизненным циклом плата не взимается. Плата за выполнение запроса на перенос объектов начисляется по количеству объектов, которые начинают соответствовать критериям переноса, указанным в правилах жизненного цикла. Подробную информацию о ценах см. на странице цен на Amazon S3.

Вопрос. Почему стоит использовать политику жизненного цикла S3 для прекращения срока действия незавершенных многокомпонентных загрузок?

Политика жизненного цикла S3, прекращающая незавершенные многокомпонентные загрузки, позволяет сократить расходы за счет ограничения времени хранения данных, загруженных в результате таких многокомпонентных загрузок. Например, если приложение загружает несколько частей многокомпонентного объекта и не подтверждает их запись, плата за хранение этих компонентов все-таки будет взиматься. Соответствующая политика позволяет сократить расходы на хранилище S3 за счет удаления незавершенных многокомпонентных загрузок и связанных с ними данных через определенное количество дней.

Подробнее об использовании жизненного цикла S3 для прекращения срока действия незавершенных многокомпонентных загрузок »

Вопрос. Можно ли настроить оповещения о событиях Amazon S3, чтобы получать уведомления, когда жизненный цикл S3 перемещает или удаляет объекты?

Да, оповещения о событиях Amazon S3 можно настроить так, чтобы получать уведомления, когда жизненный цикл S3 перемещает или удаляет объекты. Например, при удалении или перемещении объектов жизненного цикла S3 в другой класс хранения, можно отправлять оповещения о событиях S3 теме Amazon SNS, очереди Amazon SQS или функции AWS Lambda.

Вопрос. Какие функции доступны для анализа использования моего хранилища в Amazon S3?

С помощью функции S3 Storage Lens пользователь может получить наглядное представление об использовании объектного хранилища, тенденциях активности в масштабах организации, а также практические рекомендации по оптимизации расходов и применению передовых методов защиты данных. S3 Storage Class Analysis позволяет отслеживать шаблоны доступа к объектам, благодаря чему вы можете принять решение о переносе данных в хранилище подходящего класса для оптимизации расходов. Затем эти сведения можно использовать для настройки политики жизненного цикла S3, которая регулирует перенос данных. Amazon S3 Inventory предоставляет отчет об объектах и соответствующих им метаданных корзины S3 или префикса на ежедневной или еженедельной основе. Этот отчет можно использовать для обеспечения потребностям компании, соответствия требованиям и нормативным стандартам путем проверки состояния шифрования и репликации объектов.

Вопрос: Что такое Amazon S3 Storage Lens?

С помощью функции Amazon S3 Storage Lens пользователь может получить наглядное представление об использовании объектного хранилища, тенденциях активности в масштабах организации, а также практические рекомендации по оптимизации расходов и применению передовых методов защиты данных. Storage Lens – это интерактивная панель управления, которая обеспечивает наглядное представление об использовании объектного хранилища и активности в десятках или сотнях аккаунтов в вашей организации (с надлежащей детализацией для получения информации на нескольких уровнях агрегирования). Среди метрик доступны такие: байты, количество объектов и запросов, а также метрики, детализирующие использование функций S3, например количество зашифрованных объектов и количество правил определения жизненного цикла S3. S3 Storage Lens также предоставляет ситуативные рекомендации относительно снижения затрат на хранение и применения передовых методов защиты данных в десятках или сотнях аккаунтов и корзин. Бесплатные метрики S3 Storage Lens по умолчанию предлагаются всем пользователям Amazon S3. Если вы хотите повысить эффективность S3 Storage Lens, можно использовать дополнительные метрики и рекомендации. Дополнительную информацию см. в руководстве пользователя S3 Storage Lens.

Вопрос. Как работает S3 Storage Lens?

S3 Storage Lens ежедневно собирает сведения об использовании хранилища и активности. Эти метрики можно визуализировать на интерактивной панели управления в S3 Storage Lens или экспортировать в файл формата CSV либо Parquet. По умолчанию создается панель управления на уровне аккаунта, но вы также можете создавать дополнительные пользовательские панели. Панели управления Объектива хранения данных Amazon S3 можно привязать к вашей организации AWS или конкретными учетным записям, регионам, сегментам или даже уровням префикса (при использовании дополнительных метрик Объектива хранения данных Amazon S3). Можно также использовать группы Объектива хранения данных Amazon S3 для агрегирования метрик с помощью настраиваемых фильтров на основе метаданных объекта, таких как тег, размер и возраст объекта. Во время настройки панели управления можно применять набор метрик по умолчанию либо выполнить обновление, чтобы за отдельную плату получить 35 дополнительных метрик и расширенные рекомендации на уровне префиксов. Кроме того,Объектив хранения данных Amazon S3 предоставляет на панели управления ситуативные рекомендации с метриками хранилища. Вы можете оптимизировать свое хранилище на основе этих данных.

Вопрос. На какие ключевые вопросы можно ответить, используя метрики S3 Storage Lens?

С помощью панели управления в S3 Storage Lens можно ответить на четыре основных вопроса о вашем хранилище. С помощью фильтра «Сводные данные» можно получить ответы на вопросы, касающиеся общего использования хранилища и тенденций активности. Например: «Насколько быстро увеличивается общее количество байтов, использованных мной, и количество запросов?» С помощью фильтра «Оптимизация затрат» можно получить ответы на вопросы, касающиеся сокращения расходов на хранение данных. Например: «Могу ли я сократить расходы, сохраняя меньше устаревших версий?» С помощью фильтров «Защита данных» и «Управление доступом» можно получить ответы на вопросы о безопасности данных. Например: «Защищены ли данные в моем хранилище от случайного или намеренного удаления?» Наконец, с помощью фильтров «Производительность» и «События» можно получить ответы на вопросы, касающиеся повышения производительности рабочих процессов. Каждый из этих вопросов является первым слоем запроса, который, вероятно, приведет к более детальному анализу.

Вопрос: Какие метрики доступны в S3 Storage Lens?

S3 Storage Lens содержит более 60 метрик, которые делятся на бесплатные и дополнительные (предлагаются за отдельную плату). По умолчанию вы получаете бесплатные метрики для анализа объема использования (на основе ежедневного отслеживания ваших объектов), которые охватывают категории оптимизации затрат, защиты данных, управления доступом, контроля производительности и событий. Дополнительные метрики связаны с анализом активности (например, количества запросов), более глубокой оптимизацией затрат (например, количество правил определения жизненного цикла S3), расширенной защитой данных (например, количество правил репликации S3) и подробными кодами состояния (например, обработка ошибок 403). Кроме того, соединив между собой несколько основных метрик, можно получить производные метрики. Например: метрику скорости извлечения данных можно рассчитать, разделив количество загруженных байтов на общий объем хранилища. С исчерпывающим перечнем метрик можно ознакомиться в документации S3 Storage Lens.

Вопрос. Что я могу настроить в панели управления?

По умолчанию настраивается панель управления для всего аккаунта, но вы можете создавать дополнительные пользовательские панели для всей организации в AWS, конкретного региона или корзины в аккаунте. Можно создавать несколько пользовательских панелей управления. Это полезно, если вам нужно разделить анализ хранилища на логические сегменты, например сегментирование на корзины, которые представляют разные внутренние команды. По умолчанию в вашей панели управления используются бесплатные метрики Объектива хранения данных Amazon S3, но вы также можете повысить уровень и получить усовершенствованные метрики и рекомендации Объектива хранения данных Amazon S3 (за отдельную плату). Дополнительные метрики Объектива хранения данных Amazon S3 делятся на 7 групп: метрики анализа активности, метрики расширенной оптимизации затрат, метрики расширенной защиты данных, метрики подробных кодов состояния, агрегирование префиксов, публикация CloudWatch и агрегирование Объектива хранения данных Amazon S3. Помимо этого, для каждой панели управления вы можете настроить экспорт метрик, указав целевую корзину и тип шифрования.

Вопрос. Сколько исторических данных доступно в S3 Storage Lens?

Бесплатные метрики Storage Lens, отображаемые на интерактивной панели управления, включают исторические данные за 14 дней, тогда как дополнительные метрики Storage Lens (предоставляемые за отдельную плату) – за 15 месяцев. Для дополнительного экспорта метрик можно настроить любой срок хранения. Взимается плата за стандартное хранилище S3.

Вопрос. Как оплачивается использование S3 Storage Lens?

В S3 Storage Lens доступно два уровня метрик. Бесплатные метрики активируются по умолчанию и доступны для всех клиентов S3, и за них не взимается дополнительная плата. Сведения о ценах на усовершенствованные метрики и рекомендации в S3 Storage Lens доступны на странице с ценами на S3. Вы получаете 28 бесплатных метрик Объектива хранения данных Amazon S3 на уровне корзины и можете просматривать исторические данные за 14 дней на панели управления. Также предлагаются 35 дополнительных метрик и расширенные рекомендации Объектива хранения данных Amazon S3, открывающие возможность агрегирования на уровне префикса, использования метрик поддержки CloudWatch и получения доступа к историческим данным за 15 месяцев на панели управления.

Вопрос. В чем разница между Объективом хранения данных Amazon S3 и Инвентаризацией Amazon S3?

Инвентаризация Amazon S3 предоставляет список ваших объектов и соответствующие им метаданные корзины S3 или общего префикса, которые можно использовать для выполнения анализа вашего хранилища на уровне объекта. Объектив хранения данных Amazon S3 предоставляет метрики, сгруппированные по уровням организации, учетной записи, региона, класса хранилища, корзины, префикса и групповых уровнях Объектива хранения данных Amazon S3, которые повышают наглядность состояния вашего хранилища на всех уровнях организации.

Вопрос. В чем заключается разница между Объективом хранения данных Amazon S3 и S3 Storage Class Analysis (SCA)?

S3 Storage Class Analysis предоставляет рекомендации относительно оптимального класса хранилища путем создания возрастных групп объектов на основе шаблонов доступа на уровне объекта в конкретных корзине / префиксе / теге за прошедшие 30–90 дней. Объектив хранения данных Amazon S3 предоставляет ежедневные рекомендации на уровне организации относительно повышения рентабельности и применения передовых методов защиты данных, а также дополнительные более подробные рекомендации на уровнях учетной записи, региона, класса хранилища, корзины, групп Объектива хранения данных Amazon S3 и префикса (при наличии дополнительных метрик Объектива хранения данных Amazon S3). Вы также можете использовать специальные фильтры с группами Объектива хранения данных Amazon S3 для визуализации хранилища с учетом возраста объекта и разработки стратегии архивирования хранилища.

Вопрос. Что представляет собой Storage Class Analysis?

С помощью Storage Class Analysis можно проанализировать картину доступа к хранилищу для выбора его оптимального класса. Эта возможность S3 автоматически выявляет данные, к которым редко обращаются, и помогает перенести их в хранилище S3 Standard – IA. Политика Storage Class Analysis позволяет выполнять мониторинг всей корзины либо объектов с определенным префиксом/тегом. После выявления данных, к которым редко обращаются, можно просто создать новую политику S3 для управления жизненным циклом объектов на основании полученных результатов. Storage Class Analysis также обеспечивает ежедневное визуальное представление данных об использовании хранилища в Консоли управления AWS. Кроме того, соответствующие данные можно экспортировать в корзину S3 для последующего анализа с помощью удобных инструментов бизнес-аналитики, например Amazon QuickSight.

Узнать подробнее о возможностях S3 Storage Class Analysis и начать работу с ними можно с помощьюруководства пользователя.

Вопрос. Как часто обновляются данные Storage Class Analysis?

Данные Storage Class Analysis в консоли управления S3 обновляются ежедневно, но первые рекомендации по смене класса хранения предоставляются через 30 дней.

Вопрос: Что представляет собой возможность запросов к данным без извлечения?

Amazon S3 предоставляет клиентам возможность запуска сложных запросов к хранящимся данным без необходимости их перемещения на отдельную аналитическую платформу. Возможность выполнения запроса к данным без извлечения в Amazon S3 может существенно повысить производительность и снизить стоимость аналитических решений, использующих S3 в качестве озера данных. S3 предлагает разнообразные варианты выполнения запросов к данным без извлечения, в том числе посредством Amazon Athena и Amazon Redshift Spectrum. Можно выбрать вариант, который лучше всего подходит для конкретного примера использования.

Вопрос. Как запросить данные в Amazon S3?

Существует несколько способов запроса данных в S3, которые можно выбрать в зависимости от конкретного примера использования. Можно использовать фильтрацию на стороне клиента, чтобы загрузить объект Amazon S3 в свой вычислительный компьютер AWS и отфильтровать содержимое с помощью библиотек анализа данных в клиентском приложении. Например, в приложении Python, которое запрашивает объекты Parquet в Amazon S3, можно использовать Amazon S3 GET API для загрузки объекта и фильтрации содержимого с помощью библиотеки Pandas. Можно применить Amazon Athena для обработки нескольких объектов S3 в одном запросе или даже выполнить операции объединения и использовать оконные функции для запросов объектов S3. Можно использовать S3 Object Lambda, добавляя свой собственный код в запросы S3 GET для фильтрации данных по мере их возврата в приложение. Если вы хотите добавлять преобразования при фильтрации данных, можно применить S3 Object Lambda.

Прочтите публикацию в , чтобы узнать больше об этих методах запроса данных в Amazon S3.

Вопрос. Что такое Amazon Athena?

Amazon Athena – это сервис интерактивных запросов, позволяющий анализировать данные в Amazon S3 с помощью стандартных SQL-запросов. Athena – бессерверный сервис, здесь нет инфраструктуры, требующей настройки или управления, поэтому можно сразу же приступить к анализу данных. Не нужно даже загружать данные в Athena, поскольку сервис работает непосредственно с данными, размещенными в хранилище S3 любого класса. Чтобы начать, просто войдите в Консоль управления Athena, задайте свою схему и приступайте к выполнению запросов. Сервис Amazon Athena использует Presto с полной поддержкой стандартных запросов SQL и работает с различными стандартными форматами данных, включая CSV, JSON, ORC и Apache Parquet и Avro. Athena идеально подходит для быстрого выполнения спонтанных запросов, просто интегрируется с Amazon QuickSight, обеспечивая удобную визуализацию, а также может выполнять сложные задачи анализа с использованием масштабных операций объединения, оконных функций и массивов.

Вопрос. Что такое Amazon Redshift Spectrum?

Amazon Redshift Spectrum – это возможность сервиса Amazon Redshift, которая позволяет выполнять запросы к эксабайтам неструктурированных данных в Amazon S3 без загрузки или выполнения ETL-операций. При отправке запроса он поступает на SQL-сервер Amazon Redshift, который генерирует и оптимизирует план запроса. Amazon Redshift определяет, какие данные являются локальными, а какие находятся в Amazon S3, генерирует план минимизации объема данных Amazon S3, которые необходимо прочитать, и запрашивает исполнителей Amazon Redshift Spectrum из общего пула ресурсов, чтобы прочитать и обработать данные из Amazon S3.

Redshift Spectrum при необходимости масштабируется до тысяч инстансов, поэтому запросы выполняются быстро при любых объемах данных. Теперь можно использовать для данных Amazon S3 тот же синтаксис SQL, что и для запросов Amazon Redshift, и подключаться к тому же адресу Amazon Redshift, используя привычные инструменты бизнес-аналитики. Redshift Spectrum позволяет разделить вычислительные ресурсы и хранилища и масштабировать их независимо друг от друга. Можно настроить необходимое количество кластеров Amazon Redshift, чтобы выполнять запросы к озеру данных Amazon S3, обеспечивая высокую доступность и неограниченную параллельную обработку. С Redshift Spectrum можно хранить данные где угодно и в каком угодно формате, при этом они всегда будут под рукой для обработки.

Вопрос. Что такое репликация в Amazon S3?

Репликация в Amazon S3 позволяет выполнять автоматическое асинхронное копирование объектов между корзинами Amazon S3. Корзины, для которых настроена репликация объектов, могут принадлежать как к одному, так и к разным аккаунтам AWS. Можно реплицировать новые объекты, записанные в корзину, в одну или несколько целевых корзин в разных регионах AWS (межрегиональная репликация в S3) или в пределах одного региона (внутрирегиональная репликация в S3). Также можно реплицировать существующее содержимое корзины (пакетная репликация S3), включая существующие и реплицированные из другого источника объекты, а также объекты, которые не удалось реплицировать ранее. Дополнительную информацию см. в руководстве по репликации в S3.

Вопрос. Что представляет собой межрегиональная репликация в Amazon S3?

Межрегиональная репликация (CRR) – это возможность Amazon S3, которая осуществляет автоматическую репликацию данных между корзинами в разных регионах AWS. Межрегиональная репликация позволяет с помощью тегов объектов S3 настроить репликацию на уровне корзин, общих префиксов или объектов. CRR позволяет предоставить доступ к данным с низкой задержкой в разных географических регионах. Межрегиональная репликация также полезна в тех случаях, когда для соблюдения правовых норм копии данных требуется хранить в сотнях километров друг от друга. Межрегиональную репликацию можно использовать для передачи владения реплицированными данными в другой аккаунт, чтобы предотвратить их случайное удаление. Подробнее см. в руководстве пользователя S3 CRR.

Вопрос. Что такое внутрирегиональная репликация Amazon S3?

Внутрирегиональная репликация (SRR) – это возможность Amazon S3, которая осуществляет автоматическую репликацию данных между корзинами в одном регионе AWS. SRR позволяет с помощью тегов объектов S3 настроить репликацию на уровне корзин, общих префиксов или объектов. Внутрирегиональную репликацию можно использовать для создания одной или нескольких копий данных в том же регионе AWS. Внутрирегиональная репликация решает такие проблемы, как обеспечение суверенитета данных и соответствия требованиям, позволяя хранить копию данных в отдельном аккаунте AWS, но в том же регионе, что и оригинал. Внутрирегиональную репликацию можно использовать для изменения аккаунта-владельца реплицированных данных, чтобы предотвратить их случайное удаление. Кроме того, можно использовать SRR для простой агрегации журналов из разных корзин S3 в целях обработки в пределах региона или для настройки репликации в режиме реального времени между средами тестирования и разработки. Подробнее см. в руководстве пользователя S3 SRR.

Вопрос. Что такое пакетная репликация в Amazon S3?

Пакетная репликация S3 реплицирует существующие объекты между корзинами. Пакетную репликацию S3 можно использовать для заполнения новой корзины существующими объектами, повторной попытки неудавшейся ранее репликации объектов, переноса данных между аккаунтами или добавления новых хранилищ в озеро данных. Работу с пакетной репликацией S3 можно начать всего за несколько кликов в консоли S3 или с помощью одного запроса API. Подробнее см. в Руководстве пользователя по пакетной репликации S3.

Вопрос. Как включить репликацию в Amazon S3 (в одном регионе или в разных)?

Репликация в Amazon S3 (CRR и SRR) настраивается с помощью объектов S3 на уровне корзин, общих префиксов или объектов. Чтобы добавить конфигурацию репликации для исходной корзины, необходимо задать целевую корзину для репликации в том же или другом регионе AWS.

Для включения репликации можно использовать консоль S3, API, AWS CLI, AWS SDK или AWS CloudFormation. Управление версиями при использовании репликации должно быть включено и в исходной, и в целевой корзине. Подробнее см. в обзоре настройки репликации S3 в документации по Amazon S3.

Вопрос. Как использовать пакетную репликацию S3?

Сперва необходимо включить репликацию S3 на уровне корзины. Подробнее см. в предыдущем вопросе. Затем можно запустить задание пакетной репликации S3 в консоли S3 после создания конфигурации новой репликации, изменения назначения в правиле репликации на странице конфигурации репликации или со страницы создания заданий пакетных операций S3. Дополнительно, задание пакетной репликации S3 можно запустить через AWS CLI или пакеты SDK. Подробнее см. на странице репликации S3 в документации по Amazon S3.

Вопрос. Можно ли использовать репликацию в S3 с правилами управления жизненным циклом S3?

При использовании репликации в S3 можно создавать правила для копирования объектов в хранилище другого класса в том же или другом регионе. Действия в рамках жизненного цикла не реплицируются. Если вы хотите применить к исходной и целевой корзинам одинаковые конфигурации жизненного цикла, включите одну и ту же конфигурацию для обеих корзин. 

Например, можно настроить правило управления жизненным циклом для миграции данных из хранилища класса S3 Standard в хранилище класса S3 Standard – IA или S3 One Zone – IA либо для архивации данных в классы хранилищ S3 Glacier в целевой корзине.

Если для целевой корзины настроен жизненный цикл S3, то мы рекомендуем отключить правила жизненного цикла на время выполнения задания пакетной репликации, чтобы обеспечить согласованность между актуальными и устаревшими версиями объектов в исходной и целевой коризнах.

Подробнее о конфигурации жизненного цикла и репликации см. в документации по репликации в S3.

Вопрос. Могу ли я использовать репликацию S3 для репликации в более чем одну целевую корзину?

Да. Репликация S3 позволяет клиентам реплицировать их данные в несколько целевых корзин в том же или разных регионах AWS. Во время настройки нужно просто указать новую целевую корзину в существующей конфигурации репликации иди создать новую конфигурацию репликацию с несколькими целевыми корзинами. Для каждого нового назначения можно выбирать класс хранилища целевой корзины, тип шифрования, метрики репликации и уведомления, контроль времени репликации (RTC), а также другие свойства.

Вопрос. Можно ли использовать репликацию S3 для настройки двусторонней репликации между корзинами S3?

Да. Для настройки двусторонней репликации нужно создать правило репликации из корзины A в корзину B и другое правило репликации из корзины B в корзину A. Обязательно включите синхронизацию изменений реплики в корзинах A и B для репликации изменений метаданных, например списков контроля доступа объектов (ACL), тегов объектов или замков объектов, вместе с реплицированными объектами.

Вопрос. Можно ли использовать репликацию между разными аккаунтами AWS для защиты от злонамеренного или случайного удаления?

Да, можно настроить CRR или SRR между разными аккаунтами AWS, чтобы хранить реплицированные данные в другом аккаунте в целевом регионе. Чтобы назначить разных владельцев для исходных и целевых данных, а также предоставить право собственности на реплицированное хранилище целевому аккаунту, можно установить перезапись владельца в конфигурации репликации.

Вопрос. Будет ли выполняться репликация тегов объектов при использовании межрегиональной репликации?

Репликация тегов объектов между регионами AWS может выполняться при использовании межрегиональной репликации. Клиентам с включенной межрегиональной репликацией для репликации тегов требуются новые разрешения. Дополнительные сведения о настройке межрегиональной репликации см. в разделе «Настройка межрегиональной репликации» документации Amazon S3.

Вопрос. Можно ли реплицировать маркеры удаления из одной корзины в другую?

Да. Маркеры удаления можно реплицировать из исходной корзины в целевую, если в конфигурации репликации включена репликация маркеров удаления. При репликации маркеров удаления Amazon S3 функционирует так, как если бы объект был удален в обеих корзинах. Включить репликацию маркера удаления можно как для нового, так и для существующего правила. Репликацию маркера удаления можно применить ко всей корзине или к объектам Amazon S3 со специфическим префиксом, используя правила репликации на основе префиксов. Репликация Amazon S3 не поддерживает репликацию маркеров удаления для правил репликации на основе тегов объектов. Подробнее о включении репликации маркеров удаления см. в разделе о репликации маркеров удаления из одной корзины в другую.

Вопрос. Можно реплицировать данные из других регионов AWS в Китай? Может ли клиент реплицировать данные из корзины на территории региона в Китае за пределы регионов в Китае?

Нет. Репликация Amazon S3 недоступна между регионами AWS в Китае и регионами AWS за пределами Китая. Репликация доступна только в пределах регионов в Китае.

Вопрос. Можно ли реплицировать существующие объекты?

Да. Для репликации существующих объектов между корзинами можно использовать пакетную репликацию S3. Подробнее см. в руководстве пользователя S3.

Вопрос. Можно ли выполнить репликацию повторно после неудачной попытки?

Да. Для повторной репликации объектов после неудачной попытки можно использовать пакетную репликацию S3. Подробнее см. в руководстве пользователя S3.

Вопрос. Какие типы шифрования поддерживает репликация S3?

Репликация S3 поддерживает все типы шифрования, которые предлагает S3. S3 предлагает как шифрование на стороне сервера, так и шифрование на стороне клиента – в первом случае S3 запрашивает шифрование объектов для вас, а во втором – вы сами шифруете данные на стороне клиента перед их загрузкой в S3. Для шифрования на стороне сервера S3 предлагает шифрование на стороне сервера с помощью ключей, управляемых Amazon S3 (SSE-S3), шифрование на стороне сервера с помощью ключей KMS, хранящихся в Сервисе управления ключами AWS (SSE-KMS), и шифрование на стороне сервера с помощью ключей, предоставленных клиентом (SSE-C). Для получения более подробной информации об этих типах шифрования и о том, как они работают, посетите эту страницу.

Вопрос. Каковы цены на репликацию данных между учетными записями?

С помощью репликации S3 можно настроить межаккаунтную репликацию, в которой исходные и целевые корзины принадлежат разным аккаунтам AWS. При использовании репликации S3 с клиентов взимается плата не только за хранилище S3 и соответствующее извлечение, но и за репликацию запросов PUT и передачу данных между регионами ИЗ S3 в ваш регион назначения. Если в настройках репликации включен контроль времени репликации S3 (S3 RTC), то отобразятся другие, характерные для S3 RTC, тарифы на репликацию запросов PUT и передачу данных между регионами. При репликации между учетными записями оплата за передачу данных (S3 RTC и S3 CRR) взимается с аккаунта источника, а для учетной записи назначения начисляется оплата за запросы на репликацию. Плата за передачу данных взимается только за репликацию между регионами S3 (S3 CRR) и контроль времени репликации S3 (S3 RTC), а за передачу данных репликации S3 в пределах одного региона (S3 SRR) оплата не начисляется. 

При использовании пакетной репликации S3 между аккаунтами плата будет взиматься за пакетные операции S3 в дополнение к расходам на отправку запросов PUT и исходящую передачу данных (обратите внимание, что S3 RTC не применяется к пакетной репликации). В стоимость пакетных операций входит плата за задания и объекты, которая рассчитывается исходя из количества заданий и обработанных объектов. Кроме того, при использовании сгенерированного в Amazon S3 манифеста плата за него будет взиматься в зависимости от количества объектов в исходной корзине.

Подробную информацию о ценах на репликацию S3 см. на странице цен на Amazon S3.

Вопрос. Что такое контроль времени репликации в Amazon S3?

Контроль времени репликации в Amazon S3 обеспечивает предсказуемую продуктивность репликации и способствует обеспечению соответствия нормативным или производственным требованиям. Благодаря контролю времени репликации в Amazon S3 большинство объектов копируется за считаные секунды. За 15 минут будет скопировано 99,99 % объектов. Контроль времени репликации в Amazon S3 регулируется Соглашением об уровне обслуживания (SLA), по условиям которого в течение любого расчетного месяца 99,9 % объектов реплицируются за 15 минут в каждой паре регионов репликации. Контроль времени работает со всеми возможностями репликации в S3. Подробнее см. в документации по репликации.

Вопрос. Как включить контроль времени репликации в Amazon S3?

Контроль времени репликации в Amazon S3 включается как параметр для каждого правила репликации. Можно создать новую политику репликации в S3 с контролем времени репликации или включить эту возможность в существующей политике. Для настройки репликации можно использовать консоль S3, API, AWS CLI, AWS SDK или AWS CloudFormation. Подробнее см. в обзоре настройки репликации в руководстве для разработчиков по Amazon S3.

Вопрос. Можно ли использовать Контроль времени репликации S3 для репликации данных внутри регионов Китая и между ними?

Да, вы можете включить Контроль времени репликации S3 от Amazon для репликации данных внутри и между регионами AWS Китай (Нинся) и Китай (Пекин).

Вопрос. Что такое метрики и события репликации в Amazon S3?

Репликация Amazon S3 предоставляет четыре подробных метрики в консоли Amazon S3 и Amazon CloudWatch: ожидающие операции, количество байтов в ожидании, задержка репликации и неудачная репликация операций. С помощью этих метрик можно отслеживать общее количество операций и размер объектов, ожидающих репликации, задержку репликации между исходной и целевой корзинами и количество операций, которые не были успешно реплицированы по каждому правилу репликации. Кроме того, можно настроить уведомления о событиях Amazon S3 типа s3:Replication для получения дополнительной информации об объектах, которые не удалось реплицировать, и причинах сбоев. Мы рекомендуем использовать причины сбоев репликации Amazon S3 для быстрой диагностики ошибок и их устранения перед повторной репликацией неисправных объектов с помощью S3 Batch Replication. Наконец, если применяется контроль времени репликации в S3, вы также будете получать уведомления события S3 о том, что на репликацию объекта требуется более 15 минут, а также об успешном завершения репликации этого объекта в целевое расположение.

Вопрос. Как включить метрики и события репликации в Amazon S3?

Метрики и события репликации Amazon S3 можно включить для каждого нового или существующего правила репликации. Метрики и события репликации применяются по умолчанию к правилам с включенным контролем времени репликации в S3. Метрики репликации в S3 доступны в консоли Amazon S3, а также в Amazon CloudWatch. Как и другие события Amazon S3, события репликации в S3 доступны через простой сервис очередей Amazon (Amazon SQS), простой сервис уведомлений Amazon (Amazon SNS) или AWS Lambda. Подробнее см. в разделе руководства для разработчиков по Amazon S3 о мониторинге репликации с помощью метрик и оповещений о событиях Amazon S3.

Вопрос. Какую информацию показывает метрика неудачной репликации операций?

Метрика операций неудачной репликации покажет общее количество операций такой репликации в минуту для определенного правила репликации. Метрика будет обновляться каждую минуту и выдавать +1 за каждую неудачную операцию, 0 за успешные операции и ничего, если операции репликации не выполняются в течение минуты. Эта метрика генерируется каждый раз, когда операция не выполняется успешно.

Вопрос. Можно ли использовать метрики и события репликации Amazon S3 для отслеживания пакетной репликации S3?

Для отслеживания хода пакетной репликации S3 нельзя использовать такие метрики, как количество отложенных байтов, отложенные операции и задержка репликации. Однако метрику неудачной репликации операций можно использовать для мониторинга существующих объектов, которые не удалось успешно реплицировать с помощью пакетной репликации S3. Кроме того, вы также можете использовать отчеты о завершении пакетных операций S3 для отслеживания объектов, реплицируемых с помощью пакетной репликации S3.

Вопрос. Где публикуются метрики репликации Amazon S3?

Отложенные байты, ожидающие выполнения операций, и показатели задержки репликации публикуются в исходном аккаунте AWS и целевом регионе AWS. Однако метрика репликации неудачных операций публикуется в исходном аккаунте AWS и исходном регионе AWS вместо целевого. Это происходит по двум основным причинам. Во-первых, если метрика репликации неудачных операций будет опубликована в целевом регионе, заказчик не увидит ее при ошибочной настройке целевой корзины. Например, если заказчик неправильно ввел имя целевой корзины в конфигурации репликации и репликация не удалась, потому что целевая корзина не найдена, он не увидит значение для этой метрики, потому что регион назначения будет неизвестен, если целевая корзина не найдена. Во-вторых, когда заказчик выполняет репликацию в зарегистрированный регион назначения, например в Гонконг или Бахрейн, то в случае сбоев репликации клиент не увидит никаких показателей, если исходный аккаунт не выбрал регион назначения.

Вопрос. Что такое соглашение об уровне обслуживания (Service Level Agreement, SLA) для контроля времени репликации в Amazon S3?

Контроль времени репликации в Amazon S3 обеспечивает репликацию 99,99 % объектов в течение 15 минут. Это обязательство закреплено в соглашении об уровне обслуживания. Если в течение 15 минут будет реплицировано менее 99,9 % объектов в каждой паре регионов репликации в течение расчетного месяца, согласно SLA S3 RTC клиенту будут предоставлены кредиты на обслуживание за любой объект, репликация которого занимает более 15 минут. Кредиты на обслуживание покрывают определенную долю всех затрат, связанных с репликацией объектов, которая была выполнена с нарушением SLA. К таким затратам относятся плата за контроль времени репликации, израсходованная на репликацию пропускная способность, плата за запросы, а также расходы на хранение реплики в целевом регионе в течение затронутого расчетного месяца. Подробнее см. на странице SLA о контроле времени репликации в S3.

Вопрос. Сколько стоит репликация в S3 и использование возможности контроля времени репликации?

При использовании репликации S3 (межрегиональной репликации и репликации в рамках региона) взимается плата по тарифам сервиса S3 за хранение в выбранном целевом классе хранилища S3, стоимость хранения основной копии и запросов PUT при репликации, а также применимая плата за извлечение из хранилищ для редко используемых данных. При использовании межрегиональной репликации также оплачивается передача ИСХОДЯЩИХ данных S3 в регион назначения. За метрики репликации S3 взимается такая же плата, как и за пользовательские метрики Amazon CloudWatch. Более того, используя контроль времени репликации S3, вы также платите за передачу данных контроля времени репликации. Подробную информацию см. на странице цен на Amazon S3.

Если исходный объект загружается с использованием функции многокомпонентной загрузки, то он реплицируется с тем же количеством частей того же размера. Например, за объект размером 100 ГБ, загруженный с использованием многокомпонентной загрузки (800 частей по 128 МБ каждая), при репликации взимается плата как за 802 запроса (800 запросов на загрузку частей + 1 запрос на начало многокомпонентной загрузки + 1 запрос на окончание многокомпонентной загрузки). Будет взиматься плата за запросы в размере 0,00401 USD (802 запроса x 0,005 USD / 1000 запросов) и плата в размере 2 USD (0,020 USD за переданный гигабайт x 100 ГБ) за межрегиональную передачу данных, если репликация выполняется между разными регионами AWS. По окончании репликации взимается плата за хранение 100 ГБ данных по тарифам целевого региона.

Вопрос. Как взимается плата за метрики репликации S3 в Amazon CloudWatch?

Все метрики репликации S3, включая количество отложенных байт, отложенные операции, задержку репликации и неудачную репликацию операций, оплачиваются по той же ставке, что и пользовательские метрики Amazon CloudWatch: 0,30 USD в месяц для первых 10 000 метрик, 0,10 USD за метрику в месяц для следующих 240 000 метрик, 0,05 USD за метрику в месяц для следующих 750 000 метрик и 0,02 USD за метрику в месяц для более 1 миллиона метрик.

Например, если в корзине S3 установлено 100 правил репликации с включенными метриками репликации для каждого из них, ежемесячная плата Amazon CloudWatch будет взиматься за 400 метрик репликации (100 правил репликации x 4 метрики на ее правило). Ежемесячная пропорциональная плата за эти 400 метрик составит 120 USD (400 метрик репликации x 0,30 USD за метрику [для первых 10 000 метрик]). Сведения о выставлении счетов Amazon CloudWatch см. на странице цен на Amazon CloudWatch.

Вопрос. Что такое точки доступа S3 для нескольких регионов?

Точки доступа Amazon S3 для нескольких регионов повышают производительность на 60 % при доступе к наборам данных, которые реплицируются в нескольких регионах AWS. Точки доступа S3 для нескольких регионов, основанные на Международном ускорителе AWS, учитывают такие факторы, как перегрузка сети и местоположение запрашивающего приложения, чтобы динамически направлять ваши запросы по сети AWS к копии ваших данных с наименьшей задержкой. Эта автоматическая маршрутизация позволяет использовать преимущества глобальной инфраструктуры AWS, сохраняя при этом простую архитектуру приложений.

Вопрос. Зачем использовать точки доступа S3 для нескольких регионов?

Точки доступа S3 для нескольких регионов ускоряют и упрощают хранение ваших мультирегиональных приложений. За счет динамической маршрутизации запросов S3 к реплицированному набору данных точки доступа S3 для нескольких регионов сокращают задержку запросов, благодаря чему приложения работают до 60 % быстрее. Многорегиональные точки доступа S3 также помогают создавать отказоустойчивые приложения в нескольких регионах и с несколькими аккаунтами, которые лучше защищены от случайного или несанкционированного удаления данных. Кроме того, вы можете воспользоваться преимуществами глобальной инфраструктуры AWS, сохранив при этом простую регионально-независимую архитектуру ваших приложений.

Вопрос. Как работают точки доступа S3 для нескольких регионов?

Точки доступа для нескольких регионов динамически направляют клиентские запросы в одну или несколько базовых корзин S3. Вы можете настроить свою точку доступа для нескольких регионов для маршрутизации через одну корзину на каждый регион AWS, но не более чем в 17 регионах AWS. Когда вы создаете точку доступа для нескольких регионов, S3 автоматически генерирует совместимое имя DNS. Это имя используется как глобальный адрес, который могут использовать ваши клиенты. Когда ваши клиенты делают запросы на этот адрес, S3 динамически направляет эти запросы в одну из базовых корзин, указанных в конфигурации вашей точки доступа для нескольких регионов. Интернет-запросы направляются в глобальную сеть AWS, чтобы избежать перегруженности сетевых сегментов в Интернете, что уменьшает задержку в сети и джиттер, одновременно улучшая производительность. На основе Международного ускорителя AWS приложения, которые получают доступ к S3 через Интернет, могут получить дополнительное повышение производительности до 60 % благодаря точкам доступа S3 для нескольких регионов.

Чтобы напрямую управлять этой маршрутизацией, можно использовать точки доступа S3 для нескольких регионов в конфигурации «активная-активная» или «активная-пассивная». В конфигурации «активная-пассивная» вы можете использовать элементы управления отказоустойчивостью точек доступа S3 для нескольких регионов, чтобы в течение нескольких минут инициировать отказоустойчивость для переключения трафика запросов доступа к данным S3 на выбранный альтернативный регион или в аккаунт AWS.

В конфигурации «активная-активная» точки доступа S3 для нескольких регионов учитывают такие факторы, как перегрузка сети и местоположение запрашивающего приложения, чтобы динамически направлять ваши запросы по сети AWS к ближайшей копии ваших данных. Точки доступа S3 для нескольких регионов направляют запросы через ближайшую к клиенту точку AWS, а затем через глобальную частную сеть AWS к S3.

В любой конфигурации точки доступа S3 для нескольких регионов позволяют использовать преимущества глобальной инфраструктуры AWS, сохраняя при этом простую архитектуру приложений.

Вопрос. Как работают средства управления отказоустойчивостью точек доступа S3 для нескольких регионов?

По умолчанию точки доступа S3 для нескольких регионов направляют запросы в ближайшую к клиенту базовую корзину, в зависимости от задержки в сети в конфигурации «активная-активная». Например, вы можете настроить точку доступа для нескольких регионов с базовыми корзинами на Востоке США (Северная Вирджиния) и в Азиатско-Тихоокеанском регионе (Мумбай). С этой конфигурацией ваши клиенты в Северной Америке будут маршрутизированы на Восток США (Северная Вирджиния), а ваши клиенты в Азии будут маршрутизированы в Азиатско-Тихоокеанский регион (Мумбай). Это снижает задержку для ваших запросов к S3, повышая производительность вашего приложения. Если вы предпочитаете конфигурацию «активная-пассивная», весь трафик запросов данных S3 можно направить через точку доступа S3 для нескольких регионов на Восток США (Северная Вирджиния) в качестве активного региона, и тогда трафик не будет направляться в Азиатско-Тихоокеанский регион (Мумбай). Если возникнет запланированная или незапланированная необходимость переключить весь трафик запросов данных S3 на Азиатско-Тихоокеанский регион (Мумбай), вы можете в течение нескольких минут инициировать переключение на Азиатско-Тихоокеанский регион (Мумбай) в качестве нового активного региона. Все имеющиеся загрузки и выгрузки, выполняемые на Востоке США (Северная Вирджиния), продолжаются, а весь новый трафик запросов данных S3 через точку доступа S3 для нескольких регионов направляется в Азиатско-Тихоокеанский регион (Мумбай).

Вопрос. Могут ли многорегиональные точки доступа S3 работать с корзинами, принадлежащими разным аккаунтам AWS?

Да, вы можете добавить корзины из нескольких аккаунтов AWS в новую многорегиональную точку доступа S3, введя идентификаторы аккаунтов, которым принадлежали корзины на момент создания. Если корзины еще не настроены для межаккаунтной репликации, можно настроить правила межрегиональной репликации S3 для синхронизации содержимого корзин между аккаунтами и регионами AWS. После этого ваши приложения смогут запрашивать или записывать данные через глобальный адрес доступа с несколькими регионами и аккаунтами AWS.

Вопрос. Как работают настройки Блокирования публичного доступа для многорегиональных точек доступа, охватывающих несколько аккаунтов AWS?

Каждая многорегиональная точка доступа S3 имеет свои настройки для Блокирования публичного доступа Amazon S3. Эти настройки работают вместе с настройками блокировки публичного доступа для сегментов, лежащих в основе многорегиональной точки доступа, настройками блокировки публичного доступа для аккаунтов AWS, владеющих многорегиональной точкой доступа, и настройками блокировки публичного доступа для аккаунтов AWS, владеющих базовыми корзинами.

Когда Amazon S3 авторизует запрос, он применяет самую строгую комбинацию этих настроек. Если настройки Блокирования публичного доступа для любого из этих ресурсов (многорегиональной точки доступа, базовой корзины, аккаунта владельца многорегиональной точки доступа или аккаунта владельца корзины) блокируют доступ к запрошенному действию или ресурсу, Amazon S3 отклоняет запрос.

Такое поведение соответствует точкам доступа S3 с несколькими аккаунтами. Та же логика авторизации применяется при обработке запросов на межаккаунтные точки доступа S3 и многорегиональные точки S3 с несколькими аккаунтами.

Вопрос. В чем разница между межрегиональной репликацией S3 (S3 CRR) и точками доступа S3 для нескольких регионов?

S3 CRR и точки доступа S3 для нескольких регионов – это взаимодополняющие функции, которые работают вместе для репликации данных в регионах AWS, а затем для автоматической маршрутизации запросов к реплицированной копии с минимальной задержкой. Точки доступа S3 для нескольких регионов помогают управлять запросами в регионах AWS, а CRR позволяет перемещать данные по регионам AWS для создания изолированных реплик. Используя точки доступа S3 для нескольких регионов и CRR вместе, вы создаете реплицированный набор данных для нескольких регионов, доступный для одного глобального адреса.

Вопрос. Какова стоимость точек доступа S3 для нескольких регионов?

Когда вы используете точку доступа S3 для нескольких регионов для маршрутизации запросов в AWS, вы вносите небольшую плату за маршрутизацию данных за каждый обработанный ГБ, а также оплачиваете стандартные сборы за запросы S3, хранение, передачу данных и репликацию. Если ваше приложение работает за пределами AWS и подключается к S3 через Интернет, точки доступа S3 для нескольких регионов повышают производительность за счет автоматической маршрутизации ваших запросов через периферийное местоположение AWS и глобальную частную сеть AWS к ближайшей копии ваших данных в зависимости от задержки доступа. Когда вы ускоряете запросы, сделанные через Интернет, вы платите за маршрутизацию данных и за ускорение Интернета. Цены на ускорение Интернета для точек доступа S3 для нескольких регионов зависят от того, находится ли исходный клиент в том же или другом месте, что и целевой регион AWS, и дополняют стандартные цены на передачу данных S3. В стоимость использования средств управления отказоустойчивостью точек доступа S3 для нескольких регионов входит только стоимость использования API S3 при просмотре текущего состояния управления маршрутизацией каждого региона и при внесении изменений в управление маршрутизацией для инициации отказоустойчивости. Дополнительную информацию о ценах см. на странице цен на Amazon S3 и на вкладке «Передача данных».

Вопрос. Можно ли использовать параметр «Оплата отправителем запроса» с многорегиональными точками доступа S3?

Да, базовые корзины многорегиональной точки доступа S3 можно настроить на корзины с параметром «Оплата отправителем запроса». При использовании этого параметра запрашивающая сторона оплачивает все расходы, связанные с использованием адреса, включая затраты на запросы и передачу данных, связанные как с корзиной, так и с многорегиональной точкой доступа. Как правило, вы предпочитаете настроить свои корзины с параметром «Оплата отправителем запроса», если вам нужно обмениваться данными, но не нести расходы, связанные с доступом других к данным. Как правило, владельцы корзин платят за все хранилище Amazon S3, связанное с корзиной. Чтобы узнать больше, посетите эту страницу.

Вопрос. Чем отличается Ускорение передачи данных S3 от точек доступа S3 для нескольких регионов?

Точки доступа S3 для нескольких регионов и S3 Transfer Acceleration обеспечивают аналогичные преимущества в производительности. Вы можете использовать S3 Transfer Acceleration для ускорения передачи содержимого на Amazon S3 и обратно с помощью глобальной сети AWS. S3 Transfer Accelerator поможет ускорить передачу больших объектов на большие расстояния в одну корзину Amazon S3 и обратно. С помощью точек доступа S3 для нескольких регионов вы можете выполнять аналогичные ускоренные передачи с использованием глобальной сети AWS, но через множество корзин S3 в нескольких регионах AWS для запросов к S3 и из S3 через Интернет, VPC и в локальных сетях. При объединении точек доступа S3 для нескольких регионов с перекрестной репликацией S3 вы предоставляете возможность точкам доступа S3 для нескольких регионов динамически направлять запросы к копии данных с наименьшей задержкой для приложений от клиентов, находящихся в нескольких местах.

Вопрос. Как начать работу с точками доступа S3 для нескольких регионов и средствами управления отказоустойчивостью?

Консоль S3 обеспечивает простой управляемый рабочий процесс, позволяющий быстро настроить все необходимое для работы хранилища для нескольких регионов на S3 всего за три простых шага. Во-первых, создайте конечную точку доступа Amazon S3 для нескольких регионов и укажите регионы AWS, между которыми необходимо осуществлять репликацию и обеспечить отказоустойчивость. Вы можете добавить корзины из нескольких аккаунтов AWS в новую многорегиональную точку доступа S3, введя идентификаторы аккаунтов, которым принадлежали корзины на момент создания. Во-вторых, для каждого региона AWS и корзины S3 за адресом доступа S3 для нескольких регионов следует указать, каким является их статус маршрутизации – активным или пассивным, при этом активные регионы AWS будут принимать трафик запросов данных S3, а пассивные регионы не будут маршрутизироваться до тех пор, пока вы не инициируете процесс отказоустойчивости. В-третьих, настройте правила межрегиональной репликации S3 для синхронизации данных в S3 между регионами и аккаунтами. Затем вы можете в любое время в течение считанных минут инициировать процесс отказоустойчивости между регионами AWS, чтобы перенести запросы данных S3 и отслеживать перемещение трафика S3 в новый активный регион AWS в Amazon CloudWatch. Кроме того, вы можете использовать AWS CloudFormation для автоматизации конфигурации многорегионального хранилища. Все строительные блоки, необходимые для настройки многорегионального хранилища на S3, включая точки доступа S3 для нескольких регионов, поддерживаются CloudFormation, что позволяет автоматизировать повторяемый процесс настройки вне консоли S3.

Вопрос. Что такое S3 Object Lambda?

Функция S3 Object Lambda дает возможность добавлять собственный код в запросы S3 GET, LIST и HEAD для изменения и обработки данных, возвращенных в приложение. Вы можете применить пользовательский код для изменения данных, возвращаемых запросами S3 GET, для фильтрации строк, динамического изменения размера изображений, удаления конфиденциальных данных и многого другого. Вы также можете использовать S3 Object Lambda для изменения результатов запросов S3 LIST, чтобы создать пользовательское представления объектов в корзине и запросы S3 HEAD с целью изменения метаданных объекта, таких как его имя и размер. S3 Object Lambda позволяет легко соблюдать специфические требования любого приложения касательно формата данных без необходимости строить дополнительную инфраструктуру и управлять ею (например, уровень прокси) или создавать и обслуживать множество производных копий данных. В S3 Object Lambda автоматическая обработка выходных данных стандартного запроса S3 GET, LIST и HEAD осуществляется с помощью функций AWS Lambda. AWS Lambda – это бессерверный вычислительный сервис, выполняющий заданный пользователем код без необходимости управления базовыми вычислительными ресурсами. 

Чтобы начать настройку функции Lambda и прикрепить ее к точке доступа к сервису S3 Object Lambda, достаточно нескольких щелчков мышью в консоли управления AWS. С этого момента S3 будет автоматически взывать функцию Lambda для обработки любых данных, полученных через адрес S3 Object Lambda, а приложение будет получать преобразованный результат. Вы сможете создавать и выполнять собственные пользовательские функции Lambda, адаптируя процесс преобразования данных S3 Object Lambda к требованиям конкретного примера выполнения.

Для начала работы с функцией S3 Object Lambda используйте консоль управления S3, SDK или API. Подробнее см. на странице S3 Object Lambda или в руководстве пользователя S3 Object Lambda.

Вопрос. Какие преимущества дает S3 Object Lambda?

Использовать S3 Object Lambda следует, если вы хотите обрабатывать данные в запросе S3 GET, LIST или HEAD. S3 Object Lambda дает возможность совместного использования одного экземпляра данных в нескольких приложениях, избегая необходимости создавать и использовать настраиваемую инфраструктуру обработки или хранить производные копии данных. Например, с помощью функции S3 Object Lambda для обработки запросов S3 GET можно маскировать конфиденциальные данные для обеспечения соответствия, реструктурировать необработанные данные для их совместимости с приложениями машинного обучения, фильтровать данные для ограничения доступа к определенному контенту в пределах объекта S3 или для решения задач широкого спектра дополнительных примеров использования. Вы можете использовать S3 Object Lambda для расширения списков объектов путем опроса внешнего индекса, который содержит дополнительные метаданные объектов, применяют к спискам объектов фильтры и маски, чтобы оставить в них только объекты с определенным тегом или добавляют расширение файла ко всем именам объектов в ваших списках. Например, если у вас есть корзина S3 с несколькими дискретными наборами данных, то вы можете воспользоваться S3 Object Lambda для фильтрации ответа S3 LIST в зависимости от отправителя запроса. 

Для настройки S3 Object Lambda достаточно нескольких щелчков мышью в консоли управления Amazon S3. Подробнее читайте в руководстве пользователя.

Вопрос. Как работает S3 Object Lambda?

В S3 Object Lambda обработка выходных данных стандартного запроса GET, LIST и HEAD осуществляется с помощью функций Lambda. Определив функцию Lambda для обработки запрошенных данных, эту функцию можно прикрепить к точке доступа S3 Object Lambda. Стандартные запросы S3 GET, LIST и HEAD, отправленные через точку доступа S3 Object Lambda, теперь будут вызывать определенную функцию Lambda. Затем с помощью функции Lambda запрашиваемый клиентом объект S3 будет получен и обработан. После завершения обработки функция Lambda вернет обработанный объект вызывающему клиенту. Подробнее читайте в руководстве пользователя S3 Object Lambda.

Вопрос: Как начать работу с S3 Object Lambda?

Есть несколько способов настроить S3 Object Lambda. S3 Object Lambda можно настроить в консоли S3, перейдя во вкладку «Точка доступа Object Lambda». Затем создайте точку доступа S3 Object Lambda, функцию Lambda, которую должен будет выполнять сервис S3 на основании запросов GET, LIST и HEAD, и поддерживающую точку доступа S3. Выдайте всем ресурсам разрешения на взаимодействие с Object Lambda. В-третьих, обновите SDK и приложение, чтобы начать использовать новую точку доступа Объекта Lambda в S3 для получения данных из S3 с помощью выбранного вами языка SDK. При выполнении запросов можно использовать псевдоним точки доступа Объекта Lambda в S3. Псевдонимы точек доступа Объекта Lambda в S3 генерируются автоматически и взаимозаменяемы с именами корзин S3 для данных, доступ к которым осуществляется через Объект Lambda в S3. Для существующих точек доступа Объекта Lambda в S3 псевдонимы назначаются автоматически и готовы к использованию. В документации AWS приведены примеры реализации функции Lambda, которые помогут вам начать работу.

С помощью AWS CloudFormation можно также автоматизировать настройку Объекта Lambda в S3. При использовании шаблона AWS CloudFormation функция Lambda, развернутая в вашем аккаунте, вернет объекты S3 запрашивающему клиенту или приложению без каких-либо изменений. Вы можете добавить пользовательский код, чтобы изменять и обрабатывать данные, возвращаемые в приложение. Подробности о S3 Object Lambda см. в руководстве пользователя. 

Вопрос. Какие виды операций можно выполнять с помощью S3 Object Lambda?

Любые операции, поддерживаемые функцией Lambda, также будут поддерживаться функцией S3 Object Lambda. Это делает доступными широкий спектр параметров для обработки запросов. Вы указываете собственную функцию Lambda для выполнения пользовательских вычислений по запросам GET, LIST и HEAD, что предоставляет гибкие возможности для обработки данных в соответствии с требованиями приложения. Время обработки с помощью функции Lambda не превышает 60 секунд. Подробнее см. в документации по S3 Object Lambda.

Вопрос. Какие типы запросов S3 поддерживает S3 Object Lambda?

S3 Object Lambda поддерживает запросы типа GET, LIST и HEAD. Все остальные вызовы S3 API, отправленные к точке доступа S3 Object Lambda, будут возвращать стандартный ответ S3 API. Подробнее о функции S3 Object Lambda см. в руководстве пользователя.

Вопрос. Что произойдет в случае сбоя в работе функции S3 Object Lambda?

В случае сбоя в работе функции S3 Object Lambda вы получите ответ на запрос с подробным описанием сбоя работы. Как и в случае с другими вызовами функций Lambda, AWS также отслеживает функции от вашего имени и отправляет метрики через Amazon CloudWatch. Чтобы упростить процесс устранения сбоев, в Lambda ведется журнал всех запросов, обработанных вашей функцией, и с помощью журналов Amazon CloudWatch автоматически сохраняются журналы, сгенерированные вашим кодом. Подробнее о доступе к журналам CloudWatch для AWS Lambda см. в документации CloudWatch.

Вопрос. Влияет ли функция S3 Object Lambda на доступность S3 согласно SLA или на надежность S3?

S3 Object Lambda подключает Amazon S3, AWS Lambda и другие сервисы AWS (необязательно) на ваш выбор для доставки объектов, соответствующих запрашивающим приложениям. Все сервисы AWS, используемые вместе с S3 Object Lambda, подчиняются положениям соответствующих соглашений об уровне обслуживания (SLA). Например, в случае если какой-либо сервис AWS не выполняет свои обязательства в соответствии с соглашением об уровне обслуживания, вы имеете право на получение компенсации по этому соглашению, которое указано в этом SLA. Создание точки доступа S3 Object Lambda никоим образом не влияет на надежность объектов. Тем не менее функция S3 Object Lambda будет вызывать конкретную функцию AWS Lambda, поэтому необходимо гарантировать соответствие этой функции Lambda и ее правильность. См. последнюю версию Amazon S3 SLA здесь.

Вопрос. Сколько стоит функция S3 Object Lambda?

При использовании функции S3 Object Lambda вы платите за каждый ГБ данных, возвращаемых вам через S3 Object Lambda. Также с вас взимается плата за запросы в зависимости от их типа (GET, LIST и HEAD) и плата за время, которое заняли вычисления с использованием функции AWS Lambda для обработки запрошенных данных. Подробную информацию о ценах см. на странице цен на S3.

Вопрос. Что такое Mountpoint для Amazon S3?

Mountpoint для Amazon S3 – это файловый клиент с открытым исходным кодом, который можно использовать для монтирования корзины S3 на вычислительном инстансе и доступа к ней как к локальной файловой системе. Mountpoint для Amazon S3 преобразует операции локальной файловой системы в вызовы REST API для объектов, хранящихся в Amazon S3. С помощью Mountpoint для Amazon S3 можно достичь высокой пропускной способности одного инстанса и ускорить выполнение заданий. Mountpoint для Amazon S3 обслуживается поддержкой AWS. Клиенты, имеющие доступ к Корпоративной поддержке AWS, получают круглосуточную техническую поддержку от инженеров поддержки Amazon и рекомендации по архитектуре в контексте их вариантов использования. Mountpoint для Amazon S3 работает с операционной системой Linux и вычислительными сервисами AWS, такими как Эластичное вычислительное облако Amazon (Amazon EC2). Узнайте больше на странице Mountpoint для Amazon S3 или в руководстве пользователя.

Вопрос. В каких случаях следует использовать Mountpoint для Amazon S3?

Mountpoint для Amazon S3 идеально подходит для рабочих нагрузок озера данных с большим объемом чтения, которые обрабатывают петабайты данных с помощью операций случайного и последовательного чтения существующих файлов и операций последовательной записи для создания новых файлов. Эти рабочие нагрузки записывают данные с одного узла и не изменяют существующие данные в Amazon S3. Распространенные варианты использования включают моделирование автономных транспортных средств в масштабе петабайтов, машинное обучение, анализ геномики и рендеринг изображений. Эти рабочие нагрузки быстро масштабируются вертикально и горизонтально и полагаются на эластичность Amazon S3, позволяющую минимизировать недоиспользуемую емкость и избежать расходов на избыточное выделение пропускной способности. С помощью Mountpoint для Amazon S3 можно сократить расходы на вычисления за счет эффективного использования пропускной способности сети вычислительных инстансов, а также надежно масштабировать до тысяч вычислительных инстансов для рабочих нагрузок озера данных петабайтного масштаба.

Вопрос. Какие операции с файловой системой поддерживает Mountpoint для Amazon S3?

Mountpoint для Amazon S3 поддерживает базовые операции с файловой системой, такие как чтение файлов размером до 5 ТБ, запись новых файлов, составление списка существующих файлов, создание и перечисление каталогов. Mountpoint для Amazon S3 не поддерживает изменение существующих файлов или удаление существующих каталогов. Благодаря этим операциям Mountpoint для Amazon S3 идеально подходит для приложений, которые читают и записывают данные с высокой пропускной способностью в озерах данных Amazon S3. Этот сервис не подходит для приложений, требующих совместной работы и координации между несколькими вычислительными инстансами или пользователями. Этим приложениям обычно требуются функции общей файловой системы, такие как добавление к существующим файлам и блокировка файлов. Amazon FSx для Lustre можно использовать для приложений озер данных, которым требуется семантика POSIX и функции общей файловой системы.

Вопрос. Как начать работу с Mountpoint для Amazon S3?

Начать работу с Mountpoint для Amazon S3 можно, смонтировав корзину S3 в локальном каталоге вычислительного инстанса, следуя инструкциям, приведенным в документации. Как только вы смонтируете корзину S3 в локальном каталоге, ваши приложения смогут обращаться к объектам S3 в виде файлов, доступных локально на их вычислительном инстансе. Mountpoint для Amazon S3 поддерживает операции последовательного и произвольного чтения существующих объектов Amazon S3 и поддерживает последовательную запись новых объектов. Дополнительные сведения о поддерживаемых операциях с файловой системой см. в документации по семантике Mountpoint для Amazon S3. Вы можете использовать Mountpoint для Amazon S3 для доступа к объектам во всех классах хранилища S3, за исключением объектов гибкого извлечения данных Amazon S3 Glacier, глубокого архива Amazon S3 Glacier и объектов уровней доступа к архивам и уровней доступа к глубокому архиву в сервисе интеллектуального многоуровневого хранения Amazon S3.

Вопрос. Какова плата за использование Mountpoint для Amazon S3?

Дополнительная плата за использование Mountpoint для Amazon S3 не взимается. Вы платите за запросы API S3, такие как запросы GET, PUT и LIST, сделанные Mountpoint для Amazon S3 при выполнении операций файловой системы, например чтение файлов, запись файлов и составление списка каталогов. Чтобы узнать цены на S3, посетите страницу с ценами.

Вопрос. Какую производительность можно ожидать от Mountpoint для Amazon S3?

Mountpoint для Amazon S3 обеспечивает ту же производительность, что и AWS SDK. Это означает, что приложения озер данных достигают высокой скорости передачи данных на одном инстансе, эффективно используя доступную пропускную способность сети на своем инстансе Amazon EC2. Чтобы достичь еще большей пропускной способности, эти приложения могут агрегировать пропускную способность нескольких инстансов до нескольких Тбит/с.

Вопрос. Как управлять доступом к данным при использовании Mountpoint для Amazon S3?

При использовании Mountpoint для Amazon S3 вы можете управлять доступом к своим данным с помощью существующих механизмов контроля доступа Amazon S3, включая политики корзин и политики управления идентификацией и доступом AWS (AWS IAM). Mountpoint для Amazon S3 преобразует операции файловой системы, такие как чтение и запись, в запросы API объектов, отправляемые в корзину S3. После этого Amazon S3 анализирует все соответствующие политики, например политики пользователя и корзины, чтобы решить, следует ли авторизовать запрос. Mountpoint для Amazon S3 не предоставляет новых механизмов контроля доступа.

Вопрос. Поддерживает ли Mountpoint для Amazon S3 метаданные в стиле POSIX, такие как идентификатор пользователя, идентификатор группы и поля разрешений?

Mountpoint для Amazon S3 не поддерживает чтение или запись метаданных в стиле POSIX, таких как идентификатор пользователя, идентификатор группы и поля разрешений. Amazon FSx для Lustre можно использовать с Amazon S3 или AWS DataSync для хранения метаданных объектов S3 в стиле POSIX.

Вопрос. Поддерживает ли Mountpoint для Amazon S3 доступ через AWS PrivateLink?

Да, Mountpoint для Amazon S3 поддерживает доступ через AWS PrivateLink. AWS PrivateLink для S3 обеспечивает частное подключение между Amazon S3 и локальной средой. Вы можете предоставить интерфейсные адреса VPC для S3 в VPC для подключения локальных приложений непосредственно к S3 по AWS Direct Connect или AWS VPN.

Вопрос. Поддерживает ли Mountpoint для Amazon S3 доступ через шлюзовые адреса VPC?

Да, Mountpoint для Amazon S3 поддерживает доступ через шлюзовые адреса VPC. Мы рекомендуем использовать интерфейсные адреса VPC на базе AWS PrivateLink для получения доступа к S3 из локальных сетей или из VPC в другом регионе AWS. Для ресурсов, которые получают доступ к S3 из VPC, расположенного в том же регионе AWS, что и корзина S3, мы рекомендуем использовать шлюзовые адреса VPC, поскольку плата за их использование не взимается.

Вопрос. Могу ли я получить доступ к Amazon S3 из подов эластичного сервиса Amazon Kuberenetes (Amazon EKS)?

Да, вы можете получить доступ к Amazon S3 из Amazon EKS с помощью AWS SDK или интерфейса командной строки AWS. Для приложений, использующих интерфейс файловой системы для чтения и записи данных, можно использовать драйвер Mountpoint for Amazon S3 Container Storage Interface (CSI). С помощью драйвера CSI Mountpoint для Amazon S3 можно добиться высоких уровней совокупной пропускной способности (до терабит в секунду), не изменяя ни одной строки кода приложения или модели разрешений. Как и Mountpoint для Amazon S3, драйвер S3 CSI поддерживает последовательные и произвольные операции чтения существующих файлов и операции последовательной записи для создания новых файлов. Подробные сведения о поддерживаемых операциях с файловой системой см. в описании поведения файловой системы Mountpoint для Amazon S3. Установить, настроить и обновить драйвер Mountpoint для Amazon S3 CSI можно всего в несколько щелчков мыши в консоли EKS, в интерфейсе командной строки AWS, через API EKS или AWS CloudFormation. Чтобы узнать больше, посетите страницу драйвера CSI Mountpoint для Amazon S3 на GitHub.

Вопрос: Какие типы кэширования поддерживает Mountpoint для Amazon S3?

Mountpoint для Amazon S3 поддерживает различные типы кэширования чтения, которые можно использовать для ускорения повторных запросов на чтение. Во-первых, можно применять локальный кэш в хранилище инстансов Amazon EC2 или томе Amazon EBS. Рекомендуется использовать локальный кэш, если вам необходимо многократно считывать одни и те же данные с одинаковых вычислительных инстансов, а также в случае наличия свободного места в локальном хранилище инстанса для многократно считываемого набора данных. Во-вторых, можно использовать общий кэш в S3 Express для одной зоны. Рекомендуется применять общий кэш, если вам приходится многократно считывать небольшие объекты с нескольких вычислительных инстансов, а также в случае, когда вы не знаете размер набора данных, который многократно считываете, но при этом хотите воспользоваться преимуществами эластичности размера кэша. Как только вы подключитесь, Mountpoint для Amazon S3 сохранит объекты размером до одного мегабайта в корзине каталога S3, использующей S3 Express для одной зоны. Наконец, можно применять локальный и общий кэш вместе, если у вас есть неиспользуемое пространство в локальном кэше, но при этом задействовать общий кэш для нескольких инстансов. Подробнее о конфигурациях кэширования и основных принципах использования можно узнать из нашей документации на GitHub.