Amazon S3 теперь поддерживает пять дополнительных алгоритмов контрольных сумм
Amazon S3 теперь поддерживает пять дополнительных алгоритмов контрольных сумм: MD5, XXHash3, XXHash64, XXHash128 и SHA-512, в результате чего их общее количество достигло десяти. S3 проверяет и сохраняет контрольную сумму вместе с объектом для любого из этих поддерживаемых алгоритмов, поэтому вы можете непрерывно проверять целостность данных без дополнительных инструментов.
При отправке объектов можно указать значение контрольной суммы, и S3 сверяет его с отправленными данными перед сохранением объекта. Для многокомпонентных отправок вы указываете контрольные суммы на уровне частей, а S3 рассчитывает составную контрольную сумму по завершении. Если вы не укажете контрольную сумму при отправке, S3 автоматически вычисляет и применяет контрольную сумму CRC64NVME в качестве защиты целостности по умолчанию. Точно так же вы можете запросить сохраненную контрольную сумму при загрузке для проверки данных. Новые алгоритмы работают с S3 Replication, поэтому вы можете реплицировать объекты между бакетами с сохранением контрольных сумм, а также с S3 Inventory, что позволяет проводить аудит контрольных сумм наборов данных с течением времени. Для уже существующих объектов, которые были отправлены без контрольной суммы или с использованием другого алгоритма, можно использовать S3 Batch Operations для вычисления контрольных сумм в нужном масштабе без загрузки или восстановления данных.
Новые алгоритмы контрольных сумм доступны без дополнительной оплаты в 37 регионах AWS, включая регионы AWS Китай и AWS GovCloud (США). Вы можете начать использовать интерфейс командной строки AWS или пакеты SDK AWS. Подробности см. в руководстве пользователя S3.