Amazon EMR объявляет S3A коннектором по умолчанию
AWS анонсирует Amazon EMR S3A – новый коннектор Amazon S3, который оптимизирует производительность рабочих нагрузок Apache Hadoop, Apache Spark и Apache Hive в Amazon EMR. Этот новый коннектор расширяет архитектуру S3A с открытым исходным кодом за счет оптимизации, специфичной для AWS, чтобы помочь организациям более эффективно обрабатывать крупномасштабные данные. Благодаря поддержке прямой интеграции для S3 Express One Zone, S3 Glacier и AWS Outposts EMR S3A помогает клиентам использовать различные варианты хранения в AWS для оптимизации скорости доступа к данным и стоимости хранения рабочих нагрузок EMR.
Кроме того, коннектор EMR S3A обеспечивает расширенные функции безопасности и производительность, выходящие за рамки S3A с открытым исходным кодом. Ключевые улучшения включают встроенную в Apache Spark высокоточную поддержку элементов управления доступом, улучшенный преобразователь учетных данных S3A, MagicCommitter V2 для оптимизации записи файлов и ускоренный список префиксов S3 для колоночных форматов файлов. Эти усовершенствования доступны, начиная с версии EMR 7.10, и сохраняют совместимость с существующими приложениями.
Коннектор Amazon EMR S3A доступен во всех регионах AWS, в которых доступен Amazon EMR, и поставляется предварительно настроенным для Amazon EMR выпуска 7.10 и выше. Подробнее об Amazon EMR S3A см. в документации по Amazon EMR.