Расширенные разрешения таблиц AWS Lake Formation для доступа к используемым данным Amazon S3
Сервис AWS Lake Formation теперь позволяет выполнять чтение и запись в используемых файлах данных из Amazon S3 для таблиц, зарегистрированных в Каталоге данных AWS Glue. За счет этого вы можете применять единый набор прав как для SQL-запросов, так и для прямого доступа к файлам на основе уже имеющихся разрешений в таблицах Lake Formation.
С запуском этой возможности Lake Formation будет предоставлять временные мандаты с ограниченной областью действия для зарегистрированных местоположений S3 на основе разрешений таблицы. Разрешения SELECT предоставляют доступ для чтения, а разрешения SUPER – для чтения и записи данных в определенном местоположении. Эта возможность встроена в Amazon EMR 7.13 и более поздние версии. Таким образом, вы можете обращаться к файлам данных непосредственно из заданий Spark для выполнения задач, требующих доступа на уровне файлов, таких как обучение моделей, конструирование признаков или отладка проблем с качеством данных.
Вы также можете интегрировать приложения Apache Spark или Trino с помощью API-интерфейсов или плагина с открытым исходным кодом, предоставляемого AWS. Кроме того, весь доступ регистрируется в журналах AWS CloudTrail, и вы получаете унифицированные журналы аудита для SQL и операций с файлами в своих таблицах.
Эта функция доступна бесплатно во всех регионах AWS, где доступен сервис AWS Lake Formation. Дополнительные сведения см. в документации Lake Formation, документации EMR, справочнике по API и на странице плагина с открытым исходным кодом.