В AWS Glue реализован коннектор Amazon DynamoDB с поддержкой Spark DataFrame
AWS Glue поддерживает новый коннектор Amazon DynamoDB со встроенной поддержкой Apache Spark DataFrames. Это усовершенствование позволяет разработчикам Spark работать напрямую со Spark DataFrames, чтобы переносить и повторно использовать код в AWS Glue, Amazon EMR и других средах Spark.
Ранее разработчикам, работающим с данными DynamoDB в AWS Glue, требовалось использовать специфичный для Glue объект DynamicFrame. Новый коннектор позволяет повторно использовать существующий код Spark DataFrame с минимальными изменениями. Это изменение упрощает процесс переноса заданий в AWS Glue и упрощает разработку конвейера данных. Кроме того, коннектор открывает доступ ко всему спектру операций Spark DataFrame и новейшим оптимизациям производительности.
Новый коннектор доступен во всех коммерческих регионах AWS, где предоставляется AWS Glue. Для начала работы ознакомьтесь с документацией AWS Glue.