Управляемый сервис Amazon для Apache Flink теперь поддерживает Потоки Amazon DynamoDB в качестве источника

Проведено: 12 нояб. 2024 г.

Сегодня AWS объявила о поддержке нового коннектора Apache Flink для Amazon DynamoDB. Новый коннектор, предоставленный AWS для проекта Apache Flink с открытым исходным кодом, добавляет Потоки Amazon DynamoDB в качестве нового источника для Apache Flink. Теперь события Потоков DynamoDB можно обрабатывать с помощью Apache Flink, популярной платформы и механизма для обработки и анализа потоковых данных.

Amazon DynamoDB – это бессерверный сервис баз данных NoSQL, который позволяет разрабатывать современные приложения любого масштаба. Потоки DynamoDB предоставляют упорядоченную по времени последовательность изменений на уровне элементов (вставка, обновление и удаление) в таблице DynamoDB. С помощью Управляемого сервиса Amazon для Apache Flink можно преобразовывать и анализировать данные Потоков DynamoDB в реальном времени с помощью Apache Flink и интегрировать приложения с другими сервисами AWS, такими как Amazon S3, Amazon OpenSearch, Amazon Managed Streaming для Apache Kafka и другими. Коннекторы Apache Flink – это программные компоненты, которые перемещают данные в приложение «Управляемый сервис Amazon для Apache Flink» и из него. Новый коннектор можно использовать для чтения данных из Потока DynamoDB, начиная с версии Apache Flink 1.19. В Управляемом сервисе Amazon для Apache Flink нет серверов и кластеров, которыми нужно управлять, а также нет инфраструктуры вычислений и хранения данных, которую нужно настраивать.

Репозиторий Apache Flink для коннекторов AWS можно найти здесь. Подробную документацию и инструкции по настройке см. на странице документации.