Управляемый сервис Amazon для Apache Flink выпускает новый коннектор для Потоков данных Amazon Kinesis

Проведено: 22 нояб. 2024 г.

Управляемый сервис Amazon для Apache Flink теперь предлагает новый коннектор Apache Flink для Потоков данных Amazon Kinesis. Этот коннектор с открытым исходным кодом, разработанный AWS, поддерживает Apache Flink 2.0 и содержит ряд улучшений. Он обеспечивает упорядоченное чтение при увеличении или уменьшении масштаба потока, поддерживает встроенные водяные знаки Apache Flink и улучшает наблюдаемость с помощью унифицированных метрик коннекторов. Кроме того, коннектор использует AWS SDK для Java 2.x, который поддерживает улучшенные функции производительности и безопасности, а также встроенную стратегию повторных попыток.

«Потоки данных Amazon Kinesis» — это бессерверный сервис потоковой передачи данных, который помогает собирать, обрабатывать и сохранять потоки данных в любом масштабе. Управляемый сервис Amazon для Apache Flink упрощает преобразование и анализ потоковых данных в реальном времени с помощью Apache Flink без необходимости управлять серверами или кластерами. Новый коннектор можно использовать для обработки данных из источника Потока данных Kinesis в реальном времени в приложении Apache Flink, а также для отправки данных обратно в место назначения Потоков данных Kinesis. Новый коннектор можно использовать для чтения данных из потока данных Kinesis, начиная с версии Apache Flink 1.19.

Чтобы узнать больше о коннекторе Apache Flink для Потоков данных Amazon Kinesis, изучите официальную документацию Apache Flink. Кроме того, вы можете найти коннекторы Apache AWS в репозиториях GitHub.