Amazon Managed Service for Apache Flink, 새로운 Amazon Kinesis Data Streams 커넥터 출시
이제 Amazon Managed Service for Apache Flink에서 Amazon Kinesis Data Streams를 위한 Apache Flink 커넥터를 제공합니다. AWS에서 기여한 이 오픈 소스 커넥터는 Apache Flink 2.0을 지원하며 몇 가지 향상된 기능을 제공합니다. 이 커넥터는 스트림 스케일 업 또는 스케일 다운 중에 순서대로 읽기를 가능하게 하고, Apache Flink의 기본 제공 워터마킹을 지원하며, 통합 커넥터 지표를 통해 관찰성을 개선합니다. 또한, 향상된 성능 및 보안 기능, 기본 제공 재시도 전략을 지원하는 AWS SDK for Java 2.x를 사용합니다.
Amazon Kinesis Data Streams는 모든 규모의 데이터 스트림을 캡처, 처리 및 저장할 수 있는 서버리스 스트리밍 데이터 서비스입니다. Amazon Managed Service for Apache Flink를 사용하면 서버나 클러스터를 관리할 필요 없이, Apache Flink를 통해 스트리밍 데이터를 실시간으로 더 쉽게 변환하고 분석할 수 있습니다. 새로운 커넥터를 사용하면 Apache Flink 애플리케이션에서 실시간 처리를 위해 Kinesis Data Streams 소스의 데이터를 사용할 수 있으며, Kinesis Data Streams 대상으로 데이터를 다시 보낼 수도 있습니다. 새로운 커넥터를 사용하면 Apache Flink 버전 1.19부터 Kinesis 데이터 스트림에서 데이터를 읽을 수 있습니다.
Apache Flink Amazon Kinesis Data Streams 커넥터에 대해 자세히 알아보려면 공식 Apache Flink 설명서를 참조하세요. GitHub 리포지토리에서 Apache AWS 커넥터를 확인할 수도 있습니다.