게시된 날짜: Oct 31, 2022
Amazon EMR 6.8에 Apache Flink 1.15.1이 포함되었음을 알려 드립니다. 이 기능은 EMR on EC2에서 사용 가능합니다.
Apache Flink는 데이터 스트림 처리를 위한 오픈 소스 프레임워크 및 엔진입니다. 버그 62가지와 다수의 취약성이 수정된 EMR 6.8의 Apache Flink 1.15.1은 Flink 1.15.0에 비해 다소 개선된 버전입니다. 이 버전의 주요 기능은 다음과 같습니다.
- 여러 데이터 소스에서 워터마크 정렬(베타): Flink의 이벤트 시간 처리에서는 특수 타임스탬프가 적용된 요소인 워터마크가 사용됩니다. 데이터 소스나 워터마크 생성기가 이러한 워터마크를 스트림에 삽입합니다. 가령 타임스탬프 t가 적용된 워터마크는 타임스탬프의 값이 t 미만인 모든 이벤트가 이미 도착음을 나타내는 어설션으로 간주할 수 있습니다. 그러므로 이벤트 속도가 각기 다른 소스를 처리할 때는 워터마크 정렬 기능이 유용합니다. 예를 들어 소스 중 하나가 유휴 상태이거나 레코드를 다른 소스에 비해 빠르게 방출하는 등의 경우 각 소스에 대해 워터마크 정렬을 개별적으로 활성화할 수 있습니다. Flink는 속도가 가장 빠른 소스를 일시 중지한 후 워터마크가 정렬될 때까지 다른 소스의 레코드를 계속 읽는 방식으로 워터마크를 정렬합니다.
- SQL 버전 업그레이드: SQL의 구조화된 데이터 가져오기와 내보내기를 더 쉽게 수행할 수 있는 JSON 함수인 JSON 계획이 도입되었습니다. 현재는 버전을 업그레이드하면 SQL 쿼리의 토폴로지가 변경될 수 있으며, 그러면 버전 간에 스냅샷이 호환되지 않을 수도 있습니다. 그러면 Flink 버전을 업그레이드하기가 어려워집니다. 반면 이 기능을 사용하는 경우에는 Table API와 SQL에서 모두 계획을 컴파일하고 실행할 수 있으므로 모든 버전에서 SQL 쿼리의 토폴로지가 동일하게 유지됩니다. 따라서 이후 버전으로의 업그레이드도 더욱 안정적으로 진행할 수 있습니다. 이 기능을 사용해 보려는 사용자는 JSON 계획을 생성한 다음 이전 연산자 구조에 따라 Flink 작업을 복원하는 데 사용하면 됩니다.
자세한 내용은 OSS Flink 릴리스 문서를 참조하세요.
Amazon EMR 릴리스 6.8은 Amazon EMR이 제공되는 모든 리전에서 정식 출시되었습니다. 자세한 내용은 Amazon EMR의 리전별 가용성 및 릴리스 정보를 참조하세요.