Amazon Managed Service for Apache Flink를 사용하면 Apache Flink를 통해 실시간 스트림 처리 애플리케이션을 손쉽게 구축하고 실행할 수 있습니다. Amazon Managed Service for Apache Flink는 Flink 클러스터를 프로비저닝 및 구성하고 Flink 작업 관리를 오케스트레이션합니다. 모니터링 및 경보를 설정하고 Auto Scaling을 제공하며, 고가용성(가용 영역 장애 조치 포함)을 보장하도록 설계되었습니다. 이 서비스는 Apache Flink의 표현형 API에 대한 액세스를 제공하며, Amazon Managed Service for Apache Flink Studio를 통해 몇 단계 만에 대화형 방식으로 데이터 스트림을 쿼리하거나 상태 유지 애플리케이션을 시작할 수 있습니다. 이 관리형 서비스를 사용하면 Apache Flink를 시작하고 데이터 스트림 처리 애플리케이션을 빠르게 배포 및 운영할 수 있습니다.

Amazon Managed Service for Apache Flink를 사용하면 지연 시간이 짧고 처리량이 높은 데이터 처리 기능, 정확한 1회 처리, 내구성이 뛰어난 애플리케이션 상태 등 업계 최고 수준을 자랑하는 Apache Flink의 모든 기능에 액세스할 수 있습니다. Amazon Managed Service for Apache Flink를 사용하면 안전하고 규정에 부합하며 가용성이 높은 애플리케이션을 배포할 수 있습니다. Amazon Managed Service for Apache Flink는 여러 가용 영역에서 데이터와 워크로드를 손쉽게 복제하여 중단 없는 성능과 안정성을 보장하며, 사용자는 추가 용량에 대한 비용을 지불하지 않아도 됩니다. 

Amazon Managed Service for Apache Flink는 Java, Scala, Python 및 SQL로 작성하는 Flink의 유연한 API를 지원하므로 애플리케이션 개발이 더 쉬워집니다. Amazon Managed Service for Apache Flink는 Amazon Managed Streaming for Apache Kafka(Amazon MSK), Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon Simple Storage Service(S3), Amazon DynamoDB, JDBC 커넥터, 맞춤형 커넥터 등, 수백 가지 데이터 소스 및 대상과 통합됩니다. 

오픈 소스

Amazon Managed Service for Apache Flink에는 Apache Flink, Apache Beam, Apache ZeppelinAWS SDK 및 AWS 서비스 통합과 같은 오픈 소스 라이브러리가 포함되어 있습니다. Apache Flink는 가용성 및 정확성이 탁월한 스트리밍 애플리케이션을 구축할 수 있는 프레임워크 및 엔진입니다. Apache Beam은 여러 런타임 엔진에서 실행되는 스트리밍 및 배치 데이터 처리 애플리케이션을 정의하기 위해 통합된 모델입니다. AWS SDK는 원하는 언어의 API를 제공하여 복잡한 코드 작업 없이 다수의 AWS 서비스를 활용할 수 있도록 지원하며 AWS 라이브러리, 코드 샘플 및 설명서가 포함되어 있습니다. 

유연한 API

Amazon Managed Service for Apache Flink는 상태 유지 이벤트 처리, 스트리밍 추출, 전환, 적재(ETL) 및 실시간 분석을 비롯한 다양한 사용 사례에 특화된 유연한 API를 Java, Scala, Python, SQL 등의 언어로 지원됩니다. 사전 구축된 연산자 및 분석 기능을 통해 Apache Flink 스트리밍 애플리케이션을 몇 개월이 아닌 단 몇 시간 만에 구축할 수 있으며, 라이브러리를 확장할 수 있으므로 다양한 사용 사례에 대해 실시간 처리를 수행할 수 있습니다.

AWS 서비스 통합

최소한의 코드로 데이터 소스 또는 대상을 설정하고 통합할 수 있습니다. Amazon Managed Service for Apache Flink 라이브러리를 사용하여 다음 AWS 서비스와 통합합니다.  

고급 통합 기능

AWS 통합 외에도, Amazon Managed Service for Apache Flink 라이브러리에는 40개가 넘는 Apache Flink 커넥터가 포함되어 있으며 사용자 지정 통합을 구축할 수도 있습니다. 고급 기능을 사용하여 코드 몇 줄만 추가하면 각 통합의 작동 방식을 수정할 수 있습니다. 또한 파일, 디렉터리, 소켓 또는 인터넷을 통해 액세스 가능한 기타 소스를 읽고 쓸 수 있는 Apache Flink의 기본 형식 세트를 사용하여 사용자 지정 통합을 구축할 수도 있습니다.

한 번에 정확하게 처리

Amazon Managed Service for Apache Flink를 사용하면 처리된 레코드가 정확히 한 번만 결과에 영향을 미치는 애플리케이션(Exactly Once Processing)을 구축할 수 있습니다. 내부 서비스 유지 관리 또는 사용자가 시작한 애플리케이션 업데이트로 인해 애플리케이션 중단이 발생하는 경우 이 서비스는 모든 데이터가 중복 데이터 없이 처리될 수 있습니다.

상태 저장 처리

이 서비스는 이전 및 진행 중인 계산 또는 상태를 실행 중인 애플리케이션 스토리지에 저장합니다. 애플리케이션 중단 시 실시간 결과 및 이전 결과를 모든 기간에 걸쳐 비교하고 빠르게 복구할 수 있습니다. 상태는 항상 암호화되며 실행 중인 애플리케이션 스토리지에 증분 저장됩니다.

내구성이 뛰어난 애플리케이션 백업

단순한 API를 직접 호출하여 내구성이 뛰어난 애플리케이션 백업을 생성하고 삭제할 수 있습니다. 중단 후 최신 백업에서 즉시 애플리케이션을 복원하거나 애플리케이션을 이전 버전으로 복원할 수 있습니다. 

기계 학습 통합

Amazon Managed Service for Apache Flink는 기계 학습(ML) 알고리즘을 지원합니다. 분류, 클러스터링, 평가, 특성 추출 추천, 회귀 및 통계를 위한 실시간 애플리케이션을 만들 수 있습니다. 

AWS Glue 스키마 레지스트리 호환성

Amazon Managed Service for Apache Flink는 AWS Glue 스키마 레지스트리와 호환됩니다. 스키마 레지스트리는 Apache Kafka, Amazon MSK 또는 Amazon Kinesis Data Streams에 소스 또는 싱크 커넥터로 연결하는 Amazon Managed Service for Apache Flink 워크로드의 스키마에 대한 스키마 변화를 관리하는 호환성 검사를 통해 예기치 않은 변경 사항으로부터 데이터 품질을 개선하고 보호하는 데 도움이 됩니다.

Amazon Kinesis Data Analytics Studio

스트림 검사 및 시각화

Kinesis Data Analytics Studio는 내장형 시각화를 통해 1초 미만의 쿼리를 지원합니다. 임시 쿼리를 수행하여 데이터 스트림을 빠르게 검사하고 결과를 몇 초 안에 볼 수 있습니다.

단순한 구축 및 실행 환경

Studio 노트북은 스트림 처리 애플리케이션의 개발, 코드 디버깅 및 실행을 위한 단일 인터페이스 개발 경험을 제공합니다.

SQL, Python 또는 Scala를 사용한 처리

Kinesis Data Analytics Studio는 SQL, Python 및 Scala를 동일한 개발 환경에서 지원합니다. 기본적으로 지원되는 특정 Apache Flink 기능을 통해 노트북 안에서 데이터와 상호 작용할 때 구문 강조 표시, 검증 및 상황에 맞는 제안을 통해 가이드를 제공합니다.

빠른 서버리스 스트림 처리 애플리케이션 개발

프로비저닝하거나 관리하거나 크기를 조정할 서버가 없습니다. 코드를 작성하고 애플리케이션에서 이용하는 리소스에 대한 비용만 지불하면 됩니다. 노트북에서 자동 조정 및 내구성 있는 상태를 통해 지속적으로 실행 중인 스트림 처리 애플리케이션에 코드를 손쉽게 배포할 수 있습니다.

오픈 소스

Kinesis Data Analytics Studio는 지속적으로 실행되면서 프로덕션에 사용되는 Apache Flink 애플리케이션을 생성하며, Apache Zeppelin 노트북은 선택한 언어로 스트리밍 애플리케이션을 작성할 수 있는 익숙하고 편리한 경험을 제공합니다.

AWS Glue Data Catalog 통합

AWS Glue Data Catalog는 테이블 정의가 포함된 중앙 리포지토리 역할을 하는 영구 메타데이터 스토어입니다. AWS Glue Data Catalog를 사용하면 여러 AWS 데이터 집합 전체에서 신속하게 데이터를 검색할 수 있습니다. Kinesis Data Analytics Studio는 소스 및 대상 테이블의 스키마를 정의할 수 있는 AWS Glue 데이터 카탈로그와 호환됩니다.

Amazon Kinesis Data Analytics 시작하기

Kinesis Data Analytics 요금 페이지로 이동하기
비용 계산

Amazon Kinesis Data Analytics 요금 페이지로 이동하세요.

Read the documentation
시작 안내서 검토

SQLApache Flink에 대한 단계별 안내서에서 Amazon Kinesis Data Analytics의 사용 방법을 알아보십시오.

콘솔에서 구축 시작
스트리밍 애플리케이션 구축 시작

Amazon Kinesis Data Analytics 콘솔에서 스트리밍 애플리케이션을 구축하세요.