Amazon Kinesis Data Analytics는 실시간 스트리밍 데이터를 분석하는 가장 쉬운 방법입니다. 템플릿 및 내장형 연산자를 사용하여 쿼리 및 스트림 실시간 애플리케이션을 빠르고 쉽게 구축할 수 있습니다. Amazon Kinesis Data Analytics는 애플리케이션 실행을 위한 리소스를 설정하며 모든 볼륨의 수신 데이터를 처리할 수 있도록 자동으로 조정됩니다.

서버리스

복잡한 인프라를 설정하고 관리할 필요 없이 고가용성의 상태 저장 처리 기능을 갖출 수 있습니다. Amazon Kinesis Data Analytics는 서버리스이며 애플리케이션의 지속적인 실행에 필요한 모든 작업을 처리합니다. 여기에는 스트리밍 데이터의 지속적인 처리를 위한 인프라를 자동으로 프로비저닝하는 작업이 포함됩니다.

자동 탄력성 및 종량제 요금

Amazon Kinesis Data Analytics는 수신 데이터 스트림의 모든 데이터 볼륨에 맞춰 애플리케이션의 크기를 탄력적으로 조정합니다. 사용자는 스트리밍 애플리케이션을 실행하는 데 사용한 리소스에 대해서만 요금을 지불하면 됩니다. 프로비저닝 인프라에 대해 걱정할 필요가 없고, 유휴 용량에 대해 지불하지 않아도 됩니다.

1초 미만의 처리 지연 시간

Amazon Kinesis Data Analytics는 1초 미만의 처리 지연 시간을 제공하므로 실시간 알림, 대시보드 및 실행 가능한 통찰력을 생성할 수 있습니다.

오픈 소스

Amazon Kinesis Data Analytics에는 Apache Flink, Apache Beam, Apache ZeppelinAWS SDK 및 AWS 서비스 통합과 같은 오픈 소스 라이브러리가 포함되어 있습니다. Apache Flink는 가용성 및 정확성이 탁월한 스트리밍 애플리케이션을 구축할 수 있는 오픈 소스 프레임워크 및 엔진입니다. Apache Beam은 여러 실행 엔진에서 실행할 수 있는 스트리밍 및 배치 데이터 처리 애플리케이션을 정의하기 위한 통합된 오픈 소스 모델입니다. AWS SDK는 원하는 언어의 API를 제공하여 복잡한 코드 작업 없이 다수의 AWS 서비스를 활용할 수 있도록 지원하며 AWS 라이브러리, 코드 샘플 및 설명서가 포함되어 있습니다.

유연한 API

Java, Scala, Python 및 SQL에서 상태 저장 이벤트 처리, 스트리밍 ETL 및 실시간 분석을 포함한 다양한 사용 사례에 특화된 유연한 API가 제공됩니다. 사전 구축된 연산자 및 분석 기능을 사용하여 몇 개월이 걸리던 Apache Flink 스트리밍 애플리케이션 구축을 몇 시간 내에 마칠 수 있습니다. Amazon Kinesis Data Analytics 라이브러리는 확장 가능하므로 다양한 사용 사례에 대해 실시간 처리를 수행할 수 있습니다.

AWS 서비스와의 통합

최소한의 코드로 데이터 원본 또는 대상을 설정하고 통합할 수 있습니다. Amazon Kinesis Data Analytics 라이브러리를 사용하면 Amazon S3, Amazon Managed Streaming for Apache Kafka(Amazon MSK), Amazon OpenSearch Service(Amazon Elasticsearch Service 후속), Amazon DynamoDB, Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon CloudWatchAWS Glue 스키마 레지스트리와 통합할 수 있습니다.

고급 통합 기능

AWS 통합에 더해 Amazon Kinesis Data Analytics 라이브러리에는 10개 이상의 Apache Flink 커넥터가 포함되어 있으며 사용자 지정 통합을 구축할 수도 있습니다. 고급 기능을 사용하여 코드 몇 줄만 추가하면 각 통합의 작동 방식을 수정할 수 있습니다. 또한 파일, 디렉터리, 소켓 또는 인터넷을 통해 액세스 가능한 기타 원본을 읽고 쓸 수 있는 Apache Flink의 기본 기능 세트를 사용하여 사용자 지정 통합을 구축할 수 있습니다.

AWS Glue 스키마 레지스트리와 호환

Amazon Kinesis Data Analytics for Apache Flink는 AWS Glue의 서버리스 기능인 AWS Glue 스키마 레지스트리와 호환되므로 추가 요금 없이 등록된 Apache Avro 스키마를 사용하여 스트리밍 데이터의 변화를 검증하고 제어할 수 있습니다. 스키마 레지스트리는 Apache Kafka, Amazon Managed Streaming for Apache Kafka(MSK) 또는 Amazon Kinesis Data Streams에 소스 또는 싱크로 연결하는 Amazon Kinesis Data Analytics for Apache Flink 워크로드의 스키마를 관리하는 데 도움이 됩니다. 데이터 스트리밍 애플리케이션을 스키마 레지스트리와 통합하면 스키마 변화를 관리하는 호환성 확인을 사용하여 데이터 품질을 개선하고 예기치 않은 변경으로부터 보호할 수 있습니다.

정확히 한 번 처리(Exactly Once Processing)

Amazon Kinesis Data Analytics의 Apache Flink를 사용하여 처리된 레코드가 정확히 한 번만 결과에 영향을 미치는 애플리케이션(Exactly Once Processing)을 구축할 수 있습니다. 즉, 내부 서비스 유지 관리 또는 사용자가 시작한 애플리케이션 업데이트로 인해 애플리케이션 중단이 발생하는 경우 이 서비스는 모든 데이터가 중복 데이터 없이 처리될 수 있도록 합니다.

상태 저장 처리

이 서비스는 이전 및 진행 중인 계산 또는 상태를 실행 중인 애플리케이션 스토리지에 저장합니다. 따라서 애플리케이션 중단 시 실시간 결과 및 이전 결과를 모든 기간에 대해 비교하고 빠르게 복구할 수 있습니다. 상태는 항상 암호화되며 실행 중인 애플리케이션 스토리지에 증분 저장됩니다.

내구성이 뛰어난 애플리케이션 백업

단순한 API 호출을 통해 내구성이 뛰어난 애플리케이션 백업을 생성하고 삭제할 수 있습니다. 중단 후 최신 백업에서 즉시 애플리케이션을 복원하거나 애플리케이션을 이전 버전으로 복원할 수 있습니다.

Amazon Kinesis Data Analytics Studio

스트림 검사 및 시각화

Kinesis Data Analytics Studio는 내장형 시각화를 통해 1초 미만의 쿼리를 지원합니다. 임시 쿼리를 수행하여 데이터 스트림을 빠르게 검사하고 결과를 몇 초 안에 볼 수 있습니다.

단순한 구축 및 실행 환경

Studio 노트북은 스트림 처리 애플리케이션의 개발, 코드 디버깅 및 실행을 위한 단일 인터페이스 개발 경험을 제공합니다.

SQL, Python 또는 Scala를 사용한 처리

Kinesis Data Analytics Studio는 SQL, Python 및 Scala를 동일한 개발 환경에서 지원합니다. 기본적으로 지원되는 Apache Flink 관련 기능을 통해 노트북 안에서 데이터와 상호 작용할 때 구문 강조 표시, 검증 및 상황에 맞는 제안을 통해 가이드를 제공합니다.

스트림 처리 애플리케이션의 신속한 서버리스 방식 개발

서버를 프로비저닝, 관리 또는 확장할 필요 없이 코드만 작성하면 되고 애플리케이션에 사용된 리소스 요금만 지불하면 됩니다. 노트북에서 자동 조정 및 내구성 있는 상태를 통해 지속적으로 실행 중인 스트림 처리 애플리케이션에 코드를 손쉽게 배포할 수 있습니다.

오픈 소스

Kinesis Data Analytics Studio는 지속적으로 실행되면서 프로덕션에 사용되는 Apache Flink 애플리케이션을 생성하며 Apache Zeppelin 노트북은 선택한 언어로 스트리밍 애플리케이션을 작성할 수 있는 익숙하고 편리한 경험을 제공합니다.

AWS Glue Data Catalog 통합

AWS Glue Data Catalog는 테이블 정의가 포함된 중앙 리포지토리 역할을 하는 영구 메타데이터 스토어입니다. AWS Glue Data Catalog를 사용하면 여러 AWS 데이터 집합 전체에서 신속하게 데이터를 검색할 수 있습니다. Amazon Kinesis Data Analytics Studio는 소스 및 대상 테이블의 스키마를 정의할 수 있는 AWS Glue Data Catalog와 호환됩니다.

Kinesis Data Analytics SQL 애플리케이션

새로운 프로젝트의 경우 Kinesis Data Analytics for SQL Applications 대신 최신 Kinesis Data Analytics Studio를 사용하는 것이 좋습니다. Kinesis Data Analytics Studio에서는 고급 분석 기능을 손쉽게 사용하여 정교한 스트림 처리 애플리케이션을 몇 분 안에 구축할 수 있습니다.

표준 SQL 지원

Amazon Kinesis Data Analytics는 표준 ANSI SQL을 지원하므로 SQL만 다룰 줄 알면 사용할 수 있습니다.

통합된 입력 및 출력

Amazon Kinesis Data Analytics는 Amazon Kinesis Data StreamsAmazon Kinesis Data Firehose와 통합되므로 즉시 스트리밍 데이터를 수집할 수 있습니다. Amazon Kinesis Data Analytics에 입력 스트림을 지정하기만 하면 자동으로 데이터를 읽고 구문 분석하고 처리 가능한 상태로 제공합니다. Amazon Kinesis Data Firehose를 통해 처리된 결과를 Amazon S3, Amazon Redshift, Amazon OpenSearch Service 등 다른 AWS 서비스로 내보낼 수 있습니다. 또한, 출력 데이터를 Amazon Kinesis Data Streams로 전송하여 고급 스트림 처리 파이프라인을 구축할 수 있습니다.

콘솔 기반 SQL 편집기

슬라이딩 시간대 평균과 같은 스트리밍 데이터 작업을 사용하여 SQL 쿼리를 구축할 수 있는 콘솔 기반 편집기를 제공합니다. 또한 실시간 데이터를 사용하여 스트리밍 결과와 오류를 보고 대화식으로 스크립트를 디버깅하거나 추가로 조정할 수 있습니다.

사용이 간편한 스키마 편집기

Amazon Kinesis Data Analytics에서는 사용이 간편한 스키마 편집기를 사용하여 입력 데이터의 구조를 검색하고 편집할 수 있습니다. 이 마법사는 JSON 및 CSV 같은 표준 데이터 형식을 자동으로 인식하고, 입력 데이터의 구조를 추론하여 기본 스키마를 생성합니다. 스키마 편집기에서 이 기본 스키마를 추가로 구체화할 수 있습니다.

사전 구축된 SQL 템플릿

대화식 SQL 편집기는 SQL 템플릿 모음과 번들로 제공됩니다. 이 템플릿 모음은 집계, 이벤트별 변환, 필터링과 같은 가장 일반적인 유형의 작업에 대한 기본 SQL 코드를 제공합니다. 분석 작업에 적합한 템플릿을 선택하고 SQL 편집기를 사용하여 제공된 코드를 편집하여 특정 사용 사례에 맞게 사용자 지정하면 됩니다.

고급 스트림 처리 함수

Amazon Kinesis Data Analytics에서는 스트림 처리에 최적화된 함수를 제공하므로, 스트리밍 데이터에 대해 이상 탐지, 상위 K 분석 등과 같은 고급 분석을 손쉽게 수행할 수 있습니다.

Amazon Kinesis Data Analytics 시작하기

Kinesis Data Analytics 요금 페이지로 이동하기
비용 계산

Amazon Kinesis Data Analytics 요금 페이지로 이동하십시오.

시작하기 안내서 검토
시작 안내서 검토

SQLApache Flink에 대한 단계별 안내서에서 Amazon Kinesis Data Analytics의 사용 방법을 알아보십시오.

콘솔에서 구축 시작
스트리밍 애플리케이션 구축 시작

Amazon Kinesis Data Analytics 콘솔에서 스트리밍 애플리케이션을 구축합니다.