Amazon Managed Service for Apache Flink 시작하기
Managed Service for Apache Flink를 선택해야 하는 이유는 무엇인가요?
Apache Flink 및 Apache Beam을 사용하여 스트리밍 애플리케이션 구축
1
1단계: 자주 사용하는 IDE에 오픈 소스 라이브러리 다운로드
먼저 AWS SDK, Apache Flink 및 AWS 서비스용 커넥터가 포함된 오픈 소스 라이브러리를 다운로드할 수 있습니다.
2
2단계: Apache Flink 또는 Apache Beam을 사용하여 샘플 애플리케이션 구축
데이터 스트림 및 스트림 연산자를 사용하여 Apache Flink 애플리케이션 코드를 작성합니다. 애플리케이션 데이터 스트림은 애플리케이션 코드 사용에 대한 처리를 수행하는 데이터 구조입니다. 데이터는 원본에서 애플리케이션 데이터 스트림으로 지속적으로 흐릅니다. 하나 이상의 스트림 연산자를 사용하여 애플리케이션 데이터 스트림의 처리를 정의합니다.
3
3단계: Amazon Managed Service for Apache Flink에 코드 업로드
구축한 후에는 Amazon Managed Service for Apache Flink에 코드를 업로드합니다. 이 서비스는 수신 데이터의 볼륨과 처리량에 맞추어 자동 조정되는 등, 실시간 애플리케이션을 지속적으로 실행하는 데 필요한 모든 작업을 처리합니다.
직관적으로 Amazon Managed Service for Apache Flink Studio 사용
1
1단계: Amazon Managed Service for Apache Flink Studio 애플리케이션 생성
Amazon Managed Service for Apache Flink, Amazon MSK 또는 Amazon Kinesis Data Streams 콘솔에서 작업을 시작합니다. 다른 모든 데이터 소스에는 사용자 지정 커넥터를 사용하여 연결합니다.
2
2단계: 서버리스 노트북에서 SQL, Python 및 Scala로 코드를 작성하고 Apache Flink 애플리케이션을 개발
노트북의 개별 구문을 실행하고, 컨텍스트에서 결과를 보며, Apache Zeppelin의 내장형 시각화를 사용하여 개발을 가속화합니다. 사용자 정의 함수를 코드에 사용할 수도 있습니다.
3
Step 3: Amazon Managed Service for Apache Flink 스트리밍 애플리케이션으로 구축 및 배포
몇 단계 만에 코드를 지속적으로 실행되는 스트림 처리 애플리케이션으로 배포합니다. 배포된 애플리케이션은 내구성 있는 상태 및 Auto Scaling이 포함된 Amazon Managed Service for Apache Flink 애플리케이션이 됩니다. 코드를 프로덕션으로 전환하기 전에 소스, 대상, 로깅 및 모니터링 수준을 변경할 수 있습니다.
온라인 교육
이 워크숍에서는 거의 실시간으로 스트리밍 데이터를 수집, 분석 및 시각화하기 위한 포괄적인 스트리밍 아키텍처를 구축합니다. 택시의 원격 측정 데이터를 거의 실시간으로 분석하여 뉴욕시에 있는 택시 회사의 차량 운영을 최적화하게 됩니다.
사전 구축된 솔루션을 사용하여 빠르게 시작합니다. AWS Streaming Data Solution for Amazon Managed Service for Apache Flink를 사용하면 많은 양의 애플리케이션 로그 캡처, 클릭스트림 데이터 분석, 데이터 레이크로의 지속적 전송과 같은 실시간 스트리밍 사용 사례를 해결할 수 있습니다.
이 워크숍에서는 큰 돈을 걸고 있는 카지노 입장 고객을 식별하는 스트림 처리 애플리케이션을 만듭니다. 큰 돈을 쓰는 사람이 게임 테이블에 앉으면 애플리케이션에서 이메일을 보냅니다. 또한 칩을 다시 채워야 하는 테이블을 식별하고 베팅 및 승리 패턴을 통해 카지노에서 잠재적인 사기꾼을 식별합니다.
총 5부로 구성된 이 학습 시리즈에서는 Amazon Managed Service for Apache Flink 스튜디오를 사용하여 실시간 게임 리더보드를 위한 최신 데이터 스트리밍 아키텍처를 구축합니다. 이 아키텍처에는 데이터 모으기, 데이터베이스 변경 데이터 캡처(CDC)를 통한 실시간 강화, 데이터 처리, 결과를 컴퓨팅, 저장 및 시각화하는 것이 포함됩니다.