Amazon Managed Streaming for Apache Kafka(Amazon MSK)

안전한 완전관리형 고가용성 Apache Kafka 서비스

Amazon MSK는 Apache Kafka를 사용하여 스트리밍 데이터를 처리하는 애플리케이션의 구축 및 실행을 간소화하는 완전관리형 서비스입니다. Apache Kafka는 실시간 스트리밍 데이터 파이프라인 및 애플리케이션을 구축하기 위한 오픈 소스 플랫폼입니다. Amazon MSK를 통해 네이티브 Apache Kafka API를 사용하여 데이터 레이크를 채우고, 데이터베이스와 변경 사항을 스트리밍 방식으로 주고받으며, 기계 학습 및 분석 애플리케이션을 지원할 수 있습니다.

Apache Kafka 클러스터를 프로덕션에서 설정하고 규모를 조정하고 관리하는 것은 까다로운 작업입니다. 혼자서 Apache Kafka를 실행하는 경우 서버 프로비저닝, Apache Kafka 수동 구성, 실패할 경우 서버 교체, 서버 패치 및 업그레이드 오케스트레이션, 고가용성을 위한 클러스터 설계, 데이터가 지속적으로 저장되었으며 안전한지 확인, 모니터링 및 경보 설정, 부하 변경을 지원하기 위한 크기 조정 이벤트의 신중한 계획 등을 모두 직접 수행해야 합니다. Amazon MSK를 사용하면 Apache Kafka 인프라 관리에 대한 전문성이 없이도 Apache Kafka에서 편리하게 프로덕션 애플리케이션을 구축하고 실행할 수 있습니다. 이를 통해 인프라 관리 시간을 줄이고, 더 많은 시간을 애플리케이션 개발에 활용할 수 있습니다.

Amazon MSK 콘솔에서 몇 번만 클릭하면 Apache Kafka의 배포 모범 사례를 기반으로 하는 설정과 구성으로 고가용성 Apache Kafka 클러스터를 만들 수 있습니다. Amazon MSK는 Apache Kafka 클러스터를 자동으로 프로비저닝하고 실행합니다. Amazon MSK는 클러스터 상태를 지속적으로 모니터링하고, 애플리케이션 가동 중지 없이 비정상적인 노드를 자동으로 교체합니다. 또한 Amazon MSK는 미사용 데이터를 암호화하여 Apache Kafka 클러스터를 안전하게 유지합니다.

이점

완벽한 호환성

Amazon MSK는 Apache Kafka를 자동으로 실행하고 관리합니다. 따라서 애플리케이션 코드를 변경하지 않고도 손쉽게 기존 Apache Kafka 애플리케이션을 AWS로 마이그레이션하여 실행할 수 있습니다. Amazon MSK를 사용하면 오픈 소스 호환성을 유지하고, MirrorMaker, Apache FlinkPrometheus와 같은 친숙한 사용자 지정 및 커뮤니티 구축 도구를 계속 사용할 수 있습니다.

완전관리형

Amazon MSK를 사용하면 Apache Kafka 환경 관리의 운영 오버헤드에 대한 걱정 없이 스트리밍 애플리케이션 생성에 집중할 수 있습니다. Amazon MSK에서 자동으로 Apache Kafka 클러스터와 Apache ZooKeeper 노드의 프로비저닝, 구성 및 유지를 관리합니다. 또한 Amazon MSK는 AWS 콘솔에 주요 Apache Kafka 성능 지표를 표시합니다.

탄력적인 스트림 처리

Apache Flink는 스트리밍 데이터의 상태 저장 계산을 위한 강력한 오픈 소스 스트림 처리 프레임워크입니다. SQL, Java 또는 Scala로 작성된 완전관리형 Apache Flink 애플리케이션을 실행하여 Amazon MSK 내에서 데이터 스트림을 처리하도록 탄력적으로 확장할 수 있습니다.

뛰어난 가용성

Amazon MSK는 Apache Kafka 클러스터를 생성하고 AWS 리전 내에서 다중 AZ 복제를 제공합니다. Amazon MSK는 클러스터 상태를 지속적으로 모니터링하고, 구성 요소가 실패할 경우 자동으로 대체합니다.

뛰어난 보안

Amazon MSK는 VPC 네트워크 격리, 컨트롤 플레인 API 권한 부여를 위한 AWS IAM, 저장 데이터 암호화, 전송 데이터 TLS 암호화, TLS 기반 인증서 인증, 데이터 플레인 권한 부여를 위한 Apache Kafka ACL(액세스 제어 목록) 지원을 비롯하여 Apache Kafka 클러스터를 위한 다양한 수준의 보안을 제공합니다.

고객 사례 연구

Nutmeg
Poshmark
Vonage
Secureworks
Compass
ZipRecruiter
고객 사례 연구 보기 »

작동 방식

Apache Kafka는 데이터 스토어에 스트리밍 데이터를 생성하는 애플리케이션(생산자)을 데이터 스토어에서 스트리밍 데이터를 소비하는 애플리케이션(소비자)에서 분리하는 스트리밍 데이터 스토어입니다. 조직에서는 스트리밍 데이터를 지속적으로 분석하여 관련 대응 조치를 취하는 애플리케이션용 데이터 소스로 Apache Kafka를 사용합니다.

Amazon MSK 콘솔에서 몇 번만 클릭하면 Amazon MSK가 Apache Kafka 클러스터를 프로비저닝하고 Apache Kafka 업그레이드를 관리하므로 항상 가장 안전하고 빠른 버전의 Apache Kafka를 사용할 수 있습니다. 클러스터를 구성하고 나면 애플리케이션이 생산자에서 주제로 데이터를 스트리밍할 수 있으며, 소비자는 주제에서 이 데이터를 실시간으로 읽습니다.

Amazon MSK 작동 방식 다이어그램

웹 세미나 슬라이드를 다운로드하여 Amazon MSK에 대해 자세히 알아보십시오.

Amazon MSK 시작하기

Amazon MSK 클러스터 설정
Amazon MSK 클러스터 설정

AWS에 가입하고 라이브러리 및 도구를 다운로드하십시오.

시작하기 안내서 검토
시작하기 안내서 검토

단계별 안내서를 통해 Amazon MSK에서 Apache Kafka 클러스터를 설정하는 방법을 알아봅니다.

Apache Kafka 클러스터 실행
Apache Kafka 클러스터 실행

Amazon MSK에서 Apache Kafka 클러스터 실행을 시작합니다. Amazon MSK 콘솔에 로그인합니다.