Amazon Managed Streaming for Kafka(MSK)

(공개 미리 보기)

안전한 완전관리형 고가용성 Apache Kafka 서비스

Amazon Managed Streaming for Kafka(Amazon MSK)는 Apache Kafka를 사용하여 스트리밍 데이터를 처리하는 애플리케이션의 편리한 개발 및 실행을 위한 완전관리형 서비스입니다. Apache Kafka는 실시간 스트리밍 데이터 파이프라인 및 애플리케이션 빌드를 위한 오픈 소스 플랫폼입니다. Amazon MSK를 통해 Apache Kafka API를 사용하여 데이터 레이크를 채우고, 데이터베이스와 변경 사항을 스트리밍 방식으로 주고 받으며, 기계 학습 및 분석 애플리케이션을 강화할 수 있습니다.

Apache Kafka 클러스터를 프로덕션에서 설정, 크기 조정 및 관리하는 것은 까다로운 작업입니다. 혼자서 Apache Kafka를 실행하는 경우 서버 프로비저닝, Apache Kafka 수동 구성, 실패할 경우 서버 교체, 서버 패치 및 업그레이드 오케스트레이션, 고가용성을 위한 클러스터 설계, 데이터가 지속적으로 저장되었으며 안전한지 확인, 모니터링 및 경보 설정, 부하 변경을 지원하기 위한 크기 조정 이벤트의 신중한 계획 등을 모두 직접 수행해야 합니다. Amazon Managed Streaming for Kafka를 사용하면 Apache Kafka 인프라 관리에 대한 전문성이 없이도 Apache Kafka에서 편리하게 프로덕션 애플리케이션을 개발하고 실행할 수 있습니다. 이를 통해 인프라 관리에 더 적은 시간이 소요되고 애플리케이션 개발에 더 많은 시간을 활용할 수 있습니다.

Amazon MSK 콘솔에서 몇 번만 클릭하면 Apache Kafka의 배포 모범 사례를 기반으로 하는 설정과 구성으로 고가용성 Apache Kafka 클러스터를 만들 수 있습니다. Amazon MSK는 Apache Kafka 클러스터를 자동으로 프로비저닝하고 실행합니다. Amazon MSK는 클러스터 상태를 지속적으로 모니터링하고, 애플리케이션 가동 중지 없이 비정상적인 노드를 자동으로 교체합니다. 또한 Amazon MSK는 미사용 데이터를 암호화하여 Apache Kafka 클러스터를 안전하게 유지합니다.

장점

완벽한 호환성

Amazon MSK에서 자동으로 Apache Kafka를 실행하고 관리합니다. 따라서 애플리케이션 코드를 변경하지 않고도 AWS에서 기존 Apache Kafka 애플리케이션 을 쉽게 마이그레이션하고 실행할 수 있습니다. Amazon MSK를 사용하면 오픈 소스 호환성이 유지되며, 스트림 복제를 제공하는 MirrorMaker 등의 익숙한 사용자 지정 도구와 커뮤니티 빌드 도구를 계속 사용할 수 있습니다.

완전관리형

Amazon MSK를 사용하면 Apache Kafka 환경 관리의 운영 오버헤드에 대한 걱정 없이 스트리밍 애플리케이션 생성에 집중할 수 있습니다. Amazon MSK에서 자동으로 Apache Kafka 클러스터와 Apache Zookeeper 노드의 프로비저닝, 구성 및 유지를 관리합니다. 또한 Amazon MSK는 AWS 콘솔에 주요 Apache Kafka 성능 지표를 표시합니다.

고가용성

Amazon MSK는 Apache Kafka 클러스터를 만들고 AWS 리전 내에서 다중 AZ 복제를 제공합니다. Amazon MSK는 클러스터 상태를 지속적으로 모니터링하고, 구성 요소가 실패할 경우 자동으로 교체합니다.

뛰어난 보안

Amazon MSK는 네트워크 격리, Amazon VPC 사용, 컨트롤 플레인 API 권한 부여를 위한 AWS IAM, 미사용 암호화를 포함하여 Apache Kafka 클러스터에 대해 여러 수준의 보안을 제공합니다. Amazon MSK의 암호화 지원은 AWS Key Management Service(KMS)와 통합됩니다.

작동 방식

Apache Kafka는 데이터 스토어에 스트리밍 데이터를 생성하는 애플리케이션(생산자)을 데이터 스토어에서 스트리밍 데이터를 소비하는 애플리케이션(소비자)에서 분리하는 스트리밍 데이터 스토어입니다. 조직에서는 스트리밍 데이터를 지속적으로 분석하여 관련 대응 조치를 취하는 애플리케이션용 데이터 소스로 Apache Kafka를 사용합니다.

Amazon MSK 콘솔에서 몇 번만 클릭하면 Amazon MSK가 Apache Kafka 클러스터를 프로비저닝하고 Apache Kafka 업그레이드를 관리하므로 항상 가장 안전하고 빠른 버전의 Apache Kafka를 사용할 수 있습니다. 클러스터를 구성하고 나면 애플리케이션이 프로듀서에서 주제로 데이터를 스트리밍할 수 있으며, 소비자는 주제에서 이 데이터를 실시간으로 읽습니다.

product-page-diagram_Grand-Canyon-How-It-Works2

Amazon MSK 시작하기

Product-Page_Standard-Icons_02_Sign-Up_SqInk
Amazon MSK 클러스터 설정

AWS에 가입하고 라이브러리 및 도구를 다운로드하십시오.

Product-Page_Standard-Icons_01_Product-Features_SqInk
시작하기 안내서 검토

단계별 안내서를 통해 Amazon MSK에서 Apache Kafka 클러스터를 설정하는 방법을 알아봅니다.

Product-Page_Standard-Icons_03_Start-Building_SqInk
Apache Kafka 클러스터 실행

Amazon MSK에서 Apache Kafka 클러스터 실행을 시작합니다. Amazon MSK 콘솔에 로그인합니다.