Amazon MSK 기능

콘솔에서 클릭 몇 번으로 Apache Kafka의 배포 모범 사례를 준수하는 완전관리형 Apache Kafka 클러스터를 생성하거나 사용자 지정 구성을 활용하여 클러스터를 생성할 수 있습니다. 사용자가 원하는 구성을 생성하면 Amazon MSK가 사용자 Apache Kafka 클러스터 운영 및 Apache ZooKeeper 노드를 자동으로 프로비저닝하고, 구성하고, 관리합니다.

Apache Kafka를 실행하고 클러스터 작업을 조율하며 클러스터와 상호 작용하는 리소스의 상태를 유지하려면 Apache ZooKeeper가 필요합니다. Amazon MSK는 사용자를 대신하여 Apache ZooKeeper 노드를 관리합니다. 각 Amazon MSK 클러스터에는 Apache Kafka 클러스터를 위한 적절한 수의 Apache ZooKeeper 노드가 무료로 포함되어 있습니다.

MSK Serverless는 컴퓨팅과 스토리지 용량을 관리하지 않아도 손쉽게 Apache Kafka 클러스터를 실행할 수 있는 Amazon MSK의 클러스터 유형입니다. MSK Serverless는 Apache Kafka 파티션을 관리하는 동시에 리소스를 자동으로 프로비저닝하고 확장하므로 클러스터의 크기를 적절하게 조정하거나 클러스터를 확장할 필요 없이 데이터를 스트리밍할 수 있습니다.

모든 클러스터가 여러 가용 영역(AZ 3개가 기본값)에 분산되고 Amazon MSK의 서비스 수준 계약으로 지원되며 클러스터 인프라 및 Apache Kafka 소프트웨어 내의 문제를 탐지하고 대응하는 자동화된 시스템으로 지원됩니다. 구성 요소 장애가 발생하면 애플리케이션 가동 중단 시간 없이 Amazon MSK가 자동으로 구성 요소를 교체합니다. Amazon MSK는 Apache ZooKeeper 노드의 가용성을 관리하므로 사용자가 노드를 시작, 중지 또는 직접 액세스할 필요가 없습니다. 또한 필요에 따라 소프트웨어 패치를 자동으로 배포하여 클러스터를 최신 상태로 유지하고 원활한 실행을 보장합니다.

MSK Replicator는 오픈 소스 도구 설정, 코드 작성 또는 인프라 관리에 대한 전문 지식이 없어도 클릭 몇 번으로 Amazon MSK 클러스터 전체에 데이터를 안정적으로 복제할 수 있는 Amazon MSK 기능입니다. MSK Replicator는 기본 리소스를 자동으로 프로비저닝하고 규모를 조정하므로 온디맨드 방식으로 데이터를 복제하고 사용한 만큼만 비용을 지불할 수 있습니다. MSK Replicator를 사용하면 가용성과 내결함성이 뛰어난 다중 리전 애플리케이션을 구축하여 복원력을 높일 수 있습니다. 또한 MSK Replicator를 사용하여 여러 리전에서 데이터 액세스 지연 시간을 낮추거나 파트너에게 데이터를 배포할 수 있습니다.

Apache Kafka 클러스터는 Amazon MSK로 관리되는 Amazon Virtual Private Cloud(VPC)에서 실행됩니다. 자체 Amazon VPC에 있는 Kafka 클라이언트는 Amazon MSK에서 VPC에 배포하는 크로스 계정 탄력적 네트워크 인터페이스를 통해 클러스터에 비공개로 액세스할 수 있습니다. Kafka 클라이언트가 하나 이상의 VPC 또는 AWS 계정에 분산되어 있는 경우에도 다중 VPC 프라이빗 연결 기능을 사용하여 클러스터에 비공개로 연결할 수 있습니다. 이 기능은 PrivateLink 솔루션을 자체 관리하는 데 따르는 운영 오버헤드를 없애줍니다. Amazon MSK 클러스터의 확장에 따라 원활하게 확장되므로 추가 구성 변경 없이 클러스터에 대한 프라이빗 연결을 유지할 수 있습니다. 또한 다중 VPC 프라이빗 연결은 연결 VPC 간에 IP 중복을 허용하므로 다른 VPC 연결 솔루션과 관련된 비중복 IP, 복잡한 피어링 및 라우팅 테이블을 관리하는 것과 관련된 문제가 발생하지 않습니다.

Amazon MSK 클러스터에 대한 클러스터 정책을 사용하여 Amazon MSK 클러스터에 대한 프라이빗 연결을 설정할 수 있는 크로스 계정 권한을 가진 IAM 보안 주체를 정의할 수 있습니다. IAM 클라이언트 인증과 함께 사용하면 클러스터 정책을 사용하여 연결 클라이언트에 대한 Kafka 데이터 영역 권한을 세밀하게 정의할 수도 있습니다.

IAM 액세스 제어는 무료 보안 옵션이며, IAM 역할 또는 사용자 정책을 사용하여 액세스를 제어하는 클러스터 인증 및 Apache Kafka API 권한 부여를 단순화합니다. IAM 액세스 제어를 사용하면 더 이상 Apached Kafka에 대한 클라이언트 인증 및 권한 부여를 위해 일회성 액세스 관리 시스템을 구축 및 실행할 필요가 없습니다. 고객의 클러스터는 기본적으로 최소 권한을 사용하여 보호됩니다. 프로비저닝된 클러스터의 경우 Apache Kafka 액세스 제어 목록(ACL)과 함께 Simple Authentication and Security Layer(SASL)/Salted Challenge Response Authentication Mechanism(SCRAM) 또는 상호 전송 계층 보안(TLS) 인증을 사용하여 클라이언트 액세스를 제어할 수도 있습니다.

Amazon MSK는 특수 구성 또는 서드 파티 도구를 사용하지 않고 저장된 데이터를 암호화합니다. 프로비저닝된 클러스터의 경우 모든 저장된 데이터는 기본적으로 AWS Key Management Service(KMS) 키를 사용하거나 고유한 키를 사용하여 암호화될 수 있습니다. 브로커와 클라이언트 사이, 그리고 클러스터에서 브로커와 클라이언트 사이에서 TLS를 통한 전송 데이터도 암호화합니다. 서버리스 클러스터의 경우 저장된 데이터 데이터는 기본적으로 서비스 관리형 키를 사용하여 암호화되고 전송 중인 모든 데이터는 기본적으로 TLS를 통해 암호화됩니다.

Amazon MSK는 인터넷을 통해 Apache Kafka 2.6.0 이상 버전을 실행하는 Amazon MSK 클러스터의 브로커에 안전하게 연결하는 옵션을 제공합니다. 프라이빗 Amazon Virtual Private Cloud(VPC) 외부의 인증된 클라이언트는 퍼블릭 액세스를 사용함으로써 암호화된 데이터를 특정 Amazon MSK 클러스터 안팎으로 스트리밍할 수 있습니다.

Amazon MSK 클러스터에 대한 클러스터 정책을 사용하여 Amazon MSK 클러스터에 대한 크로스 계정 프라이빗 연결을 설정할 수 있는 권한을 가진 크로스 계정 IAM 보안 주체를 정의할 수 있습니다. IAM 클라이언트 인증과 함께 사용하면 클러스터 정책을 사용하여 연결 클라이언트에 대한 Kafka 데이터 영역 권한을 세밀하게 정의할 수도 있습니다.

Amazon MSK에서 제공되는 AWS 통합의 범위와 깊이를 따라올 수 있는 공급자는 없습니다. 이러한 통합에는 다음이 포함됩니다.

• Apache Kafka 및 서비스 수준 API 액세스 제어를 위한 AWS IAM
• 완전관리형 Apache Flink 애플리케이션을 실행하여 Apache Kafka 내의 스트리밍 데이터를 처리하기 위한 Amazon Managed Service for Apache Flink
• Apache FlinkSQL을 사용하여 대화형 스트리밍 SQL 및 오래 실행되는 SQL 작업을 실행하기 위한 Amazon Managed Service for Apache Flink Studio
• 스키마를 중앙에서 제어하고 변경하는 AWS Glue 스키마 레지스트리
• IoT 이벤트를 MSK로 스트리밍하는 AWS IoT Core
• 변경 데이터 캡처 및 분석을 위한 AWS Database Migration Service(AWS DMS)
• 프라이빗 클라이언트 연결 및 네트워크 격리를 위한 Amazon Virtual Private Cloud(Amazon VPC)
• 저장 데이터 암호화를 위한 AWS Key Management Service(AWS KMS)
• 상호 TLS 클라이언트 인증을 위한 AWS Certificate Manager Private Certificate Authority
• SASL/SCRAM 보안 정보의 안전한 저장 및 관리를 위한 AWS Secrets Manager
• Amazon MSK를 코드로 배포하는 AWS CloudFormation
• 클러스터, 브로커, 주제, 소비자 및 파티션 수준 지표를 위한 Amazon CloudWatch
  

Amazon MSK는 네이티브 버전의 Apache Kafka를 배포합니다. 따라서 Apache Kafka용으로 구축된 애플리케이션 및 도구를 애플리케이션 코드 변경 없이 Amazon MSK에서 즉시 사용할 수 있습니다.

Amazon MSK는 일반적으로 Apache Kafka의 최신 버전을 공개된 날짜로부터 7일 내에 제공합니다.

프로비저닝된 클러스터의 Apache Kafka 버전을 몇 번의 클릭만으로 업그레이드하여 새로운 Apache Kafka 버전에 제공되는 기능 및 버그 수정을 활용할 시기를 결정할 수 있습니다. Amazon MSK는 실행 중인 클러스터의 버전 업그레이드 배포를 자동화하여 모범 사례에 따라 고객의 클라이언트 I/O 가용성을 유지합니다. 서버리스 클러스터의 경우 Apache Kafka 버전은 Amazon MSK에 의해 자동으로 업그레이드됩니다.

Amazon MSK를 통해 일일 2.00 USD 미만의 요금으로 시작할 수 있습니다. 고객은 일반적으로 모든 비용을 포함하여 수집된 GB당 0.05 USD 및 0.07 USD를 지불하면 됩니다. 이는 다른 관리형 공급자 요금의 1/13에 해당합니다. 요금에 대해 자세히 알아보려면 Amazon MSK 요금 페이지를 참조하세요.

계층형 스토리지를 사용하면 스토리지 용량을 프로비저닝하고 관리할 필요 없이 계층형 스토리지로 거의 무제한의 데이터를 MSK에 저장할 수 있습니다. 신규 또는 기존 클러스터에서 클릭 몇 번으로 계층 스토리지를 사용하고 사용한 만큼만 요금을 지불합니다. 먼저 성능 최적화된 기본 스토리지 계층에 데이터를 저장하고 더 오래 보존할 데이터를 새로운 저가형 계층으로 자동 이동하도록 MSK를 설정할 수 있습니다. 이 기능은 MSK가 제공되는 모든 AWS 리전에서 지원됩니다. 계층형 스토리지 사용을 시작하는 방법에 대해 알아보려면 Amazon MSK 개발자 안내서를 확인하세요.

Apache Kafka 브로커의 크기 또는 패밀리를 변경하여 가동 중단 없이 몇 분 안에 Amazon MSK 클러스터 규모를 조정할 수 있습니다. 크기 또는 패밀리를 변경하는 방법은 Amazon MSK 클러스터 규모를 조정할 때 가장 많이 사용되는 방법입니다. 워크로드의 변화에 맞춰 클러스터의 컴퓨팅 용량을 유연하게 조정할 수 있기 때문입니다. 이 방법은 Apache Kafka 가용성에 영향을 줄 수 있는 파티션 재할당이 필요하지 않다는 점에서 선호됩니다.

Amazon MSK는 애플리케이션의 처리량 요구 사항에 따라 클러스터의 컴퓨팅 및 스토리지 리소스 크기를 자동으로 조정합니다.

Amazon MSK는 파티션 할당을 자동으로 관리하는 Apache Kafka용 오픈 소스 도구인 Cruise Control과 통합됩니다. 서버리스 클러스터의 경우 Amazon MSK가 자동으로 파티션 할당을 관리합니다.

AWS 관리 콘솔 또는 AWS Command Line Interface(AWS CLI)를 사용하여 스토리지 요구 사항의 변화에 맞게 브로커당 프로비저닝된 스토리지 양을 원활하게 확장할 수 있습니다. 증가하는 스트리밍 요구 사항을 충족하도록 스토리지를 자동으로 확장하는 자동 크기 조정 정책을 생성할 수도 있습니다.

Amazon MSK는 기본적으로 Apache Kafka에 대한 모범 사례 클러스터 구성을 배포합니다. 프로비저닝된 클러스터의 경우 모든 동적 및 주제별 구성을 지원하면서 30개 이상의 서로 다른 클러스터 구성을 조정할 수 있습니다. 자세한 내용은 설명서에서 사용자 지정 MSK 구성을 참조하세요.

Amazon CloudWatch를 사용하여 중요한 지표를 시각화하고 모니터링함으로써 스트리밍 애플리케이션 성능을 파악하고 유지할 수 있습니다.

Prometheus의 오픈 모니터링을 사용하면 Datadog, Lenses, New Relic, Sumo logic 또는 Prometheus 서버와 같은 솔루션을 사용하여 Amazon MSK를 모니터링하고 기존 모니터링 대시보드를 Amazon MSK로 손쉽게 마이그레이션할 수 있습니다. 자세한 내용은 설명서에서 Prometheus를 사용한 오픈 모니터링을 참조하세요.