게시된 날짜: Aug 17, 2022
AWS Lambda는 이제 Amazon Managed Streaming for Apache Kafka(MSK) 또는 자체 관리형 Kafka를 이벤트 소스로 사용할 때 사용자 지정 소비자 그룹 ID를 지원합니다. Kafka는 소비자 그룹 ID를 사용하여 소비자 멤버십을 식별하고 소비자 체크포인트를 기록합니다. 사용자 그룹 ID 사용은 재해 복구나 장애 조치 지원이 필요한 워크로드가 있는 고객에게 가장 적합합니다.
Lambda를 사용하면 Kafka 주제의 이벤트를 대규모로 쉽게 사용할 수 있습니다. Lambda가 주제에서 소비를 시작하면 소비자 그룹 ID를 표시합니다. 이 ID는 임의로 생성되는 고유 값으로, Lambda가 항상 주제에 대한 새 그룹 소비자로 식별되고 처리가 지정된 위치(Latest 또는 Trim Horizon)에서 시작되도록 보장합니다. 이제 지정된 소비자 그룹 ID가 있으므로 Lambda가 새 소비자 그룹으로 식별될 필요가 없습니다. Kafka가 Lambda를 기존 소비자 그룹으로 식별하면 Kafka가 소비자 그룹 중단을 기록한 위치부터 또는 오프셋이 더 이상 유효하지 않은 경우 Trim Horizon부터 소비를 시작합니다. 재해 복구 워크플로의 경우 Apache MirrorMaker2를 사용하는 고객은 사용자 지정 소비자 그룹 ID와 함께 Lambda를 사용하여 미러링된 Kafka 클러스터에서 처리를 다시 시작할 수 있습니다.
AWS Management Console, AWS CLI, AWS SAM 또는 Lambda용 AWS SDK를 통해 Amazon MSK 및 자체 관리형 Kafka를 사용자 지정 소비자 그룹 ID로 시작할 수 있습니다. AWS Lambda를 사용할 수 있는 모든 리전에서 추가 비용 없이 사용할 수 있습니다. AWS Lambda를 사용할 수 있는 리전에 대한 자세한 내용은 AWS 리전 표를 참조하세요. Lambda를 사용해 Apache Kafka 소비자 애플리케이션을 구축하는 방법에 대한 자세한 내용은 Lambda 개발자 안내서와 AWS 컴퓨팅 블로그를 참조하세요.