AWS Lambda, 이제 자체 관리형 Kafka 이벤트 소스에서 Apache Kafka에 대한 대기열 지원
고객이 자체 실행하는 Kafka 클러스터나 Confluent Cloud 같은 관리형 솔루션의 경우, AWS Lambda가 이제 자체 관리형 Kafka 이벤트 소스 매핑(ESM)의 Apache Kafka에 대해 대기열을 지원합니다. 이제 고객은 Kafka 워크로드에 대한 처리 규모를 토픽의 파티션 수 이상으로 확장함으로써 트래픽 급증 시 처리량을 늘리고 처리 탄력성을 개선할 수 있습니다.
이미지 및 비디오 인코딩, 사기 탐지, 알림 전달, 텔레메트리 수집과 같은 사용 사례를 위해 이벤트 기반 Kafka 워크로드를 구축 중인 고객은 각 이벤트를 독립적인 작업 단위로 취급하는데, 이 경우 처리 속도가 엄격한 순서 지정보다 중요합니다. 이전에는 Kafka ESM이 Kafka 소비자 그룹 프로토콜을 사용했는데, 이 프로토콜은 각 파티션을 소비자 그룹 내에서 정확히 한 명의 소비자에게 할당합니다. 더 높은 병렬 처리가 필요한 고객은 토픽을 과도하게 파티셔닝하거나 트래픽을 별도의 대기열 시스템으로 이동하여 운영할 인프라와 유지 관리할 생산자 코드를 추가해야 했습니다. 자체 관리형 Kafka ESM에 대한 대기열 지원은 Apache Kafka 4.2에 정식 출시된 Kafka 공유 그룹을 기반으로 합니다. 이번 출시를 통해 여러 이벤트 폴러가 동일한 파티션에서 동시에 소비할 수 있으며, 각 이벤트 폴러는 최대 10개의 동시 간접 호출을 지원합니다. 이런 식으로 생산자, 토픽 구성 또는 함수 코드를 변경하지 않고도 병렬 처리와 파티션 수를 분리할 수 있습니다. 따라서 느리거나 실패한 이벤트가 더 이상 동일한 파티션에 있는 다른 이벤트를 보류하지 않기 때문에 고객은 트래픽 급증 시 더 높은 처리량과 처리 탄력성 향상을 달성할 수 있습니다. 대기열 모드는 파티션 순서를 유지하지 않으며 파티션 순서가 필요하지 않은 워크로드에 적합합니다.
이 기능을 사용하려면 공유 그룹이 활성화된 Kafka 클러스터(예: Apache Kafka 4.2 이상)가 필요하며, 자체 관리형 Kafka ESM이 제공되는 모든 AWS 상용 리전에서 사용할 수 있습니다. 시작하려면 AWS Management Console, Lambda API, AWS CLI, AWS CloudFormation, AWS SAM 또는 AWS CDK를 통해 ConsumptionMode를 Queue로 설정하여 자체 관리형 Kafka ESM을 생성하세요. 표준 Lambda 요금이 적용됩니다. 자체 관리형 Kafka ESM에 프로비저닝 모드를 구성하는 고객은 EPU(이벤트 폴러 단위) 사용 비용도 지불합니다. 자세히 알아보려면 AWS Lambda 개발자 안내서 및 AWS Lambda 요금을 참조하세요.