AWS Lambda, Avro 및 Protobuf 형식의 Kafka 이벤트에 대한 네이티브 지원 발표
이제 AWS Lambda는 Apache Kafka의 이벤트 소스 매핑(ESM)을 통해 Avro 및 Protobuf 형식의 Kafka 이벤트를 기본적으로 지원하며, 스키마 관리를 위해 AWS Glue 스키마 레지스트리(GSR), Confluent Cloud 스키마 레지스트리(CCSR), 자체 관리형 Confluent 스키마 레지스트리(SCSR)와 통합됩니다. 따라서 사용자는 오픈 소스 Kafka 소비자 인터페이스를 사용하여 스키마를 검증하고, 이벤트를 필터링하며, 이벤트를 처리할 수 있습니다. 아울러 Powertools for AWS Lambda를 활용하여 별도의 역직렬화 코드를 작성하지 않고도 Kafka 이벤트를 처리할 수 있어, AWS Lambda 기반의 Kafka 애플리케이션을 더욱 쉽게 구축할 수 있습니다.
Kafka 사용자는 Avro 및 Protobuf 형식을 활용하여 효율적인 데이터 저장, 빠른 직렬화 및 역직렬화, 스키마 진화 지원, 다양한 프로그래밍 언어 간의 상호 운용성 등을 구현하고 있습니다. 스키마 레지스트리를 활용하여 데이터가 처리 파이프라인에 들어가기 전에 스키마를 관리하고 발전시키고 검증합니다. 기존에는 이러한 데이터 형식을 사용할 때 Lambda 함수 내에서 직접 이벤트를 검증, 역직렬화, 필터링하기 위해 사용자 지정 코드를 작성해야 했습니다. 오늘 출시로 Lambda는 Avro 및 Protobuf를 기본적으로 지원하며 GSR, CCSR 및 SCSR과의 통합도 가능해져, 사용자는 사용자 지정 코드 없이 이러한 데이터 형식을 사용하여 Kafka 이벤트를 처리할 수 있습니다. 또한 이벤트 필터링을 통해 불필요한 함수 간접 호출을 방지하여 비용을 최적화할 수 있습니다.
이 기능은 이스라엘(텔아비브), 아시아 태평양(말레이시아), 캐나다 서부(캘거리)를 제외하고 AWS Lambda Kafka ESM을 사용할 수 있는 모든 AWS 상용 리전에서 정식 버전으로 제공됩니다.
시작하려면 ESM API, AWS Console, AWS CLI, AWS SDK, AWS CloudFormation, AWS SAM에서 신규 또는 기존 Kafka ESM에 대한 스키마 레지스트리 구성을 제공하시기 바랍니다. 원하는 경우 함수 간접 호출 전에 관련 없는 Avro 또는 Protobuf 형식의 이벤트를 삭제하도록 필터링 규칙을 설정할 수도 있습니다. Kafka의 오픈 소스 ConsumerRecords 인터페이스를 사용하여 함수를 빌드하려면 Lambda 함수 내에 Powertools for AWS Lambda를 종속성으로 추가하면 됩니다. 자세히 알아보려면 Lambda ESM 설명서와 AWS Lambda 요금 페이지를 참조하세요.