AWS Lambda, Kafka 이벤트 처리를 위한 향상된 오류 처리 기능 발표
AWS Lambda가 Amazon Managed Streaming for Apache Kafka(MSK) 및 자체 관리형 Apache Kafka(SMK) 이벤트 소스에 대한 향상된 오류 처리 기능을 출시했습니다. 이러한 기능을 사용하면 사용자 지정 재시도 구성을 구축하고, 실패한 메시지의 재시도를 최적화하고, 실패 이벤트를 Kafka 주제에 실패 시 대상으로 전송할 수 있습니다. 따라서 고객은 강력한 오류 처리 전략을 바탕으로 복원력이 뛰어난 Kafka 워크로드를 구축할 수 있습니다.
고객은 Kafka 이벤트 소스 매핑(ESM)을 Lambda 함수와 함께 사용하여 미션 크리티컬 Kafka 애플리케이션을 빌드합니다. Kafka ESM은 지수 백오프를 사용하여 이벤트를 재시도하고 Amazon SQS, Amazon S3, Amazon SNS 같은 실패 시 대상에 실패한 이벤트를 보존하여, 실패한 이벤트에 대한 강력한 오류 처리 기능을 제공합니다. 하지만 엄격한 비즈니스 및 성능 요구 사항을 충족하려면 고객에는 맞춤형 오류 처리가 필요합니다. 이번 출시 덕분에 개발자는 이제 실패한 이벤트 처리를 정밀하게 제어하고, Kafka ESM용 프로비저닝 모드를 사용할 때 Kafka 주제를 추가 실패 시 대상으로 활용할 수 있습니다. 고객은 구체적인 재시도 제한 및 재시도 시간 경계를 정의할 수 있으며, 이러한 제한을 초과한 실패한 레코드는 고객이 지정한 대상으로 자동 폐기됩니다. 그리고 배치 내 실패한 레코드의 자동 재시도를 설정하고, 함수 코드를 개선해 개별 실패 메시지를 보고하게 하여 프로세스를 최적화할 수도 있습니다.
이 기능은 AWS Lambda의 Kafka ESM용 프로비저닝 모드가 제공되는 모든 AWS 상용 리전에서 사용할 수 있습니다.
앞에서 소개한 여러 기능을 활성화하려면 ESM API, AWS Console 및 AWS CLI에서 Kafka ESM용 구성 파라미터를 제공해야 합니다. 자세히 알아보려면 Lambda ESM 설명서와 AWS Lambda 요금 페이지를 참조하세요.