AWS Lambda รองรับคิวสำหรับ Apache Kafka ในแหล่งที่มาของเหตุการณ์ Kafka แบบจัดการด้วยตนเองแล้ว
ขณะนี้ AWS Lambda รองรับคิวสำหรับ Apache Kafka ในการแมปแหล่งที่มาของเหตุการณ์ Kafka แบบจัดการด้วยตนเอง (ESM) สำหรับคลัสเตอร์ Kafka ที่ลูกค้าดำเนินการเอง และสำหรับบริการที่มีการจัดการ เช่น Confluent Cloud ขณะนี้ ลูกค้าสามารถปรับขนาดการประมวลผลสำหรับเวิร์กโหลด Kafka ให้เกินกว่าจำนวนพาร์ติชันของ Topic ได้ ซึ่งช่วยเพิ่มอัตราการโอนถ่ายข้อมูลในช่วงที่การรับส่งข้อมูลพุ่งสูง และปรับปรุงความยืดหยุ่นในการประมวลผล
ลูกค้าที่สร้างเวิร์กโหลด Kafka แบบขับเคลื่อนด้วยเหตุการณ์สำหรับกรณีการใช้งาน เช่น การเข้ารหัสรูปภาพและวิดีโอ การตรวจจับการฉ้อโกง การส่งการแจ้งเตือน และการนำข้อมูลการวัดและส่งข้อมูลระยะไกลเข้า จะถือว่าแต่ละเหตุการณ์เป็นหน่วยงานอิสระสำหรับการประมวลผล โดยให้ความสำคัญกับความเร็วในการประมวลผลมากกว่าการรักษาลำดับอย่างเคร่งครัด ก่อนหน้านี้ Kafka ESM ใช้โปรโตคอล Consumer Group ของ Kafka ซึ่งจะกำหนดแต่ละพาร์ติชันให้กับ Consumer เพียงหนึ่งรายการภายใน Consumer Group เดียว ลูกค้าที่ต้องการการประมวลผลแบบขนานในระดับที่สูงขึ้น ก่อนหน้านี้ต้องแบ่ง Topic ออกเป็นพาร์ติชันมากเกินความจำเป็น หรือย้ายการรับส่งข้อมูลไปยังระบบคิวแยกต่างหาก ซึ่งทำให้ต้องเพิ่มโครงสร้างพื้นฐานสำหรับดำเนินงานและดูแลโค้ด Producer เพิ่มเติม การรองรับคิวสำหรับ ESM ของ Kafka แบบจัดการด้วยตนเองสร้างขึ้นบน Share Group ของ Kafka ซึ่งพร้อมให้ใช้งานทั่วไปใน Apache Kafka 4.2 การเปิดตัวครั้งนี้ช่วยให้ Event Poller หลายรายการสามารถใช้ข้อมูลจากพาร์ติชันเดียวกันพร้อมกันได้ โดย Event Poller แต่ละรายการรองรับการเรียกดำเนินการพร้อมกันได้สูงสุด 10 รายการ ความสามารถนี้แยกการประมวลผลแบบขนานออกจากจำนวนพาร์ติชัน โดยไม่ต้องเปลี่ยน Producer, การกำหนดค่า Topic หรือโค้ดฟังก์ชัน ส่งผลให้ลูกค้าได้รับอัตราการโอนถ่ายข้อมูลที่สูงขึ้นในช่วงที่การรับส่งข้อมูลพุ่งสูง และมีการประมวลผลที่ยืดหยุ่นมากขึ้น เนื่องจากเหตุการณ์ที่ทำงานช้าหรือล้มเหลวจะไม่ขัดขวางเหตุการณ์อื่นๆ ในพาร์ติชันเดียวกันอีกต่อไป โหมดคิวจะไม่รักษาลำดับของพาร์ติชัน และเหมาะสำหรับเวิร์กโหลดที่ไม่ต้องการการรักษาลำดับดังกล่าว
ความสามารถนี้ต้องใช้คลัสเตอร์ Kafka ที่เปิดใช้งาน Share Group เช่น Apache Kafka 4.2 หรือใหม่กว่า และพร้อมให้ใช้งานใน AWS Region เชิงพาณิชย์ ทุกแห่งที่มี ESM ของ Kafka แบบจัดการด้วยตนเองให้บริการ ในการเริ่มต้นใช้งาน ให้สร้าง ESM ของ Kafka แบบจัดการด้วยตนเองโดยตั้งค่า ConsumptionMode เป็น Queue ผ่านคอนโซลการจัดการของ AWS, Lambda API, AWS CLI, AWS CloudFormation, AWS SAM หรือ AWS CDK คิดค่าบริการ Lambda ตามอัตรามาตรฐาน ลูกค้าที่กำหนดค่าโหมดที่จัดสรรไว้สำหรับ ESM ของ Kafka แบบจัดการด้วยตนเอง จะต้องชำระค่าบริการสำหรับการใช้งาน Event Poller Unit (EPU) เพิ่มเติมด้วย ดูข้อมูลเพิ่มเติมได้ที่คู่มือนักพัฒนา AWS Lambda และค่าบริการ AWS Lambda