โบรกเกอร์ Amazon MSK Express ส่งข้อมูลไปยังตารางสตรีมมิ่งที่ใช้ Apache Iceberg ได้แล้ว
ขณะนี้โบรกเกอร์ Amazon MSK Express สามารถส่งข้อมูลไปยังตารางสตรีมมิ่งที่ใช้ Apache Iceberg ได้แล้ว ซึ่งเป็นความสามารถใหม่ที่แปลงทอปิก Apache Kafka ให้เป็นตาราง Apache Iceberg บน Amazon S3 Tables อย่างต่อเนื่อง การส่งข้อมูลจาก Amazon MSK ไปยังตารางสตรีมมิ่ง ช่วยลดค่าใช้จ่ายในการนำข้อมูลเข้าและการส่งข้อมูล Apache Kafka ไปยังตาราง Amazon S3 ได้สูงสุดถึง 60% เมื่อเทียบกับการนำไปใช้จริงที่จัดการด้วยตนเอง และช่วยลดค่าใช้จ่ายของการสืบค้นขั้นปลายได้สูงสุดถึง 30% เมื่อเทียบกับการติดตั้งใช้งาน Apache Kafka ที่จัดการด้วยตนเอง
ลูกค้าใช้ Apache Kafka เพื่อนำเข้าข้อมูลแบบเรียลไทม์สำหรับกรณีการใช้งานต่าง ๆ เช่น การตรวจจับการทุจริตและการปรับแต่งเฉพาะบุคคล และมีความต้องการเพิ่มขึ้นในการรวมข้อมูลดังกล่าวเข้ากับตาราง Apache Iceberg เพื่อการวิเคราะห์ข้อมูลแบบเกือบเรียลไทม์ แต่การผสานรวมทั้งสองเข้าด้วยกันทำให้ลูกค้าต้องดูแลและใช้งานไปป์ไลน์แบบกำหนดเองที่ซับซ้อน จัดการการแปลงรูปแบบข้อมูล และรับมือกับปัญหาไฟล์ขนาดเล็กซึ่งการนำเข้าข้อมูลปริมาณมากจะสร้างไฟล์ Parquet ขนาดเล็กจำนวนมาก ส่งผลให้การสืบค้นในขั้นตอนถัดไปช้าลงและมีค่าใช้จ่ายเพิ่มขึ้น ด้วยความสามารถนี้ การทำ Inline Compaction อัจฉริยะจะช่วยขจัดผลกระทบด้านประสิทธิภาพจากไฟล์ขนาดเล็ก และทำให้ประสิทธิภาพของการสืบค้นมีความสม่ำเสมอและคาดการณ์ได้ โดยไม่กระทบต่อความสดใหม่ของข้อมูล ขณะที่การประสานงานในตัวจะจัดการข้อขัดแย้งระหว่างกระบวนการเขียนข้อมูลที่ทำงานพร้อมกันในคอนซูเมอร์ที่มีอัตราการถ่ายโอนข้อมูลสูง Amazon MSK รองรับอัตราการโอนถ่ายข้อมูลสูงสุด 10 GB/วินาทีสำหรับการส่งข้อมูลไปยัง Apache Iceberg บนตาราง Amazon S3 และเนื่องจากความสามารถในตัวนี้ไม่ต้องเพิ่มอัตราการถ่ายโอนข้อมูลขาออกของโบรกเกอร์ ลูกค้าจึงหลีกเลี่ยงค่าใช้จ่ายด้านโครงสร้างพื้นฐานที่เพิ่มขึ้นจากการปรับขนาดไปป์ไลน์ตัวเชื่อมต่อ และปรับความจุให้สอดคล้องกับความต้องการใช้งานจริง แทนการจัดเตรียมความจุสำหรับช่วงที่มีความต้องการสูงสุด ลูกค้าสามารถส่งข้อมูลไปยังตารางสตรีมมิ่ง และสืบค้นหรือแปลงข้อมูลด้วยเอ็นจิ้นที่เลือกใช้ ซึ่งรวมถึง Apache Spark, Trino หรือ Apache Flink
ในการเริ่มต้นใช้งาน ลูกค้าเพียงเปิดคอนโซล Amazon MSK เลือกคลัสเตอร์ Amazon MSK Express และเปิดใช้งานความสามารถนี้ด้วยการคลิกเพียงไม่กี่ครั้ง หรือใช้ API ของ Amazon MSK หรือ MCP server การส่งข้อมูลจาก Amazon MSK ไปยังตารางสตรีมมิ่งพร้อมใช้งานแล้ววันนี้ในทุก AWS Region ที่มีโบรกเกอร์ Amazon MSK Express ให้บริการ สำหรับข้อมูลค่าบริการ โปรดไปที่หน้าค่าบริการ หากต้องการเรียนรู้เพิ่มเติม โปรดไปที่คู่มือนักพัฒนา Amazon MSK และทักษะ AI ของ Amazon MSK