ฟีเจอร์ของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
ทำไมต้องใช้บริการที่มีการจัดการสำหรับ Apache Flink
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ช่วยให้สามารถสร้างและรันแอปพลิเคชันการประมวลผลสตรีมแบบเรียลไทม์โดยใช้งาน Apache Flink ได้ง่ายขึ้น บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะจัดเตรียมและกำหนดค่าคลัสเตอร์ Flink ให้กับคุณ และประสานการจัดการงานของ Flink โดยจะตั้งค่าการตรวจสอบและการเตือน มอบการปรับขนาดอัตโนมัติ และได้รับการออกแบบทางสถาปัตยกรรมเพื่อให้มีความพร้อมใช้งานสูง (รวมถึงมีการใช้ระบบสำรองเพื่อกู้คืนข้อมูลของ Availability Zone) บริการนี้นำเสนอการเข้าถึง API ที่ชัดเจนของ Apache Flink และคุณจะสามารถสืบค้น Data Stream แบบโต้ตอบได้หรือเปิดใช้งานแอปพลิเคชันแบบติดตามสถานะได้ในไม่กี่ขั้นตอนผ่านบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio ด้วยบริการที่มีการจัดการนี้ คุณจะสามารถเริ่มต้นใช้งาน Apache Flink และปรับใช้และดำเนินการแอปพลิเคชันประมวลผล Data Stream ของคุณได้อย่างรวดเร็ว
ด้วยบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink คุณจะสามารถเข้าถึงความสามารถในระดับแนวหน้าในอุตสาหกรรมของ Apache Flink ได้อย่างเต็มรูปแบบ รวมถึงการประมวลผลข้อมูลที่มีความหน่วงต่ำและมีอัตราการโอนถ่ายข้อมูลสูง มีการประมวลผลเพียงครั้งเดียว และมีสถานะแอปพลิเคชันที่คงทน ด้วยบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink คุณจะสามารถปรับใช้แอปพลิเคชันที่ปลอดภัย เป็นไปตามข้อกำหนด และมีความพร้อมใช้งานสูงได้ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะจำลองข้อมูลและเวิร์กโหลดทั่วทั้ง Availability Zone ต่างๆ ได้อย่างง่ายดาย ทำให้คุณสามารถมั่นใจได้ถึงประสิทธิภาพและความเสถียรที่ต่อเนื่อง และไม่จำเป็นต้องจ่ายสำหรับความสามารถด้านอื่นเพิ่มเติม
คุณจะสามารถพัฒนาแอปพลิเคชันได้ง่ายขึ้นจากการใช้งานบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เนื่องจากบริการนี้รองรับ API ที่มีความยืดหยุ่นของ Flink ใน Java, Scala, Python และ SQL บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ผสานรวมกับแหล่งที่มาของข้อมูลและข้อมูลปลายทางหลายร้อยรายการ เช่น Amazon Managed Streaming สำหรับ Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon Simple Storage Service (Amazon S3), Amazon DynamoDB, ตัวเชื่อมต่อ JDBC และตัวเชื่อมต่อแบบกำหนดเอง
สตรีมแอปพลิเคชันการประมวลผลโดยใช้ Apache Flink
เปิดทั้งหมดบริการจัดการของ Amazon สำหรับ Apache Flink ประกอบด้วยไลบรารีโอเพนซอร์ส เช่น Apache Flink, Apache Beam, Apache Zeppelin, AWS SDK และการบูรณาการบริการ AWS Apache Flink เป็นเฟรมเวิร์กและเป็นกลไกในการสร้างแอปพลิเคชันการสตรีมที่มีความแม่นยำและมีความพร้อมใช้งานสูง Apache Beam เป็นโมเดลแบบครบวงจรสำหรับกำหนดการสตรีมและแอปพลิเคชันการประมวลผลข้อมูลแบบเป็นชุดที่ทำงานผ่านกลไกรันไทม์ที่หลากหลาย AWS SDK ช่วยขจัดความซับซ้อนในการเขียนโค้ดสำหรับบริการต่างๆ ของ AWS โดยการจัดเตรียม API ในภาษาที่คุณต้องการเอาไว้ให้ รวมถึงไลบรารี AWS ตัวอย่างโค้ด และเอกสารประกอบ
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับ API ที่มีความยืดหยุ่นของ Flink ใน Java, Scala, Python และ SQL ที่เชี่ยวชาญเฉพาะสำหรับกรณีการใช้งานที่แตกต่างกัน รวมถึงการประมวลผลเหตุการณ์แบบมีสถานะ การสตรีม ETL (กระบวนการ Extract, Transform and Load) และการวิเคราะห์แบบเรียลไทม์ ด้วยตัวดำเนินการที่สร้างไว้ล่วงหน้าและความสามารถในการวิเคราะห์ คุณจะสามารถสร้างแอปพลิเคชันการสตรีม Apache Flink ได้ภายในไม่กี่ชั่วโมงแทนที่จะใช้เวลาเป็นเดือนๆ และจะสามารถขยายไลบรารีได้ คุณจึงสามารถดำเนินการประมวลผลสำหรับกรณีการใช้งานที่หลากหลายได้แบบเรียลไทม์
คุณสามารถติดตั้งและผสานรวมแหล่งที่มาของข้อมูลหรือปลายทางโดยใช้โค้ดให้น้อยที่สุดได้ ใช้ไลบรารีบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เพื่อผสานรวมกับบริการ AWS ต่อไปนี้
นอกเหนือจากการผสานรวมของ AWS แล้ว ไลบรารีบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ยังรวมถึงตัวเชื่อมต่อของ Apache Flink มากกว่า 40 รายการและความสามารถในการสร้างการผสานรวมแบบกำหนดเอง เพียงเพิ่มโค้ดอีกไม่กี่บรรทัด คุณก็สามารถปรับเปลี่ยนลักษณะการผสานรวมแต่ละรายการได้ด้วยฟังก์ชันการทำงานขั้นสูง นอกจากนี้ คุณยังสามารถสร้างการผสานรวมแบบกำหนดเองได้โดยใช้ชุดประเภทดั้งเดิมของ Apache Flink เพื่อให้คุณสามารถอ่านและเขียนจากไฟล์ ไดเร็กทอรี ซ็อกเก็ต หรือแหล่งอื่นๆ ที่เข้าถึงผ่านทางอินเทอร์เน็ต
ใช้ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เพื่อสร้างแอปพลิเคชันซึ่งบันทึกที่ผ่านการประมวลผลนั้นส่งผลกระทบต่อผลลัพธ์เพียงครั้งเดียว เรียกว่าการประมวลผลเพียงครั้งเดียว ถึงแม้แอปพลิเคชันจะหยุดชะงัก เช่น มีการบำรุงรักษาบริการภายใน หรือมีการอัปเดตแอปพลิเคชันที่ผู้ใช้ดำเนินการ แต่บริการนี้จะรับรองได้ว่าข้อมูลทั้งหมดได้รับการประมวลผลและไม่มีข้อมูลที่ซ้ำกัน
บริการจะจัดเก็บการประมวลผลในกระบวนการและก่อนหน้านั้น รวมถึงสถานะในพื้นที่เก็บข้อมูลของแอปพลิเคชันที่กำลังทำงาน เปรียบเทียบผลลัพธ์แบบเรียลไทม์และผลลัพธ์ที่ผ่านมาในช่วงเวลาใดก็ได้ และสามารถกู้คืนได้อย่างรวดเร็วในระหว่างการหยุดชะงักของแอปพลิเคชัน สถานะจะถูกเข้ารหัสไว้เสมอและจะถูกบันทึกไว้เพิ่มขึ้นในพื้นที่เก็บข้อมูลของแอปพลิเคชันที่กำลังทำงาน
สร้างและลบการสำรองข้อมูลแอปพลิเคชันที่คงทนผ่านการเรียกใช้ API ที่ง่ายดาย กู้คืนแอปพลิเคชันของคุณจากการสำรองข้อมูลครั้งล่าสุดได้ทันทีหลังการหยุดชะงัก หรือกู้คืนแอปพลิเคชันของคุณเป็นเวอร์ชันก่อนหน้า
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับอัลกอริทึมแมชชีนเลิร์นนิง (ML) คุณสามารถสร้างแอปพลิเคชันแบบเรียลไทม์สำหรับการจัดประเภท การจัดคลัสเตอร์ การประเมิน กระบวนการสร้างฟีเจอร์ใหม่ รีเกรสชัน และสถิติได้
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink สามารถทำงานร่วมกับรีจิสทรีของสคีมา AWS Glue ได้ รีจิสทรีของสคีมาช่วยให้คุณปรับปรุงคุณภาพข้อมูลและป้องกันการเปลี่ยนแปลงที่ไม่คาดคิดโดยใช้การตรวจสอบความเข้ากันได้ที่ควบคุมการพัฒนาสคีมาสำหรับสคีมาของคุณบนเวิร์กโหลดบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ที่เชื่อมต่อกับ Apache Kafka, Amazon MSK หรือ Amazon Kinesis Data Streams เป็นตัวเชื่อมต่อแหล่งที่มาหรือซิงก์