สร้างไปป์ไลน์การสตรีมแบบครบวงจรด้วยพิมพ์เขียวบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้ภายในคลิกเดียว เรียนรู้เพิ่มเติม
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ช่วยให้สามารถสร้างและรันแอปพลิเคชันการประมวลผลสตรีมแบบเรียลไทม์โดยใช้งาน Apache Flink ได้ง่ายขึ้น บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะจัดเตรียมและกำหนดค่าคลัสเตอร์ Flink ให้กับคุณ และประสานการจัดการงานของ Flink โดยจะตั้งค่าการตรวจสอบและการเตือน มอบการปรับขนาดอัตโนมัติ และได้รับการออกแบบทางสถาปัตยกรรมเพื่อให้มีความพร้อมใช้งานสูง (รวมถึงมีการใช้ระบบสำรองเพื่อกู้คืนข้อมูลของ Availability Zone) บริการนี้นำเสนอการเข้าถึง API ที่ชัดเจนของ Apache Flink และคุณจะสามารถสืบค้น Data Stream แบบโต้ตอบได้หรือเปิดใช้งานแอปพลิเคชันแบบติดตามสถานะได้ในไม่กี่ขั้นตอนผ่านบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio ด้วยบริการที่มีการจัดการนี้ คุณจะสามารถเริ่มต้นใช้งาน Apache Flink และปรับใช้และดำเนินการแอปพลิเคชันประมวลผล Data Stream ของคุณได้อย่างรวดเร็ว
ด้วยบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink คุณจะสามารถเข้าถึงความสามารถในระดับแนวหน้าในอุตสาหกรรมของ Apache Flink ได้อย่างเต็มรูปแบบ รวมถึงการประมวลผลข้อมูลที่มีความหน่วงต่ำและมีอัตราการโอนถ่ายข้อมูลสูง มีการประมวลผลเพียงครั้งเดียว และมีสถานะแอปพลิเคชันที่คงทน ด้วยบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink คุณจะสามารถปรับใช้แอปพลิเคชันที่ปลอดภัย เป็นไปตามข้อกำหนด และมีความพร้อมใช้งานสูงได้ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะจำลองข้อมูลและเวิร์กโหลดทั่วทั้ง Availability Zone ต่างๆ ได้อย่างง่ายดาย ทำให้คุณสามารถมั่นใจได้ถึงประสิทธิภาพและความเสถียรที่ต่อเนื่อง และไม่จำเป็นต้องจ่ายสำหรับความสามารถด้านอื่นเพิ่มเติม
คุณจะสามารถพัฒนาแอปพลิเคชันได้ง่ายขึ้นจากการใช้งานบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เนื่องจากบริการนี้รองรับ API ที่มีความยืดหยุ่นของ Flink ใน Java, Scala, Python และ SQL บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ผสานรวมกับแหล่งที่มาของข้อมูลและข้อมูลปลายทางหลายร้อยรายการ เช่น Amazon Managed Streaming สำหรับ Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon Simple Storage Service (Amazon S3), Amazon DynamoDB, ตัวเชื่อมต่อ JDBC และตัวเชื่อมต่อแบบกำหนดเอง
สตรีมแอปพลิเคชันการประมวลผลโดยใช้ Apache Flink
โอเพนซอร์ส
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ประกอบด้วยไลบรารีโอเพนซอร์สต่างๆ เช่น Apache Flink, Apache Beam, Apache Zeppelin, AWS SDK และการผสานรวมบริการต่างๆ ของ AWS Apache Flink เป็นเฟรมเวิร์กและเป็นกลไกในการสร้างแอปพลิเคชันการสตรีมที่มีความแม่นยำและมีความพร้อมใช้งานสูง Apache Beam เป็นโมเดลแบบครบวงจรสำหรับกำหนดการสตรีมและแอปพลิเคชันการประมวลผลข้อมูลแบบเป็นชุดที่ทำงานผ่านกลไกรันไทม์ที่หลากหลาย AWS SDK ช่วยขจัดความซับซ้อนในการเขียนโค้ดสำหรับบริการต่างๆ ของ AWS โดยการจัดเตรียม API ในภาษาที่คุณต้องการเอาไว้ให้ รวมถึงไลบรารี AWS ตัวอย่างโค้ด และเอกสารประกอบ
API ที่ยืดหยุ่น
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับ API ที่มีความยืดหยุ่นของ Flink ใน Java, Scala, Python และ SQL ที่เชี่ยวชาญเฉพาะสำหรับกรณีการใช้งานที่แตกต่างกัน รวมถึงการประมวลผลเหตุการณ์แบบมีสถานะ การสตรีม ETL (กระบวนการ Extract, Transform and Load) และการวิเคราะห์แบบเรียลไทม์ ด้วยตัวดำเนินการที่สร้างไว้ล่วงหน้าและความสามารถในการวิเคราะห์ คุณจะสามารถสร้างแอปพลิเคชันการสตรีม Apache Flink ได้ภายในไม่กี่ชั่วโมงแทนที่จะใช้เวลาเป็นเดือนๆ และจะสามารถขยายไลบรารีได้ คุณจึงสามารถดำเนินการประมวลผลสำหรับกรณีการใช้งานที่หลากหลายได้แบบเรียลไทม์
การผสานรวมบริการของ AWS
คุณสามารถติดตั้งและผสานรวมแหล่งที่มาของข้อมูลหรือปลายทางโดยใช้โค้ดให้น้อยที่สุดได้ ใช้ไลบรารีบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เพื่อผสานรวมกับบริการ AWS ต่อไปนี้
ความสามารถในการผสานรวมขั้นสูง
นอกเหนือจากการผสานรวมของ AWS แล้ว ไลบรารีบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ยังรวมถึงตัวเชื่อมต่อของ Apache Flink มากกว่า 40 รายการและความสามารถในการสร้างการผสานรวมแบบกำหนดเอง เพียงเพิ่มโค้ดอีกไม่กี่บรรทัด คุณก็สามารถปรับเปลี่ยนลักษณะการผสานรวมแต่ละรายการได้ด้วยฟังก์ชันการทำงานขั้นสูง นอกจากนี้ คุณยังสามารถสร้างการผสานรวมแบบกำหนดเองได้โดยใช้ชุดประเภทดั้งเดิมของ Apache Flink เพื่อให้คุณสามารถอ่านและเขียนจากไฟล์ ไดเร็กทอรี ซ็อกเก็ต หรือแหล่งอื่นๆ ที่เข้าถึงผ่านทางอินเทอร์เน็ต
การประมวลผลเพียงครั้งเดียว
ใช้ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เพื่อสร้างแอปพลิเคชันซึ่งบันทึกที่ผ่านการประมวลผลนั้นส่งผลกระทบต่อผลลัพธ์เพียงครั้งเดียว เรียกว่าการประมวลผลเพียงครั้งเดียว ถึงแม้แอปพลิเคชันจะหยุดชะงัก เช่น มีการบำรุงรักษาบริการภายใน หรือมีการอัปเดตแอปพลิเคชันที่ผู้ใช้ดำเนินการ แต่บริการนี้จะรับรองได้ว่าข้อมูลทั้งหมดได้รับการประมวลผลและไม่มีข้อมูลที่ซ้ำกัน
การประมวลผลแบบติดตามสถานะ
บริการจะจัดเก็บการประมวลผลในกระบวนการและก่อนหน้านั้น รวมถึงสถานะในพื้นที่เก็บข้อมูลของแอปพลิเคชันที่กำลังทำงาน เปรียบเทียบผลลัพธ์แบบเรียลไทม์และผลลัพธ์ที่ผ่านมาในช่วงเวลาใดก็ได้ และสามารถกู้คืนได้อย่างรวดเร็วในระหว่างการหยุดชะงักของแอปพลิเคชัน สถานะจะถูกเข้ารหัสไว้เสมอและจะถูกบันทึกไว้เพิ่มขึ้นในพื้นที่เก็บข้อมูลของแอปพลิเคชันที่กำลังทำงาน
การสำรองข้อมูลแอปพลิเคชันที่คงทน
สร้างและลบการสำรองข้อมูลแอปพลิเคชันที่คงทนผ่านการเรียกใช้ API ที่ง่ายดาย กู้คืนแอปพลิเคชันของคุณจากการสำรองข้อมูลครั้งล่าสุดได้ทันทีหลังการหยุดชะงัก หรือกู้คืนแอปพลิเคชันของคุณเป็นเวอร์ชันก่อนหน้า
การผสานการทำงาน ML
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับอัลกอริทึมแมชชีนเลิร์นนิง (ML) คุณสามารถสร้างแอปพลิเคชันแบบเรียลไทม์สำหรับการจัดประเภท การจัดคลัสเตอร์ การประเมิน กระบวนการสร้างฟีเจอร์ใหม่ รีเกรสชัน และสถิติได้
ความเข้ากันได้ของรีจิสทรีสคีมา AWS Glue
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink สามารถทำงานร่วมกับรีจิสทรีของสคีมา AWS Glue ได้ รีจิสทรีของสคีมาช่วยให้คุณปรับปรุงคุณภาพข้อมูลและป้องกันการเปลี่ยนแปลงที่ไม่คาดคิดโดยใช้การตรวจสอบความเข้ากันได้ที่ควบคุมการพัฒนาสคีมาสำหรับสคีมาของคุณบนเวิร์กโหลดบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ที่เชื่อมต่อกับ Apache Kafka, Amazon MSK หรือ Amazon Kinesis Data Streams เป็นตัวเชื่อมต่อแหล่งที่มาหรือซิงก์
สตูดิโอบริการวิเคราะห์ข้อมูลของ Amazon Kinesis
การตรวจสอบสตรีมและการแสดงข้อมูลด้วยภาพ
สตูดิโอบริการวิเคราะห์ข้อมูลของ Kinesis รองรับการสืบค้นในระดับต่ำกว่าวินาที พร้อมการแสดงข้อมูลด้วยภาพในตัว คุณสามารถดำเนินการสืบค้นเฉพาะกิจเพื่อตรวจสอบ Data Stream ของคุณได้อย่างรวดเร็ว โดยดูผลลัพธ์ได้ในไม่กี่วินาที
สภาพแวดล้อมที่สร้างและทำงานได้อย่างง่าย
โน๊ตบุ๊คสตูดิโอมอบประสบการณ์การพัฒนาอินเตอร์เฟซเดี่ยวสำหรับการพัฒนา การแก้จุดบกพร่องของโค้ด และเรียกใช้แอปพลิเคชันการประมวลผลสตรีม
ดำเนินการโดยใช้ SQL, Python หรือ Scala
สตูดิโอบริการวิเคราะห์ข้อมูลของ Kinesis รองรับ SQL, Python และ Scala ในสภาพแวดล้อมการพัฒนาแบบเดียวกัน จะมีการเน้นไวยากรณ์ การตรวจสอบความถูกต้อง และการให้คำแนะนำตามบริบทให้กับคุณภายในโน้ตบุ๊คเพื่อโต้ตอบกับข้อมูลของคุณด้วยการรองรับในตัวด้านความสามารถเฉพาะของ Apache Flink
การพัฒนาแอปพลิเคชันการประมวลผลสตรีมแบบไม่ต้องใช้เซิร์ฟเวอร์อย่างรวดเร็ว
ไม่ต้องใช้เซิร์ฟเวอร์ในการจัดเตรียม จัดการ หรือปรับขนาด เพียงแค่เขียนโค้ดและจ่ายเงินสำหรับทรัพยากรที่แอปพลิเคชันของคุณใช้ ปรับใช้โค้ดของคุณได้อย่างง่ายดายในโน้ตบุ๊คไปยังแอปพลิเคชันการประมวลผลสตรีมที่กำลังทำงานอย่างต่อเนื่องพร้อมการปรับขนาดอัตโนมัติและสถานะที่ทนทาน
โอเพนซอร์ส
สตูดิโอบริการวิเคราะห์ข้อมูลของ Kinesis จะทำงานและผลิตแอปพลิเคชัน Apache Flink ที่ใช้ในการผลิต รวมทั้งโน๊ตบุ๊ค Apache Zeppelin จะมอบประสบการณ์การใช้งานที่ง่ายและคุ้นเคยในการเขียนแอปพลิเคชันการสตรีมในภาษาที่เลือกไว้
ผสานรวมกับแค็ตตาล็อกข้อมูลของ AWS Glue
แค็ตตาล็อกข้อมูลของ AWS Glue เป็นพื้นที่เก็บข้อมูลเมตาถาวร ซึ่งทำหน้าที่เป็นคลังส่วนกลางที่มีข้อกำหนดของตาราง คุณสามารถใช้แค็ตตาล็อกข้อมูลของ AWS Glue เพื่อสำรวจและค้นหาจากชุดข้อมูล AWS ต่างๆ ได้อย่างรวดเร็ว สตูดิโอบริการวิเคราะห์ข้อมูลของ Kinesis สามารถทำงานร่วมกับแค็ตตาล็อกข้อมูลของ AWS Glue ได้ ซึ่งคุณสามารถกำหนดคีมาสำหรับตารางแหล่งที่มาและปลายทางได้
เริ่มต้นใช้งานบริการวิเคราะห์ข้อมูลของ Amazon Kinesis
เรียนรู้วิธีใช้บริการวิเคราะห์ข้อมูลของ Amazon Kinesis ในคู่มือสำหรับ SQL และ Apache Flink แบบทีละขั้นตอน
สร้างแอปพลิเคชันการสตรีมจากคอนโซลบริการวิเคราะห์ข้อมูลของ Amazon Kinesis