- การวิเคราะห์›
- บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink›
- เริ่มต้นใช้งาน
เริ่มต้นใช้งานบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
ทำไมต้องใช้บริการที่มีการจัดการสำหรับ Apache Flink
สร้างแอปพลิเคชันการสตรีด้วย Apache Flink และ Apache Beam
1
ขั้นตอนที่ 1: ดาวน์โหลดไลบรารีโอเพนซอร์สลงใน IDE ที่คุณชื่นชอบ
คุณสามารถเริ่มต้นด้วยการดาวน์โหลดไลบรารีโอเพนซอร์ส รวมถึง AWS SDK, Apache Flink และตัวเชื่อมต่อสำหรับบริการของ AWS
2
ขั้นตอนที่ 2: สร้างแอปพลิเคชันตัวอย่างโดยใช้ Apache Flink หรือ Apache Beam
คุณเขียนโค้ดแอปพลิเคชัน Apache Flink โดยใช้ Data Stream และตัวดำเนินการสตรีม Data Stream ของแอปพลิเคชันคือโครงสร้างข้อมูลที่คุณดำเนินการประมวลผลกับการใช้โค้ดแปพลิเคชันของคุณ ข้อมูลจะไหลอย่างต่อเนื่องจากแหล่งที่มาไปสู่ Data Stream ของแอปพลิเคชัน ตัวดำเนินการสตรีมจำนวนหนึ่งรายการหรือมากกว่าจะถูกใช้กำหนดการประมวลผลของคุณบน Data Stream ของแอปพลิเคชัน
3
ขั้นตอนที่ 3: – อัปโหลดโค้ดของคุณไปยังบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
เมื่อสร้างแล้ว ให้อัปโหลดโค้ดของคุณไปยังบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink บริการจะดูแลทุกสิ่งที่จำเป็นในการเรียกใช้แอปพลิเคชันแบบเรียลไทม์อย่างต่อเนื่อง รวมถึงการปรับขนาดโดยอัตโนมัติเพื่อให้สอดคล้องกับปริมาณและอัตราการโอนถ่ายข้อมูลของข้อมูลขาเข้าของคุณ
ใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio อย่างชาญฉลาด
1
ขั้นตอนที่ 1: สร้างแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio
เริ่มต้นจากบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink, Amazon MSK หรือคอนโซล Amazon Kinesis Data Streams ใช้ตัวเชื่อมต่อแบบกำหนดเองเพื่อเชื่อมต่อกับแหล่งที่มาของข้อมูลอื่นๆ
2
ขั้นตอนที่ 2: เขียนโค้ดในโน๊ตบุ๊คแบบไม่ต้องใช้เซิร์ฟเวอร์ใน SQL, Python และ Scala และพัฒนาแอปพลิเคชัน Apache Flink
เรียกใช้แต่ละย่อหน้าในโน๊ตบุ๊ค ดูผลลัพธ์ในบริบท และใช้ระบบการแสดงข้อมูลด้วยภาพในตัว Apache Zeppelin เพื่อเร่งการพัฒนาได้ นอกจากนี้ คุณยังสามารถใช้ฟังก์ชันที่ผู้ใช้กำหนดในโค้ดของคุณได้ด้วย
3
ขั้นตอนที่ 3: สร้างและปรับใช้เป็นแอปพลิเคชันการสตรีมบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
ปรับใช้โค้ดของคุณเป็นแอปพลิเคชันประมวลผลสตรีมที่ทำงานอย่างต่อเนื่องได้ภายในไม่กี่ขั้นตอน แอปพลิเคชันที่คุณปรับใช้จะเป็นแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ที่มีสถานะทนทานและการปรับขนาดอัตโนมัติ นอกจากนี้ คุณยังมีโอกาสเปลี่ยนแหล่งที่มา ปลายทาง การบันทึกข้อมูล และการตรวจสอบระดับต่างๆ ก่อนจะผลิตโค้ดของคุณได้
อีเลิร์นนิง
ในเวิร์กช็อปนี้ คุณจะได้สร้างสถาปัตยกรรมการสตรีมตั้งแต่ต้นทางถึงปลายทางเพื่อนำเข้า วิเคราะห์ และแสดงภาพข้อมูลการสตรีมได้ในแบบเรียลไทม์ คุณจะได้เริ่มปรับการดำเนินงานของกลุ่มอินสแตนซ์ของบริษัทรถแท็กซี่ในนครนิวยอร์กให้เหมาะสม โดยการวิเคราะห์ข้อมูลการวัดและส่งข้อมูลทางไกลของกลุ่มอินสแตนซ์รถแท็กซี่ในเวลากึ่งเรียลไทม์
ใช้โซลูชันที่สร้างไว้ล่วงหน้าเพื่อเริ่มต้นอย่างรวดเร็ว ด้วยโซลูชันข้อมูลการสตรีม AWS สำหรับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink คุณจะสามารถแก้ปัญหากรณีการใช้งานการสตรีมแบบเรียลไทม์ได้ เช่น การบันทึกข้อมูลบันทึกของแอปพลิเคชันในปริมาณมากๆ การวิเคราะห์ข้อมูลคลิกสตรีม การส่งไปยัง Data Lake อย่างต่อเนื่อง และอื่นๆ อีกมากมาย
ในเวิร์กช็อปนี้ คุณจะได้สร้างแอปพลิเคชันการประมวลผลสตรีมเพื่อระบุลูกค้าที่เข้ามาในคาสิโนของคุณซึ่งกำลังเดิมพันมหาศาล แอปพลิเคชันจะส่งอีเมลถึงคุณเมื่อผู้เดิมพันรายใหญ่นั่งลงที่โต๊ะพนัน นอกจากนี้คุณยังจะได้ระบุโต๊ะที่ต้องเติมชิปและระบุผู้ที่อาจโกงในคาสิโนของคุณผ่านการเดิมพันและรูปแบบการชนะได้
ในซีรีส์การเรียนรู้ห้าส่วนนี้ คุณจะได้สร้างสถาปัตยกรรมการสตรีมข้อมูลที่ทันสมัยสำหรับลีดเดอร์บอร์ดเกมแบบเรียลไทม์โดยใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio สถาปัตยกรรมนี้รวมถึงการนำข้อมูลเข้า การเพิ่มคุณค่าแบบเรียลไทม์ด้วยการบันทึกข้อมูลการเปลี่ยนแปลงฐานข้อมูล (CDC) การประมวลผลข้อมูล ตลอดจนการประมวลผล การจัดเก็บข้อมูล และการแสดงผลลัพธ์เป็นภาพ