เริ่มต้นใช้งานบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
ทำไมต้องใช้บริการที่มีการจัดการสำหรับ Apache Flink
คุณสามารถใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เพื่อแปลงและวิเคราะห์ข้อมูลการสตรีมได้แบบเรียลไทม์โดยใช้ Apache Flink บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ช่วยให้สร้างและจัดการเวิร์กโหลดของ Apache Flink ได้ง่ายขึ้น รวมถึงช่วยให้คุณสามารถผสานรวมแอปพลิเคชันเข้ากับบริการอื่นๆ ของ AWS ได้
สร้างแอปพลิเคชันการสตรีด้วย Apache Flink และ Apache Beam
ขั้นตอนที่ 1: ดาวน์โหลดไลบรารีโอเพนซอร์สลงใน IDE ที่คุณชื่นชอบ
คุณสามารถเริ่มต้นด้วยการดาวน์โหลดไลบรารีโอเพนซอร์ส รวมถึง AWS SDK, Apache Flink และตัวเชื่อมต่อสำหรับบริการของ AWS
ขั้นตอนที่ 2: สร้างแอปพลิเคชันตัวอย่างโดยใช้ Apache Flink หรือ Apache Beam
คุณเขียนโค้ดแอปพลิเคชัน Apache Flink โดยใช้ Data Stream และตัวดำเนินการสตรีม Data Stream ของแอปพลิเคชันคือโครงสร้างข้อมูลที่คุณดำเนินการประมวลผลกับการใช้โค้ดแปพลิเคชันของคุณ ข้อมูลจะไหลอย่างต่อเนื่องจากแหล่งที่มาไปสู่ Data Stream ของแอปพลิเคชัน ตัวดำเนินการสตรีมจำนวนหนึ่งรายการหรือมากกว่าจะถูกใช้กำหนดการประมวลผลของคุณบน Data Stream ของแอปพลิเคชัน
ขั้นตอนที่ 3: – อัปโหลดโค้ดของคุณไปยังบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
เมื่อสร้างแล้ว ให้อัปโหลดโค้ดของคุณไปยังบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink บริการจะดูแลทุกสิ่งที่จำเป็นในการเรียกใช้แอปพลิเคชันแบบเรียลไทม์อย่างต่อเนื่อง รวมถึงการปรับขนาดโดยอัตโนมัติเพื่อให้สอดคล้องกับปริมาณและอัตราการโอนถ่ายข้อมูลของข้อมูลขาเข้าของคุณ
ใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio อย่างชาญฉลาด
ขั้นตอนที่ 1: สร้างแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio
เริ่มต้นจากบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink, Amazon MSK หรือคอนโซล Amazon Kinesis Data Streams ใช้ตัวเชื่อมต่อแบบกำหนดเองเพื่อเชื่อมต่อกับแหล่งที่มาของข้อมูลอื่นๆ
ขั้นตอนที่ 2: เขียนโค้ดในโน๊ตบุ๊คแบบไม่ต้องใช้เซิร์ฟเวอร์ใน SQL, Python และ Scala และพัฒนาแอปพลิเคชัน Apache Flink
เรียกใช้แต่ละย่อหน้าในโน๊ตบุ๊ค ดูผลลัพธ์ในบริบท และใช้ระบบการแสดงข้อมูลด้วยภาพในตัว Apache Zeppelin เพื่อเร่งการพัฒนาได้ นอกจากนี้ คุณยังสามารถใช้ฟังก์ชันที่ผู้ใช้กำหนดในโค้ดของคุณได้ด้วย
ขั้นตอนที่ 3: สร้างและปรับใช้เป็นแอปพลิเคชันการสตรีมบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
ปรับใช้โค้ดของคุณเป็นแอปพลิเคชันประมวลผลสตรีมที่ทำงานอย่างต่อเนื่องได้ภายในไม่กี่ขั้นตอน แอปพลิเคชันที่คุณปรับใช้จะเป็นแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ที่มีสถานะทนทานและการปรับขนาดอัตโนมัติ นอกจากนี้ คุณยังมีโอกาสเปลี่ยนแหล่งที่มา ปลายทาง การบันทึกข้อมูล และการตรวจสอบระดับต่างๆ ก่อนจะผลิตโค้ดของคุณได้