คําถามที่พบบ่อยเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink

คุณสามารถใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เพื่อแปลงและวิเคราะห์ข้อมูลการสตรีมได้แบบเรียลไทม์ด้วย Apache Flink Apache Flink เป็นเฟรมเวิร์กและเอนจิ้นโอเพนซอร์สสําหรับประมวลผล Data Stream บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ช่วยลดความซับซ้อนในการสร้าง จัดการ และผสานรวมแอปพลิเคชัน Apache Flink เข้ากับบริการอื่นๆ ของ AWS

บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะดูแลทุกอย่างที่จําเป็นในการเรียกใช้แอปพลิเคชันการสตรีมอย่างต่อเนื่องและปรับขนาดโดยอัตโนมัติเพื่อให้ตรงกับปริมาณและปริมาณการประมวลผลของข้อมูลขาเข้าของคุณ เมื่อใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะไม่มีเซิร์ฟเวอร์ที่ต้องจัดการ ไม่มีค่าธรรมเนียมขั้นต่ำหรือค่าติดตั้ง และคุณจะจ่ายเฉพาะทรัพยากรที่แอปพลิเคชันการสตรีมของคุณใช้เท่านั้น

คุณสามารถใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้ในกรณีการใช้งานที่หลากหลายเพื่อประมวลผลข้อมูลอย่างต่อเนื่อง รับข้อมูลเชิงลึกในไม่กี่วินาทีหรือนาที แทนที่จะต้องรอเป็นวันหรือเป็นสัปดาห์ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ช่วยให้คุณสร้างแอปพลิเคชันประมวลผลสตรีมแบบครบวงจรได้อย่างรวดเร็วสำหรับการวิเคราะห์ข้อมูลบันทึก, การวิเคราะห์คลิกสตรีม, Internet of Things (IoT), เทคโนโลยีโฆษณา, เกม และอื่นๆ กรณีการใช้งานที่พบบ่อยที่สุด 4 อย่าง ได้แก่ การสตรีม Extract-Transform-Load (ETL), การสร้างตัววัดอย่างต่อเนื่อง, การวิเคราะห์แบบเรียลไทม์เชิงตอบสนอง และการสืบค้น Data Stream เชิงโต้ตอบ

การสตรีมมิง ETL

เมื่อใช้แอปพลิเคชันการสตรีม ETL คุณจะสามารถล้าง เสริมประสิทธิภาพ จัดระเบียบ และแปลงข้อมูลดิบก่อนที่จะโหลด Data Lake หรือคลังข้อมูลแบบเรียลไทม์ ซึ่งจะช่วยลดหรือไม่ต้องใช้ขั้นตอน ETL แบบแบตช์ได้ แอปพลิเคชันเหล่านี้สามารถบัฟเฟอร์บันทึกขนาดเล็กให้เป็นไฟล์ขนาดใหญ่ก่อนส่งมอบ และดำเนินการรวมที่ซับซ้อนระหว่างสตรีมและตารางต่างๆ ได้ ตัวอย่างเช่น คุณสามารถสร้างแอปพลิเคชันที่อ่านข้อมูลเซ็นเซอร์ IoT ที่เก็บไว้ใน Amazon Managed Streaming สำหรับ Apache Kafka (Amazon MSK) อย่างต่อเนื่อง จัดระเบียบข้อมูลตามประเภทเซ็นเซอร์ ลบข้อมูลที่ซ้ำกัน ทำให้ข้อมูลปกติตามสคีมาที่กำหนด จากนั้นส่งข้อมูลไปยัง Amazon Simple Storage Service (Amazon S3)

การสร้างตัววัดอย่างต่อเนื่อง

ด้วยแอปพลิเคชันการสร้างตัวชี้วัดอย่างต่อเนื่อง คุณจึงสามารถตรวจสอบและทำความเข้าใจว่าข้อมูลของคุณมีแนวโน้มอย่างไรเมื่อเวลาผ่านไป แอปพลิเคชันของคุณสามารถรวบรวมข้อมูลการสตรีมให้เป็นข้อมูลที่สำคัญ และผสานรวมเข้ากับฐานข้อมูลการรายงานและบริการตรวจสอบได้อย่างราบรื่น เพื่อให้บริการแก่แอปพลิเคชันและผู้ใช้ของคุณได้แบบเรียลไทม์ เมื่อใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink คุณจะสามารถใช้โค้ด Apache Flink (ในภาษา Java, Scala, Python หรือ SQL) เพื่อสร้างการวิเคราะห์อนุกรมเวลาอย่างต่อเนื่องในช่วงเวลาต่างๆ ได้ ตัวอย่างเช่น คุณสามารถสร้างลีดเดอร์บอร์ดสำหรับเกมบนมือถือได้แบบเรียลไทม์โดยประมวลผลผู้เล่นที่อยู่ในอันดับต้นๆ ทุกนาที แล้วส่งไปที่ Amazon DynamoDB อีกทั้งยังสามารถติดตามปริมาณการเข้าชมเว็บไซต์ของคุณได้ด้วยการคำนวณจำนวนผู้เยี่ยมชมเว็บไซต์ที่ไม่ซ้ำกันทุกๆ 5 นาที จากนั้นจึงส่งผลการประมวลผลไปยัง Amazon Redshift

การวิเคราะห์แบบเรียลไทม์เชิงตอบสนอง

แอปพลิเคชันการวิเคราะห์แบบเรียลไทม์เชิงตอบสนองจะส่งการแจ้งเตือนแบบเรียลไทม์เมื่อตัววัดบางตัวถึงเกณฑ์ที่กำหนดไว้ล่วงหน้า หรือในกรณีขั้นสูง เมื่อแอปพลิเคชันของคุณตรวจพบความผิดปกติโดยใช้อัลกอริธึมแมชชีนเลิร์นนิง (ML) เมื่อใช้แอปพลิเคชันเหล่านี้ คุณจะสามารถตอบสนองต่อการเปลี่ยนแปลงในธุรกิจของคุณได้แบบเรียลไทม์ในทันที เช่น การคาดการณ์ผู้ใช้ที่เลิกใช้งานแอปมือถือ และการระบุระบบที่เสื่อมประสิทธิภาพ ตัวอย่างเช่น แอปพลิเคชันสามารถประมวลผลความพร้อมใช้งานหรืออัตราความสำเร็จของ API ที่ติดต่อกับลูกค้าเมื่อเวลาผ่านไป แล้วส่งผลไปยัง Amazon CloudWatch คุณสามารถสร้างแอปพลิเคชันอื่นเพื่อค้นหาเหตุการณ์ที่ตรงตามเกณฑ์ที่กำหนด จากนั้นจึงแจ้งเตือนลูกค้าที่เหมาะสมโดยอัตโนมัติโดยใช้ Amazon Kinesis Data Streams และ Amazon Simple Notification Service (Amazon SNS)

การวิเคราะห์ Data Stream เชิงโต้ตอบ

การวิเคราะห์เชิงโต้ตอบช่วยให้คุณสตรีมการสํารวจข้อมูลได้แบบเรียลไทม์ ด้วยการสืบค้นหรือโปรแกรมเฉพาะกิจ คุณจะสามารถตรวจสอบสตรีมจาก Amazon MSK หรือ Amazon Kinesis Data Streams และเห็นภาพว่าข้อมูลมีลักษณะอย่างไรภายในสตรีมเหล่านั้น ตัวอย่างเช่น คุณสามารถดูว่าหน่วยวัดแบบเรียลไทม์ที่ประมวลผลค่าเฉลี่ยในช่วงเวลาหนึ่งทำงานอย่างไร และส่งข้อมูลรวมไปยังปลายทางที่คุณเลือก การวิเคราะห์เชิงโต้ตอบยังช่วยในการพัฒนาแอปพลิเคชันการประมวลผลสตรีมในลักษณะทวนซ้ำอีกด้วย การสืบค้นที่คุณสร้างจะอัปเดตอย่างต่อเนื่องเมื่อมีข้อมูลใหม่เข้ามา คุณสามารถใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio เพื่อปรับใช้การสืบค้นเหล่านี้เพื่อให้ทำงานอย่างต่อเนื่องโดยเปิดใช้งานการปรับขนาดอัตโนมัติและการสำรองข้อมูลสถานะที่คงที่ 

รองรับ เมื่อใช้ Apache Flink DataStream Connectors แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะสามารถใช้ AWS Glue Schema Registry ซึ่งเป็นคุณสมบัติแบบไม่ต้องใช้เซิร์ฟเวอร์ของ AWS Glu ได้ คุณสามารถผสานรวม Apache Kafka, Amazon MSK และ Amazon Kinesis Data Streams ซึ่งเป็นซิงก์หรือแหล่งที่มาเข้ากับเวิร์กโหลดของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้ เยี่ยมชม คู่มือผู้พัฒนา AWS Glue Schema Registry เพื่อเริ่มต้นและเรียนรู้เพิ่มเติม

แอปพลิเคชันคือเอนทิตีบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ที่คุณทำงานด้วย บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะอ่านและประมวลผลข้อมูลการสตรีมแบบเรียลไทม์อย่างต่อเนื่อง ส่วนคุณก็เขียนโค้ดแอปพลิเคชันในภาษาที่รองรับ Apache Flink เพื่อประมวลผลข้อมูลการสตรีมขาเข้าและสร้างเอาต์พุต จากนั้นบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะเขียนเอาต์พุตไปยังปลายทางที่กําหนดไว้

แต่ละแอปพลิเคชันจะประกอบด้วย 3 องค์ประกอบหลัก:

1. อินพุต: อินพุตคือแหล่งที่มาของการสตรีมสําหรับแอปพลิเคชันของคุณ ในการกําหนดค่าอินพุต คุณจะต้องแมปแหล่งสตรีมมิงกับ Data Stream การไหลเวียนของข้อมูลจากแหล่งที่มาของข้อมูลไปยัง Data Stream ของคุณ คุณประมวลผลข้อมูลจาก Data Stream เหล่านี้โดยใช้โค้ดแอปพลิเคชันของคุณเอง โดยส่งข้อมูลที่ประมวลผลแล้วไปยัง Data Stream หรือปลายทางลำดับถัดไป คุณเพิ่มอินพุตภายในโค้ดแอปพลิเคชันสำหรับแอปพลิเคชัน Apache Flink และโน้ตบุ๊ก Studio และผ่าน API สำหรับแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink 
2. โค้ดแอปพลิเคชัน:โค้ดแอปพลิเคชันคือชุดของตัวดำเนินการ Apache Flink ที่ประมวลผลอินพุตและสร้างเอาต์พุต ในรูปแบบที่ง่ายที่สุด โค้ดแอปพลิเคชันสามารถเป็นตัวดำเนินการ Apache Flink เพียงตัวเดียวที่อ่านจาก Data Stream ที่เชื่อมโยงกับแหล่งสตรีมมิง และเขียนไปยัง Data Stream อีกจุดหนึ่งที่เชื่อมโยงกับเอาต์พุต สำหรับโน้ตบุ๊ก Studio นี่อาจเป็นการสืบค้น “select” ของ Flink SQL แบบธรรมดา โดยผลลัพธ์จะแสดงในบริบทภายในโน้ตบุ๊ก คุณสามารถเขียนโค้ด Apache Flink ในภาษาที่รองรับสำหรับแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink หรือโน้ตบุ๊ก Studio ก็ได้
3. เอาต์พุต: จากนั้นคุณสามารถเลือกกำหนดค่าเอาต์พุตของแอปพลิเคชันเพื่อคงข้อมูลไปยังปลายทางภายนอกได้ โดยเพิ่มอินพุตเหล่านี้ภายในโค้ดแอปพลิเคชันสำหรับโน้ตบุ๊กสตูดิโอและแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink 

AWS มีเครื่องมือต่างๆ ที่คุณสามารถใช้เพื่อตรวจสอบแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รวมถึงสามารถเข้าถึง Flink Dashboard สําหรับแอปพลิเคชัน Apache Flink ได้อีกด้วย คุณสามารถกําหนดค่าเครื่องมือเหล่านี้เพื่อทําการตรวจสอบให้คุณได้ หากต้องการข้อมูลเพิ่มเติมเกี่ยวกับวิธีการตรวจสอบแอปพลิเคชันของคุณ โปรดอ่านคู่มือนักพัฒนาต่อไปนี้ 

• การตรวจสอบบริการจัดการของ Amazon สำหรับ Apache Flink ใน บริการจัดการของ Amazon สำหรับ Apache Flink คู่มือผู้พัฒนา
• การตรวจสอบบริการจัดการของ Amazon สำหรับ Apache Flink ใน บริการจัดการของ Amazon สำหรับ Apache Flink Studio คู่มือผู้พัฒนา

บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ต้องใช้สิทธิ์ในการอ่านบันทึกจากแหล่งที่มาของข้อมูลการสตรีมที่คุณระบุในแอปพลิเคชันของคุณ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ยังต้องใช้สิทธิ์ในการเขียนเอาต์พุตจากแอปพลิเคชันของคุณไปยังปลายทางที่ระบุในการกําหนดค่าเอาต์พุตแอปพลิเคชันของคุณด้วย คุณสามารถให้สิทธิ์เหล่านี้ได้โดยการสร้างบทบาท AWS Identity and Access Management (IAM) ที่บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink สามารถรับบทบาทดังกล่าวได้ สิทธิ์ที่คุณมอบให้กับบทบาทนี้จะกำหนดว่าบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะทำอะไรได้บ้างเมื่อบริการนี้รับบทบาทดังกล่าว หากต้องการข้อมูลเพิ่มเติม โปรดดูที่คู่มือนักพัฒนาต่อไปนี้

• การให้สิทธิ์ใน บริการจัดการของ Amazon สำหรับคู่มือนักพัฒนาซอฟต์แวร์ Apache Flink
• การให้สิทธิ์ ในบริการจัดการของ Amazon สำหรับ คู่มือนักพัฒนาซอฟต์แวร์ Apache Flink Studio

บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ปรับขนาดแอปพลิเคชันของคุณได้อย่างยืดหยุ่นเพื่อรองรับอัตราการโอนถ่ายข้อมูลของสตรีมต้นทางและความซับซ้อนในการสืบค้นสำหรับสถานการณ์ส่วนใหญ่ ความจุของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ในรูปแบบของ Amazon KPU หนึ่ง KPU จะมี 1 vCPU และหน่วยความจํา 4 GB 

สำหรับแอปพลิเคชัน Apache Flink และโน้ตบุ๊ก Studio นั้น บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะกำหนดพื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่จำนวน 50 GB ต่อ KPU ซึ่งแอปพลิเคชันของคุณใช้สำหรับจุดตรวจสอบ และพร้อมให้คุณใช้ผ่านดิสก์ชั่วคราวได้ จุดตรวจสอบคือการสำรองข้อมูลที่อัปเดตแล้วของแอปพลิเคชันที่ทำงานอยู่ ซึ่งใช้เพื่อกู้คืนในทันทีหลังจากที่แอปพลิเคชันหยุดชะงัก คุณยังสามารถควบคุมการใช้งานแบบคู่ขนานสำหรับงานแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้อีกด้วย (เช่น การอ่านจากแหล่งที่มาหรือการใช้ตัวดำเนินการ) โดยใช้พารามิเตอร์ Parallelism และ ParallelismPerKPU ใน API Parallelism จะกำหนดจำนวนอินสแตนซ์ที่ใช้งานพร้อมกันในงานหนึ่งๆ ตัวดำเนินการ แหล่งที่มา และซิงก์ทั้งหมดจะทำงานด้วย Parallelism ที่กำหนดไว้ตามค่าเริ่มต้น Parallelism per KPU จะกำหนดจำนวนของงานคู่ขนานที่สามารถกำหนดเวลาได้ต่อ KPU ของแอปพลิเคชันของคุณตามค่าเริ่มต้น หากต้องการข้อมูลเพิ่มเติม โปรดดูที่ “การปรับขนาด” ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink 

สำหรับข้อมูลเกี่ยวกับแนวทางปฏิบัติที่ดีที่สุดสำหรับ Apache Flink โปรดดูส่วนแนวทาง ปฏิบัติที่ดีที่สุด ของคู่มือผู้พัฒนา Amazon Managed Service สำหรับ Apache Flink หัวข้อนี้กล่าวถึงแนวทางปฏิบัติที่ดีที่สุดสำหรับความทนทานต่อความเสียหาย ประสิทธิภาพ การบันทึก การเขียนโค้ด และอื่นๆ 

หากต้องการข้อมูลเกี่ยวกับแนวทางปฏิบัติที่ดีที่สุดสําหรับ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio โปรดดูหัวข้อแนวทางปฏิบัติที่ดีที่สุดในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio นอกเหนือจากแนวทางปฏิบัติที่ดีที่สุดแล้ว หัวข้อนี้ยังกล่าวถึงตัวอย่างแอปพลิเคชัน SQL, Python และ Scala ข้อกำหนดสำหรับการปรับใช้โค้ดของคุณให้เป็นแอปพลิเคชันประมวลผลสตรีมที่ทำงานอย่างต่อเนื่อง ประสิทธิภาพ การบันทึก และอื่นๆ

ได้ คุณสามารถเข้าถึงทรัพยากรที่อยู่เบื้องหลัง Amazon VPC ได้ คุณสามารถเรียนรู้วิธีกำหนดค่าแอปพลิเคชันของคุณสำหรับการเข้าถึง VPC ได้ในส่วนการ ใช้ Amazon VPC ของคู่มือผู้พัฒนา Amazon Managed Service สำหรับ Apache Flink

แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink และโน้ตบุ๊กบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio ที่ได้รับการกำหนดค่าให้เข้าถึงทรัพยากรใน VPC ที่เฉพาะเจาะจงจะไม่สามารถเข้าถึงอินเทอร์เน็ตได้โดยเป็นการกำหนดค่าเริ่มต้น คุณสามารถเรียนรู้วิธีกำหนดค่าการเข้าถึงอินเทอร์เน็ตสำหรับแอปพลิเคชันของคุณได้ในส่วนการ เข้าถึงอินเทอร์เน็ตและการบริการ ของ Amazon Managed Service สำหรับ Apache Flink Developer Guide

เมื่อใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink คุณจะจ่ายค่าบริการเฉพาะส่วนที่คุณใช้เท่านั้น ไม่มีทรัพยากรที่ต้องจัดหาหรือค่าใช้จ่ายล่วงหน้าที่เกี่ยวข้องกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink 

คุณจะถูกเรียกเก็บค่าบริการรายชั่วโมงตามจำนวน Amazon KPU ที่ใช้เพื่อเรียกใช้แอปพลิเคชันการสตรีมของคุณ KPU เดียวคือหน่วยของความสามารถในการประมวลผลสตรีมที่ประกอบด้วยการประมวลผล 1 vCPU และหน่วยความจำ 4 GB บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะทำการปรับจำนวน KPU ที่แอปพลิเคชันประมวลผลสตรีมของคุณต้องใช้โดยอัตโนมัติเนื่องจากความต้องการหน่วยความจำและการประมวลผลแตกต่างกันไปตามความซับซ้อนของการประมวลผลและอัตราการโอนถ่ายข้อมูลการสตรีมที่ประมวลผล 

สำหรับแอปพลิเคชัน Apache Flink และ Apache Beam คุณจะถูกเรียกเก็บค่า KPU เพิ่มเติมหนึ่งรายการต่อแอปพลิเคชันสำหรับการควบคุมระบบแอปพลิเคชัน แอปพลิเคชัน Apache Flink และ Apache Beam ยังมีการเรียกเก็บค่าบริการสำหรับการเรียกใช้พื้นที่จัดเก็บข้อมูลแอปพลิเคชันที่ทำงานอยู่และการสำรองข้อมูลแอปพลิเคชันที่คงที่อีกด้วย พื้นที่จัดเก็บข้อมูลแอปพลิเคชันที่ทำงานอยู่จะใช้สำหรับความสามารถในการประมวลผลที่สนับสนุนสถานะต่างๆ ในบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink และคิดค่าบริการต่อ GB/เดือน การสำรองข้อมูลแอปพลิเคชันที่คงที่เป็นตัวเลือกแบบไม่บังคับ คิดค่าบริการต่อ GB/เดือน และมีคุณสมบัติการกู้คืน ณ จุดใดจุดหนึ่งของเวลาสำหรับแอปพลิเคชันให้ 

สำหรับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio ในโหมดการพัฒนาหรือโหมดโต้ตอบ คุณจะถูกเรียกเก็บค่า KPU เพิ่มเติมหนึ่งรายการสำหรับการควบคุมระบบแอปพลิเคชัน และ 1 KPU สำหรับการพัฒนาเชิงโต้ตอบ นอกจากนี้ คุณจะถูกเรียกเก็บเงินสําหรับการเรียกใช้พื้นที่เก็บข้อมูลแอปพลิเคชันด้วย มั้งนี้ คุณจะไม่ถูกเรียกเก็บเงินสําหรับการสํารองข้อมูลแอปพลิเคชันที่คงที่

สำหรับข้อมูลราคาเพิ่มเติม โปรดดูหน้าการกำหนดราคา Amazon Managed Service สำหรับ Apache Flink

สำหรับแอปพลิเคชัน Apache Flink และ Apache Beam คุณจะถูกเรียกเก็บเงินขั้นต่ำ 2 KPU และพื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่ 50 GB หากแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ของคุณกำลังทำงานอยู่

สำหรับโน้ตบุ๊กของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio คุณจะถูกเรียกเก็บเงินขั้นต่ำ 3 KPU และพื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่ 50 GB หากแอปพลิเคชันของคุณกำลังทำงานอยู่

Apache Flink เป็นเฟรมเวิร์กโอเพนซอร์สและเอ็นจิ้นสำหรับการประมวลผลข้อมูลสตรีมและแบทช์ โดยช่วยให้สร้างแอปพลิเคชันการสตรีมได้ง่าย เนื่องจากมีตัวดำเนินการที่มีประสิทธิภาพและแก้ไขปัญหาการสตรีมหลักๆ ได้ เช่น การประมวลผลซ้ำซ้อน Apache Flink ให้การกระจายข้อมูล การสื่อสาร และความทนทานต่อความเสียหายสำหรับการประมวลผลแบบกระจายบน Data Stream

คุณสามารถเริ่มต้นด้วยการดาวน์โหลดไลบรารีโอเพนซอร์ส รวมถึง AWS SDK, Apache Flink และตัวเชื่อมต่อสำหรับบริการของ AWS รับคำแนะนำเกี่ยวกับวิธีดาวน์โหลดไลบรารีและสร้างแอปพลิเคชันแรกของคุณใน Amazon Managed Service for Apache Flink Developer Guide

คุณเขียนโค้ด Apache Flink โดยใช้ Data Stream และตัวดำเนินการสตรีม Data Stream ของแอปพลิเคชันคือโครงสร้างข้อมูลที่คุณดำเนินการประมวลผลโดยใช้โค้ดแอปพลิเคชันของคุณเอง ข้อมูลจะไหลเวียนอย่างต่อเนื่องจากแหล่งที่มาไปสู่ Data Stream ของแอปพลิเคชัน ตัวดำเนินการสตรีมอย่างน้อยหนึ่งตัวจะถูกใช้เพื่อกำหนดการประมวลผลบน Data Stream ของแอปพลิเคชัน รวมถึงการแปลง การแบ่งส่วน การรวม การผสาน และวินโดว์ Data Stream และตัวดําเนินการสามารถเชื่อมต่อในห่วงโซ่แบบอนุกรมและแบบขนานได้ เราได้แสดงตัวอย่างสั้นๆ โดยใช้โค้ดหลอกที่ด้านล่าง

DataStream <GameEvent> rawEvents = env.addSource(

New KinesisStreamSource(“input_events”));

DataStream <UserPerLevel> gameStream =

rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,

event.gameMetadata.levelId,event.userId));

gameStream.keyBy(event -> event.gameId)

.keyBy(1)

.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))

.apply(...) - > {...};

gameStream.addSink(new KinesisStreamSink("myGameStateStream"));

ผู้ปฏิบัติ งานใช้สตรีมข้อมูลแอปพลิเคชันเป็นอินพุตและส่งข้อมูลที่ประมวลผลไปยังสตรีมข้อมูลแอปพลิเคชันเป็นเอาต์พุต โดยสามารถเชื่อมต่อตัวดำเนินการเข้าด้วยกันเพื่อสร้างแอปพลิเคชันที่มีหลายขั้นตอน และไม่จำเป็นต้องใช้ความรู้ขั้นสูงเกี่ยวกับระบบแบบกระจายในการนำตัวดำเนินการเหล่านี้ไปใช้งาน

บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับตัวดำเนินการทั้งหมดจาก Apache Flink ที่สามารถใช้เพื่อแก้ไขกรณีการใช้งานที่หลากหลาย รวมถึงแผนที่, KeyBy, การรวม, วินโดว์, การผสานรวม และอื่นๆ ตัวอย่างเช่น ตัวดำเนินการแผนที่ช่วยให้คุณทำการประมวลผลได้ตามความต้องการ โดยนำองค์ประกอบหนึ่งมาจาก Data Stream ขาเข้าและสร้างอีกองค์ประกอบหนึ่งขึ้นมา KeyBy จัดระเบียบข้อมูลอย่างมีเหตุผลโดยใช้คีย์ที่ระบุ เพื่อให้คุณสามารถประมวลผลจุดข้อมูลที่คล้ายคลึงกันร่วมกันได้ การรวมจะดำเนินการประมวลผลในหลายคีย์ เช่น ผลรวม ต่ำสุด และสูงสุด ส่วน Window Join จะรวม Data Stream 2 รายการเข้าด้วยกันบนคีย์และวินโดว์ที่กำหนด 

คุณสามารถสร้างตัวดำเนินการแบบกำหนดเองได้หากการทำงานนี้ไม่ตรงกับความต้องการของคุณ ค้นหาตัวอย่างเพิ่มเติมได้ในหัวข้อตัวดำเนินการในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink คุณสามารถค้นหารายการทั้งหมดของผู้ปฏิบัติงาน Apache Flink ได้ในเอกสาร Ap ache Flink 

คุณสามารถตั้งค่าการผสานรวมที่สร้างไว้ล่วงหน้าโดย Apache Flink โดยใช้โค้ดที่น้อยที่สุดหรือสร้างการผสานรวมของคุณเองเพื่อเชื่อมต่อกับแหล่งที่มาของข้อมูลได้แทบทุกแหล่ง ไลบรารีโอเพนซอร์สที่ใช้ Apache Flink รองรับแหล่งการสตรีมและปลายทาง หรือซิงค์เพื่อประมวลผลการส่งข้อมูล นอกจากนี้ ยังรวมถึงการสนับสนุนการเพิ่มข้อมูลผ่านตัวเชื่อมต่อ I/O แบบอะซิงโครนัสอีกด้วย ตัวอย่างตัวเชื่อมต่อเหล่านี้มีดังต่อไปนี้

• แหล่งที่มาของข้อมูลการสตรีม: Amazon Managed Streaming สำหรับ Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams ปลายทางหรือซิงก์: Amazon Kinesis Data Streams
• Amazon Kinesis Data Firehose, Amazon DynamoDB, Amazon Elasticsearch Service และ Amazon S3 (ผ่านการผสานรวมการซิงค์ไฟล์)

ได้ คุณสามารถใช้แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เพื่อจำลองข้อมูลระหว่าง Amazon Kinesis Data Streams, Amazon MSK และระบบอื่นๆ ได้ ตัวอย่างที่ให้ ไว้ในเอกสารของเราแสดงให้เห็นถึงวิธีการอ่านจากหัวข้อ Amazon MSK หนึ่งและเขียนไปยังอีกหัวข้อหนึ่ง

คุณสามารถเพิ่มแหล่งที่มาหรือปลายทางให้กับแอปพลิเคชันของคุณได้โดยสร้างจากโปรแกรมพื้นฐานที่ช่วยให้คุณสามารถอ่านและเขียนจากไฟล์ ไดเร็กทอรี ซ็อกเก็ต หรืออะไรก็ตามที่คุณสามารถเข้าถึงได้ผ่านทางอินเทอร์เน็ต Apache Flink ให้ข้อมูลดั้งเดิมเหล่านี้สำหรับ แหล่งข้อมูล และซิงค์ข้อมูล โปรแกรมพื้นฐานมาพร้อมกับการกำหนดค่าต่างๆ เช่น ความสามารถในการอ่านและเขียนข้อมูลอย่างต่อเนื่องหรือครั้งเดียว แบบอะซิงโครนัสหรือซิงโครนัส และอื่นๆ อีกมากมาย ตัวอย่างเช่น คุณสามารถตั้งค่าแอปพลิเคชันให้อ่านอย่างต่อเนื่องจาก Amazon S3 โดยขยายการผสานรวมแหล่งที่มาตามไฟล์ที่มีอยู่

แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ใช้โมเดลการส่งมอบเพียงครั้งเดียวหากแอปพลิเคชันถูกสร้างขึ้นโดยใช้ตัวดําเนินการ idempotent รวมถึงแหล่งที่มาและซิงค์ ซึ่งหมายความว่าข้อมูลที่ประมวลผลจะส่งผลกระทบต่อผลลัพธ์ขั้นปลายหนึ่งครั้งและเพียงครั้งเดียวเท่านั้น

ตามค่าเริ่มต้น แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะใช้ความหมายของ Apache Flink เพียงครั้งเดียว แอปพลิเคชันของคุณรองรับความหมายการประมวลผลเพียงครั้งเดียวหากคุณออกแบบแอปพลิเคชันโดยใช้แหล่งที่มา ตัวดำเนินการ และซิงก์ที่ใช้ความหมายเพียงครั้งเดียวของ Apache Flink

บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะสํารองข้อมูลสถานะของแอปพลิเคชันที่ทํางานอยู่โดยอัตโนมัติโดยใช้จุดตรวจสอบและสแนปช็อต จุดตรวจสอบจะบันทึกสถานะปัจจุบันของแอปพลิเคชันและเปิดใช้งานแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เพื่อกู้คืนตำแหน่งของแอปพลิเคชันเพื่อให้ความหมายเหมือนกับการดำเนินการที่ปราศจากข้อผิดพลาด จุดตรวจสอบจะใช้พื้นที่จัดเก็บแอปพลิเคชันที่ทํางานอยู่ จุดตรวจสอบสำหรับแอปพลิเคชัน Apache Flink มีให้ผ่านฟังก์ชันการตรวจสอบของ Apache Flink สแนปช็อตจะบันทึกจุดกู้คืนในจุดเวลาที่กำหนดสําหรับแอปพลิเคชันและใช้การสํารองข้อมูลแอปพลิเคชันที่คงที่ สแนปช็อตจะคล้ายกับจุดบันทึกของ Flink

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับเวอร์ชัน Apache Flink ที่รองรับ โปรดไปที่หน้า Amazon Managed Service สำหรับ Apache Flink Release Notes หน้านี้ยังมีเวอร์ชันต่างๆ ของ Apache Beam, Java, Scala, Python และ AWS SDK ที่บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับอีกด้วย 

ใช่ บริการจัดการของ Amazon สำหรับ Apache Flink รองรับแอปพลิเคชันสตรีมมิ่งที่สร้างขึ้นโดยใช้ Ap ache Beam คุณสามารถสร้างแอปพลิเคชันการสตรีม Apache Beam ในภาษา Java และเรียกใช้ในเอนจิ้นและบริการต่างๆ รวมถึงใช้ Apache Flink บนบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้ คุณสามารถค้นหาข้อมูลเกี่ยวกับเวอร์ชัน Apache Flink และ Apache Beam ที่รองรับได้ใน Amazon Managed Service สำหรับ Apache Flink Developer Guide 

คุณสามารถเริ่มต้นจากบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio, Amazon Kinesis Data Streams หรือคอนโซล Amazon MSK ได้ในไม่กี่ขั้นตอนเพื่อเปิดใช้โน้ตบุ๊กแบบไม่ต้องใช้เซิร์ฟเวอร์เพื่อสืบค้น Data Stream ได้ทันทีและดำเนินการวิเคราะห์ข้อมูลเชิงโต้ตอบได้

การวิเคราะห์ข้อมูลแบบโต้ตอบ: คุณสามารถเขียนโค้ดในโน้ตบุ๊คใน SQL, Python หรือ Scala เพื่อโต้ตอบกับข้อมูลสตรีมของคุณโดยมีเวลาตอบสนองแบบสอบถามในไม่กี่วินาที คุณสามารถใช้การแสดงภาพในตัวเพื่อสำรวจข้อมูล ดูข้อมูลเชิงลึกแบบเรียลไทม์เกี่ยวกับข้อมูลการสตรีมของคุณจากภายในโน้ตบุ๊ก และพัฒนาแอปพลิเคชันการประมวลผลสตรีมที่ขับเคลื่อนโดย Apache Flink

เมื่อโค้ดของคุณพร้อมที่จะทำงานเป็นแอปพลิเคชันที่ใช้งานจริงแล้ว คุณสามารถเปลี่ยนผ่านไปเป็นแอปพลิเคชันประมวลผลสตรีมที่ประมวลผลข้อมูลในระดับกิกะไบต์ต่อวินาทีได้ในขั้นตอนเดียว โดยไม่ต้องใช้เซิร์ฟเวอร์

แอปพลิเคชันการประมวลผลสตรีม: เมื่อคุณพร้อมที่จะโปรโมตโค้ดของคุณให้ผลิตแล้ว คุณสามารถสร้างรหัสของคุณได้โดยคลิก “ปรับใช้เป็นแอปพลิเคชันการประมวลผลสตรีม” ในอินเทอร์เฟซโน้ตบุ๊ค หรือออกคำสั่งเดียวใน CLI Studio จะดูแลการจัดการโครงสร้างพื้นฐานทั้งหมดที่จำเป็นเพื่อให้คุณเรียกใช้แอปพลิเคชันการประมวลผลสตรีมได้ในวงกว้าง โดยเปิดใช้งานการปรับขนาดอัตโนมัติและสถานะคงที่ เช่นเดียวกับในแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink

คุณสามารถดําเนินการ SQL ดังต่อไปนี้

• สแกนและกรอง (SELECT, WHERE) 
• การรวม (GROUP BY, GROUP BY WINDOW, HAVING) 
• เซ็ต (UNION, UNIONALL, INTERSECT, IN, EXISTS) 
• เรียงลำดับ (ORDER BY, LIMIT) 
• ผสานรวม (INNER, OUTER, Timed Window – BETWEEN, AND, Joining with Temporal Tables – ตารางที่ติดตามการเปลี่ยนแปลงเมื่อเวลาผ่านไป)
• Top-N
• การลบข้อมูลซ้ำซ้อน
• การจดจํารูปแบบ

การสืบค้นเหล่านี้บางส่วน เช่น GROUP BY, OUTER JOIN และ Top-N เป็นผลลัพธ์ที่อัปเดตสำหรับการสตรีมข้อมูล ซึ่งหมายความว่าผลลัพธ์จะมีการอัปเดตอย่างต่อเนื่องในขณะที่ข้อมูลการสตรีมได้รับการประมวลผล นอกจากนี้ยังรองรับคําสั่ง DDL อื่นๆ เช่น CREATE, ALTER และ DROP สำหรับรายการแบบสอบถามและตัวอย่างที่สมบูรณ์ โปรดดูเอกสารการสอบ ถามของ Apache Flink

Table API ของ Apache Flink รองรับ Python และ Scala ผ่านการรวมภาษาโดยใช้สตริง Python และนิพจน์ Scala การดำเนินการที่รองรับจะคล้ายกับการดำเนินการ SQL ที่รองรับอย่างมาก รวมถึงการเลือก การเรียงลำดับ การจัดกลุ่ม การผสานรวม การกรอง และการวินโดว์ รายการการดำเนินงานและตัวอย่างเต็มรูปแบบรวมอยู่ใน คู่มือนักพัฒนา ของเรา

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับเวอร์ชัน Apache Flink ที่รองรับ โปรดไปที่หน้า Amazon Managed Service สำหรับ Apache Flink Release Notes หน้านี้ยังมีเวอร์ชันต่างๆ ของ Apache Zeppelin, Apache Beam, Java, Scala, Python และ AWS SDK ที่บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับอีกด้วย

• แหล่งที่มาของข้อมูล: Amazon Managed Streaming สำหรับ Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams, Amazon S3 
• ปลายทางหรือซิงค์: Amazon MSK, Amazon Kinesis Data Streams และ Amazon S3

คุณมีสิทธิ์ได้รับเครดิตบริการ SLA สําหรับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ภายใต้ SLA ของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flinkหาก Availability Zone มากกว่าหนึ่งแห่งที่คุณกําลังทํางานอยู่ภายใน AWS Region เดียวกันมีเปอร์เซ็นต์เวลาทํางานรายเดือนน้อยกว่า 99.9% ในระหว่างรอบการเรียกเก็บเงินรายเดือนในรอบใดก็ตาม สำหรับรายละเอียดทั้งหมดเกี่ยวกับข้อกำหนดและเงื่อนไข SLA ทั้งหมดรวมถึงรายละเอียดเกี่ยวกับวิธีการส่งข้อเรียกร้องโปรดไปที่หน้าราย ละเอียด Amazon Managed Service สำหรับ Apache Flink SLA