สร้างไปป์ไลน์การสตรีมแบบครบวงจรด้วยพิมพ์เขียวบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้ภายในคลิกเดียว เรียนรู้เพิ่มเติม
ข้อมูลทั่วไป
ถาม: บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink คืออะไร
คุณสามารถใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เพื่อแปลงและวิเคราะห์ข้อมูลการสตรีมได้แบบเรียลไทม์ด้วย Apache Flink Apache Flink เป็นเฟรมเวิร์กและเอนจิ้นโอเพนซอร์สสําหรับประมวลผล Data Stream บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ช่วยลดความซับซ้อนในการสร้าง จัดการ และผสานรวมแอปพลิเคชัน Apache Flink เข้ากับบริการอื่นๆ ของ AWS
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะดูแลทุกอย่างที่จําเป็นในการเรียกใช้แอปพลิเคชันการสตรีมอย่างต่อเนื่องและปรับขนาดโดยอัตโนมัติเพื่อให้ตรงกับปริมาณและปริมาณการประมวลผลของข้อมูลขาเข้าของคุณ เมื่อใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะไม่มีเซิร์ฟเวอร์ที่ต้องจัดการ ไม่มีค่าธรรมเนียมขั้นต่ำหรือค่าติดตั้ง และคุณจะจ่ายเฉพาะทรัพยากรที่แอปพลิเคชันการสตรีมของคุณใช้เท่านั้น
ถาม: การประมวลผลสตรีมแบบเรียลไทม์คืออะไรและเหตุใดฉันจึงต้องใช้
บริษัทต่างๆ นำเข้าข้อมูลได้เร็วกว่าที่เคย เนื่องจากแหล่งที่มาของข้อมูลแบบเรียลไทม์มีการเติบโตอย่างก้าวกระโดด ไม่ว่าคุณจะจัดการข้อมูลบันทึกจากแอปพลิเคชันบนมือถือและบนเว็บ ข้อมูลการซื้อจากแพลตฟอร์มอีคอมเมิร์ซ หรือข้อมูลเซ็นเซอร์จากอุปกรณ์ IoT การนำเข้าข้อมูลแบบเรียลไทม์ช่วยให้คุณทราบว่าลูกค้า องค์กร และธุรกิจของคุณกำลังทำอะไรอยู่ในขณะนี้
ถาม: ฉันสามารถใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ทำอะไรได้บ้าง
คุณสามารถใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้ในกรณีการใช้งานที่หลากหลายเพื่อประมวลผลข้อมูลอย่างต่อเนื่อง รับข้อมูลเชิงลึกในไม่กี่วินาทีหรือนาที แทนที่จะต้องรอเป็นวันหรือเป็นสัปดาห์ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ช่วยให้คุณสร้างแอปพลิเคชันประมวลผลสตรีมแบบครบวงจรได้อย่างรวดเร็วสำหรับการวิเคราะห์ข้อมูลบันทึก, การวิเคราะห์คลิกสตรีม, Internet of Things (IoT), เทคโนโลยีโฆษณา, เกม และอื่นๆ กรณีการใช้งานที่พบบ่อยที่สุด 4 อย่าง ได้แก่ การสตรีม Extract-Transform-Load (ETL), การสร้างตัววัดอย่างต่อเนื่อง, การวิเคราะห์แบบเรียลไทม์เชิงตอบสนอง และการสืบค้น Data Stream เชิงโต้ตอบ
การสตรีมมิง ETL
เมื่อใช้แอปพลิเคชันการสตรีม ETL คุณจะสามารถล้าง เสริมประสิทธิภาพ จัดระเบียบ และแปลงข้อมูลดิบก่อนที่จะโหลด Data Lake หรือคลังข้อมูลแบบเรียลไทม์ ซึ่งจะช่วยลดหรือไม่ต้องใช้ขั้นตอน ETL แบบแบตช์ได้ แอปพลิเคชันเหล่านี้สามารถบัฟเฟอร์บันทึกขนาดเล็กให้เป็นไฟล์ขนาดใหญ่ก่อนส่งมอบ และดำเนินการรวมที่ซับซ้อนระหว่างสตรีมและตารางต่างๆ ได้ ตัวอย่างเช่น คุณสามารถสร้างแอปพลิเคชันที่อ่านข้อมูลเซ็นเซอร์ IoT อย่างต่อเนื่องที่จัดเก็บไว้ใน
Amazon Managed Streaming สำหรับApache Kafka
(Amazon MSK) จัดระเบียบข้อมูลตามประเภทเซ็นเซอร์ ลบข้อมูลที่ซ้ำกัน ทำให้ข้อมูลเป็นมาตรฐานตามสคีมาที่ระบุ จากนั้นจึงส่งข้อมูลไปยัง Amazon Simple Storage Service (Amazon S3)
การสร้างตัววัดอย่างต่อเนื่อง
ด้วยแอปพลิเคชันการสร้างตัวชี้วัดอย่างต่อเนื่อง คุณจึงสามารถตรวจสอบและทำความเข้าใจว่าข้อมูลของคุณมีแนวโน้มอย่างไรเมื่อเวลาผ่านไป แอปพลิเคชันของคุณสามารถรวบรวมข้อมูลการสตรีมให้เป็นข้อมูลที่สำคัญ และผสานรวมเข้ากับฐานข้อมูลการรายงานและบริการตรวจสอบได้อย่างราบรื่น เพื่อให้บริการแก่แอปพลิเคชันและผู้ใช้ของคุณได้แบบเรียลไทม์ เมื่อใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink คุณจะสามารถใช้โค้ด Apache Flink (ในภาษา Java, Scala, Python หรือ SQL) เพื่อสร้างการวิเคราะห์อนุกรมเวลาอย่างต่อเนื่องในช่วงเวลาต่างๆ ได้ ตัวอย่างเช่น คุณสามารถสร้างลีดเดอร์บอร์ดสำหรับเกมบนมือถือได้แบบเรียลไทม์โดยประมวลผลผู้เล่นที่อยู่ในอันดับต้นๆ ทุกนาที แล้วส่งไปที่ Amazon DynamoDB อีกทั้งยังสามารถติดตามปริมาณการเข้าชมเว็บไซต์ของคุณได้ด้วยการคำนวณจำนวนผู้เยี่ยมชมเว็บไซต์ที่ไม่ซ้ำกันทุกๆ 5 นาที จากนั้นจึงส่งผลการประมวลผลไปยัง Amazon Redshift
การวิเคราะห์แบบเรียลไทม์เชิงตอบสนอง
แอปพลิเคชันการวิเคราะห์แบบเรียลไทม์เชิงตอบสนองจะส่งการแจ้งเตือนแบบเรียลไทม์เมื่อตัววัดบางตัวถึงเกณฑ์ที่กำหนดไว้ล่วงหน้า หรือในกรณีขั้นสูง เมื่อแอปพลิเคชันของคุณตรวจพบความผิดปกติโดยใช้อัลกอริธึมแมชชีนเลิร์นนิง (ML) เมื่อใช้แอปพลิเคชันเหล่านี้ คุณจะสามารถตอบสนองต่อการเปลี่ยนแปลงในธุรกิจของคุณได้แบบเรียลไทม์ในทันที เช่น การคาดการณ์ผู้ใช้ที่เลิกใช้งานแอปมือถือ และการระบุระบบที่เสื่อมประสิทธิภาพ ตัวอย่างเช่น แอปพลิเคชันสามารถประมวลผลความพร้อมใช้งานหรืออัตราความสำเร็จของ API ที่ติดต่อกับลูกค้าเมื่อเวลาผ่านไป แล้วส่งผลไปยัง Amazon CloudWatch คุณสามารถสร้างแอปพลิเคชันอื่นเพื่อค้นหาเหตุการณ์ที่ตรงตามเกณฑ์ที่กำหนด จากนั้นจึงแจ้งเตือนลูกค้าที่เหมาะสมโดยอัตโนมัติโดยใช้ Amazon Kinesis Data Streams และ Amazon Simple Notification Service (Amazon SNS)
การวิเคราะห์ Data Stream เชิงโต้ตอบ
การวิเคราะห์เชิงโต้ตอบช่วยให้คุณสตรีมการสํารวจข้อมูลได้แบบเรียลไทม์ ด้วยการสืบค้นหรือโปรแกรมเฉพาะกิจ คุณจะสามารถตรวจสอบสตรีมจาก Amazon MSK หรือ Amazon Kinesis Data Streams และเห็นภาพว่าข้อมูลมีลักษณะอย่างไรภายในสตรีมเหล่านั้น ตัวอย่างเช่น คุณสามารถดูว่าหน่วยวัดแบบเรียลไทม์ที่ประมวลผลค่าเฉลี่ยในช่วงเวลาหนึ่งทำงานอย่างไร และส่งข้อมูลรวมไปยังปลายทางที่คุณเลือก การวิเคราะห์เชิงโต้ตอบยังช่วยในการพัฒนาแอปพลิเคชันการประมวลผลสตรีมในลักษณะทวนซ้ำอีกด้วย การสืบค้นที่คุณสร้างจะอัปเดตอย่างต่อเนื่องเมื่อมีข้อมูลใหม่เข้ามา คุณสามารถใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio เพื่อปรับใช้การสืบค้นเหล่านี้เพื่อให้ทำงานอย่างต่อเนื่องโดยเปิดใช้งานการปรับขนาดอัตโนมัติและการสำรองข้อมูลสถานะที่คงที่
การวิเคราะห์เชิงโต้ตอบช่วยให้คุณสตรีมการสํารวจข้อมูลได้แบบเรียลไทม์ ด้วยการสืบค้นหรือโปรแกรมเฉพาะกิจ คุณจะสามารถตรวจสอบสตรีมจาก Amazon MSK หรือ Amazon Kinesis Data Streams และเห็นภาพว่าข้อมูลมีลักษณะอย่างไรภายในสตรีมเหล่านั้น ตัวอย่างเช่น คุณสามารถดูว่าหน่วยวัดแบบเรียลไทม์ที่ประมวลผลค่าเฉลี่ยในช่วงเวลาหนึ่งทำงานอย่างไร และส่งข้อมูลรวมไปยังปลายทางที่คุณเลือก การวิเคราะห์เชิงโต้ตอบยังช่วยในการพัฒนาแอปพลิเคชันการประมวลผลสตรีมในลักษณะทวนซ้ำอีกด้วย การสืบค้นที่คุณสร้างจะอัปเดตอย่างต่อเนื่องเมื่อมีข้อมูลใหม่เข้ามา คุณสามารถใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio เพื่อปรับใช้การสืบค้นเหล่านี้เพื่อให้ทำงานอย่างต่อเนื่องโดยเปิดใช้งานการปรับขนาดอัตโนมัติและการสำรองข้อมูลสถานะที่คงที่
เริ่มต้นใช้งาน
ถาม: ฉันจะเริ่มต้นใช้งานแอปพลิเคชัน Apache Flink สําหรับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้อย่างไร
ลงชื่อเข้าใช้ในคอนโซลบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink และสร้างแอปพลิเคชันการประมวลผลสตรีมใหม่ คุณยังสามารถใช้ AWS CLI และ AWS SDK ได้อีกด้วย เมื่อคุณสร้างแอปพลิเคชันแล้ว ให้ไปที่สภาพแวดล้อมการพัฒนาแบบผสานรวมที่คุณต้องการ แล้วเชื่อมต่อกับ AWS และติดตั้งไลบรารี Apache Flink แบบโอเพนซอร์สและ AWS SDK ในภาษาที่คุณเลือก Apache Flink เป็นเฟรมเวิร์กและเอนจิ้นโอเพนซอร์สสําหรับประมวลผล Data Stream และ AWS SDK ไลบรารีที่ขยายได้ประกอบด้วยตัวดำเนินการประมวลผลสตรีมที่สร้างไว้ล่วงหน้ามากกว่า 25 ตัว เช่น วินโดว์และการรวม และการผสานรวมบริการของ AWS เช่น Amazon MSK, Amazon Kinesis Data Streams, Amazon DynamoDB และ Amazon Kinesis Data Firehose เมื่อสร้างแล้ว ให้อัปโหลดโค้ดของคุณไปยังบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จากนั้นบริการจะดูแลทุกสิ่งที่จำเป็นในการเรียกใช้แอปพลิเคชันแบบเรียลไทม์อย่างต่อเนื่อง รวมถึงการปรับขนาดโดยอัตโนมัติเพื่อให้สอดคล้องกับปริมาณและอัตราการโอนถ่ายข้อมูลของข้อมูลขาเข้าของคุณ
ถาม: ฉันจะเริ่มต้นใช้งานแอปพลิเคชัน Apache Beam สำหรับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flinkได้อย่างไร
การใช้ Apache Beam เพื่อสร้างแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink นั้นคล้ายกับการเริ่มต้นใช้งาน Apache Flink เป็นอย่างมาก คุณสามารถทําตามคําแนะนําในคําถามข้างต้น ตรวจสอบว่าคุณได้ติดตั้งส่วนประกอบที่จำเป็นสำหรับแอปพลิเคชันเพื่อทำงานบน Apache Beam แล้ว โดยทำตามคำแนะนำในคู่มือนักพัฒนา โปรดทราบว่าบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะรองรับ Java SDK เมื่อทำงานบน Apache Beam เท่านั้น
ถาม: ฉันจะเริ่มต้นใช้งานบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio ได้อย่างไร
คุณสามารถเริ่มต้นใช้งานได้จากคอนโซลบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink และสร้างโน้ตบุ๊ก Studio ใหม่ เมื่อเริ่มสร้างโน้ตบุ๊ก คุณจะสามารถเปิดใน Apache Zeppelin เพื่อเขียนโค้ดในภาษา SQL, Python หรือ Scala ได้ทันที คุณสามารถพัฒนาแอปพลิเคชันเชิงโต้ตอบได้โดยใช้อินเทอร์เฟซโน้ตบุ๊กสำหรับ Amazon Kinesis Data Streams, Amazon MSK และ Amazon S3 โดยใช้การผสานรวมที่มีอยู่ในตัวและแหล่งที่มาและปลายทางอื่นๆ ที่รองรับ Apache Flink ด้วยตัวเชื่อมต่อแบบกำหนดเอง คุณสามารถใช้ตัวดำเนินการทั้งหมดที่ Apache Flink รองรับใน Flink SQL และ Table API เพื่อทำการสืบค้น Data Stream เฉพาะกิจและพัฒนาแอปพลิเคชันการประมวลผลสตรีมของคุณ เมื่อพร้อมแล้ว คุณสามารถสร้างและเลื่อนระดับโค้ดของคุณให้เป็นแอปพลิเคชันประมวลผลสตรีมที่ทำงานอย่างต่อเนื่องพร้อมทั้งมีการปรับขนาดอัตโนมัติและสถานะคงที่ได้ในไม่กี่ขั้นตอน
ถาม: บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink มีขีดจํากัดเท่าใด
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ปรับขนาดแอปพลิเคชันของคุณได้อย่างยืดหยุ่นเพื่อรองรับอัตราการโอนถ่ายข้อมูลของสตรีมต้นทางและความซับซ้อนในการสืบค้นสำหรับสถานการณ์ส่วนใหญ่ หากต้องการข้อมูลโดยละเอียดเกี่ยวกับขีดจำกัดในการให้บริการของแอปพลิเคชัน Apache Flink โปรดไปที่หัวข้อ “ขีดจำกัด” ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ปรับขนาดแอปพลิเคชันของคุณได้อย่างยืดหยุ่นเพื่อรองรับอัตราการโอนถ่ายข้อมูลของสตรีมต้นทางและความซับซ้อนในการสืบค้นสำหรับสถานการณ์ส่วนใหญ่ หากต้องการข้อมูลโดยละเอียดเกี่ยวกับขีดจำกัดในการให้บริการของแอปพลิเคชัน Apache Flink โปรดไปที่หัวข้อ “ขีดจำกัด” ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
ถาม: บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับการลงทะเบียนสคีมาหรือไม่
รองรับ เมื่อใช้ Apache Flink DataStream Connectors แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะสามารถใช้ AWS Glue Schema Registry ซึ่งเป็นคุณสมบัติแบบไม่ต้องใช้เซิร์ฟเวอร์ของ AWS Glu ได้ คุณสามารถผสานรวม Apache Kafka, Amazon MSK และ Amazon Kinesis Data Streams ซึ่งเป็นซิงก์หรือแหล่งที่มาเข้ากับเวิร์กโหลดของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้ โปรดไปที่ คู่มือนักพัฒนาเกี่ยวกับการลงทะเบียนสคีมาของ AWS Glue เพื่อเริ่มต้นใช้งานและเรียนรู้เพิ่มเติม
รองรับ เมื่อใช้ Apache Flink DataStream Connectors แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะสามารถใช้ AWS Glue Schema Registry ซึ่งเป็นคุณสมบัติแบบไม่ต้องใช้เซิร์ฟเวอร์ของ AWS Glu ได้ คุณสามารถผสานรวม Apache Kafka, Amazon MSK และ Amazon Kinesis Data Streams ซึ่งเป็นซิงก์หรือแหล่งที่มาเข้ากับเวิร์กโหลดของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้ โปรดไปที่ คู่มือนักพัฒนาเกี่ยวกับการลงทะเบียนสคีมาของ AWS Glue เพื่อเริ่มต้นใช้งานและเรียนรู้เพิ่มเติม
แนวคิดสำคัญ
ถาม: แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink คืออะไร
แอปพลิเคชันคือเอนทิตีบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ที่คุณทำงานด้วย บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะอ่านและประมวลผลข้อมูลการสตรีมแบบเรียลไทม์อย่างต่อเนื่อง ส่วนคุณก็เขียนโค้ดแอปพลิเคชันในภาษาที่รองรับ Apache Flink เพื่อประมวลผลข้อมูลการสตรีมขาเข้าและสร้างเอาต์พุต จากนั้นบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะเขียนเอาต์พุตไปยังปลายทางที่กําหนดไว้
แต่ละแอปพลิเคชันจะประกอบด้วย 3 องค์ประกอบหลัก:
- อินพุต: อินพุตคือแหล่งที่มาของการสตรีมสําหรับแอปพลิเคชันของคุณ ในการกําหนดค่าอินพุต คุณจะต้องแมปแหล่งสตรีมมิงกับ Data Stream การไหลเวียนของข้อมูลจากแหล่งที่มาของข้อมูลไปยัง Data Stream ของคุณ คุณประมวลผลข้อมูลจาก Data Stream เหล่านี้โดยใช้โค้ดแอปพลิเคชันของคุณเอง โดยส่งข้อมูลที่ประมวลผลแล้วไปยัง Data Stream หรือปลายทางลำดับถัดไป คุณเพิ่มอินพุตภายในโค้ดแอปพลิเคชันสำหรับแอปพลิเคชัน Apache Flink และโน้ตบุ๊ก Studio และผ่าน API สำหรับแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
- โค้ดแอปพลิเคชัน:โค้ดแอปพลิเคชันคือชุดของตัวดำเนินการ Apache Flink ที่ประมวลผลอินพุตและสร้างเอาต์พุต ในรูปแบบที่ง่ายที่สุด โค้ดแอปพลิเคชันสามารถเป็นตัวดำเนินการ Apache Flink เพียงตัวเดียวที่อ่านจาก Data Stream ที่เชื่อมโยงกับแหล่งสตรีมมิง และเขียนไปยัง Data Stream อีกจุดหนึ่งที่เชื่อมโยงกับเอาต์พุต สำหรับโน้ตบุ๊ก Studio นี่อาจเป็นการสืบค้น “select” ของ Flink SQL แบบธรรมดา โดยผลลัพธ์จะแสดงในบริบทภายในโน้ตบุ๊ก คุณสามารถเขียนโค้ด Apache Flink ในภาษาที่รองรับสำหรับแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink หรือโน้ตบุ๊ก Studio ก็ได้
- เอาต์พุต: จากนั้นคุณสามารถเลือกกำหนดค่าเอาต์พุตของแอปพลิเคชันเพื่อคงข้อมูลไปยังปลายทางภายนอกได้ โดยเพิ่มอินพุตเหล่านี้ภายในโค้ดแอปพลิเคชันสำหรับโน้ตบุ๊กสตูดิโอและแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
ถาม: บริการนี้รองรับโค้ดแอปพลิเคชันใดบ้าง
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับแอปพลิเคชันที่สร้างโดยใช้ภาษา Java, Scala และ Python พร้อมด้วยไลบรารี Apache Flink แบบโอเพนซอร์สและโค้ดที่คุณกำหนดเอง บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ยังรองรับแอปพลิเคชันที่สร้างโดยใช้ภาษา Java พร้อมด้วยไลบรารี Apache Beam แบบโอเพนซอร์สและโค้ดที่คุณกำหนดเองอีกด้วย บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio รองรับโค้ดที่สร้างโดยใช้ภาษา SQL, Python และ Scala ที่ใช้งานร่วมกับ Apache Flink ได้
การจัดการแอปพลิเคชัน
ถาม: ฉันจะตรวจสอบการทํางานและประสิทธิภาพของแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้อย่างไร
AWS มีเครื่องมือต่างๆ ที่คุณสามารถใช้เพื่อตรวจสอบแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รวมถึงสามารถเข้าถึง Flink Dashboard สําหรับแอปพลิเคชัน Apache Flink ได้อีกด้วย คุณสามารถกําหนดค่าเครื่องมือเหล่านี้เพื่อทําการตรวจสอบให้คุณได้ หากต้องการข้อมูลเพิ่มเติมเกี่ยวกับวิธีการตรวจสอบแอปพลิเคชันของคุณ โปรดอ่านคู่มือนักพัฒนาต่อไปนี้
- การตรวจสอบ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
- การตรวจสอบบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio
ถาม: ฉันจะจัดการและควบคุมการเข้าถึงแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้อย่างไร
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ต้องใช้สิทธิ์ในการอ่านบันทึกจากแหล่งที่มาของข้อมูลการสตรีมที่คุณระบุในแอปพลิเคชันของคุณ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ยังต้องใช้สิทธิ์ในการเขียนเอาต์พุตจากแอปพลิเคชันของคุณไปยังปลายทางที่ระบุในการกําหนดค่าเอาต์พุตแอปพลิเคชันของคุณด้วย คุณสามารถให้สิทธิ์เหล่านี้ได้โดยการสร้างบทบาท AWS Identity and Access Management (IAM) ที่บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink สามารถรับบทบาทดังกล่าวได้ สิทธิ์ที่คุณมอบให้กับบทบาทนี้จะกำหนดว่าบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะทำอะไรได้บ้างเมื่อบริการนี้รับบทบาทดังกล่าว หากต้องการข้อมูลเพิ่มเติม โปรดดูที่คู่มือนักพัฒนาต่อไปนี้
- การให้สิทธิ์ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
- การให้สิทธิ์ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio
ถาม: บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะปรับขนาดแอปพลิเคชันของฉันอย่างไร
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ปรับขนาดแอปพลิเคชันของคุณได้อย่างยืดหยุ่นเพื่อรองรับอัตราการโอนถ่ายข้อมูลของสตรีมต้นทางและความซับซ้อนในการสืบค้นสำหรับสถานการณ์ส่วนใหญ่ ความจุของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ในรูปแบบของ Amazon KPU หนึ่ง KPU จะมี 1 vCPU และหน่วยความจํา 4 GB
สำหรับแอปพลิเคชัน Apache Flink และโน้ตบุ๊ก Studio นั้น บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะกำหนดพื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่จำนวน 50 GB ต่อ KPU ซึ่งแอปพลิเคชันของคุณใช้สำหรับจุดตรวจสอบ และพร้อมให้คุณใช้ผ่านดิสก์ชั่วคราวได้ จุดตรวจสอบคือการสำรองข้อมูลที่อัปเดตแล้วของแอปพลิเคชันที่ทำงานอยู่ ซึ่งใช้เพื่อกู้คืนในทันทีหลังจากที่แอปพลิเคชันหยุดชะงัก คุณยังสามารถควบคุมการใช้งานแบบคู่ขนานสำหรับงานแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้อีกด้วย (เช่น การอ่านจากแหล่งที่มาหรือการใช้ตัวดำเนินการ) โดยใช้พารามิเตอร์ Parallelism และ ParallelismPerKPU ใน API Parallelism จะกำหนดจำนวนอินสแตนซ์ที่ใช้งานพร้อมกันในงานหนึ่งๆ ตัวดำเนินการ แหล่งที่มา และซิงก์ทั้งหมดจะทำงานด้วย Parallelism ที่กำหนดไว้ตามค่าเริ่มต้น Parallelism per KPU จะกำหนดจำนวนของงานคู่ขนานที่สามารถกำหนดเวลาได้ต่อ KPU ของแอปพลิเคชันของคุณตามค่าเริ่มต้น หากต้องการข้อมูลเพิ่มเติม โปรดดูที่ “การปรับขนาด” ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
ถาม: แนวทางปฏิบัติที่ดีที่สุดในการสร้างและจัดการแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ของฉันมีอะไรบ้าง
หากต้องการข้อมูลเกี่ยวกับแนวทางปฏิบัติที่ดีที่สุดสําหรับ Apache Flink โปรดดูหัวข้อ
แนวทางปฏิบัติที่ดีที่สุดในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink หัวข้อนี้กล่าวถึงแนวทางปฏิบัติที่ดีที่สุดสำหรับความทนทานต่อความเสียหาย ประสิทธิภาพ การบันทึก การเขียนโค้ด และอื่นๆ
หากต้องการข้อมูลเกี่ยวกับแนวทางปฏิบัติที่ดีที่สุดสําหรับ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio โปรดดูหัวข้อแนวทางปฏิบัติที่ดีที่สุดในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio นอกเหนือจากแนวทางปฏิบัติที่ดีที่สุดแล้ว หัวข้อนี้ยังกล่าวถึงตัวอย่างแอปพลิเคชัน SQL, Python และ Scala ข้อกำหนดสำหรับการปรับใช้โค้ดของคุณให้เป็นแอปพลิเคชันประมวลผลสตรีมที่ทำงานอย่างต่อเนื่อง ประสิทธิภาพ การบันทึก และอื่นๆ
ถาม: ฉันจะสามารถเข้าถึงทรัพยากรที่อยู่เบื้องหลัง Amazon VPC ด้วยแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้หรือไม่
ได้ คุณสามารถเข้าถึงทรัพยากรที่อยู่เบื้องหลัง Amazon VPC ได้ คุณสามารถเรียนรู้วิธีกําหนดค่าแอปพลิเคชันของคุณสําหรับการเข้าถึง VPC ได้ในหัวข้อ
การใช้ Amazon VPC ในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
ถาม: แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เดียวสามารถเข้าถึงหลาย VPC ได้หรือไม่
ไม่ได้ ถ้ามีการระบุหลายซับเน็ต ซับเน็ตเหล่านั้นจะต้องอยู่ใน VPC เดียวกัน คุณสามารถเชื่อมต่อกับ VPC อื่นๆ ได้โดยเชื่อมต่อ VPC ของคุณเข้าด้วยกัน
ถาม: แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ที่เชื่อมต่อกับ VPC สามารถเข้าถึงอินเทอร์เน็ตและตำแหน่งข้อมูลบริการของ AWS ได้หรือไม่
แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink และโน้ตบุ๊กบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio ที่ได้รับการกำหนดค่าให้เข้าถึงทรัพยากรใน VPC ที่เฉพาะเจาะจงจะไม่สามารถเข้าถึงอินเทอร์เน็ตได้โดยเป็นการกำหนดค่าเริ่มต้น คุณสามารถเรียนรู้วิธีกําหนดค่าการเข้าถึงอินเทอร์เน็ตสําหรับแอปพลิเคชันของคุณได้ในหัวข้อ
การเข้าถึงอินเทอร์เน็ตและบริการในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
ราคาและการเรียกเก็บค่าบริการ
ถาม: บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink มีค่าใช้จ่ายเท่าไร
เมื่อใช้บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink คุณจะชําระค่าบริการเฉพาะส่วนที่คุณใช้เท่านั้น ไม่มีทรัพยากรที่ต้องจัดหาหรือค่าใช้จ่ายล่วงหน้าที่เกี่ยวข้องกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
คุณจะถูกเรียกเก็บค่าบริการรายชั่วโมงตามจำนวน Amazon KPU ที่ใช้เพื่อเรียกใช้แอปพลิเคชันการสตรีมของคุณ KPU เดียวคือหน่วยของความสามารถในการประมวลผลสตรีมที่ประกอบด้วยการประมวลผล 1 vCPU และหน่วยความจำ 4 GB บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะทำการปรับจำนวน KPU ที่แอปพลิเคชันประมวลผลสตรีมของคุณต้องใช้โดยอัตโนมัติเนื่องจากความต้องการหน่วยความจำและการประมวลผลแตกต่างกันไปตามความซับซ้อนของการประมวลผลและอัตราการโอนถ่ายข้อมูลการสตรีมที่ประมวลผล
สำหรับแอปพลิเคชัน Apache Flink และ Apache Beam คุณจะถูกเรียกเก็บค่า KPU เพิ่มเติมหนึ่งรายการต่อแอปพลิเคชันสำหรับการควบคุมระบบแอปพลิเคชัน แอปพลิเคชัน Apache Flink และ Apache Beam ยังมีการเรียกเก็บค่าบริการสำหรับการเรียกใช้พื้นที่จัดเก็บข้อมูลแอปพลิเคชันที่ทำงานอยู่และการสำรองข้อมูลแอปพลิเคชันที่คงที่อีกด้วย พื้นที่จัดเก็บข้อมูลแอปพลิเคชันที่ทำงานอยู่จะใช้สำหรับความสามารถในการประมวลผลที่สนับสนุนสถานะต่างๆ ในบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink และคิดค่าบริการต่อ GB/เดือน การสำรองข้อมูลแอปพลิเคชันที่คงที่เป็นตัวเลือกแบบไม่บังคับ คิดค่าบริการต่อ GB/เดือน และมีคุณสมบัติการกู้คืน ณ จุดใดจุดหนึ่งของเวลาสำหรับแอปพลิเคชันให้
สำหรับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio ในโหมดการพัฒนาหรือโหมดโต้ตอบ คุณจะถูกเรียกเก็บค่า KPU เพิ่มเติมหนึ่งรายการสำหรับการควบคุมระบบแอปพลิเคชัน และ 1 KPU สำหรับการพัฒนาเชิงโต้ตอบ นอกจากนี้ คุณจะถูกเรียกเก็บเงินสําหรับการเรียกใช้พื้นที่เก็บข้อมูลแอปพลิเคชันด้วย มั้งนี้ คุณจะไม่ถูกเรียกเก็บเงินสําหรับการสํารองข้อมูลแอปพลิเคชันที่คงที่
หากต้องการข้อมูลราคาเพิ่มเติม โปรดดูที่หน้า
ราคาของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
ถาม: ฉันจะถูกเรียกเก็บเงินสําหรับแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ที่กําลังทํางานอยู่ แต่ไม่ได้ประมวลผลข้อมูลใดๆ จากแหล่งที่มาหรือไม่
สำหรับแอปพลิเคชัน Apache Flink และ Apache Beam คุณจะถูกเรียกเก็บเงินขั้นต่ำ 2 KPU และพื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่ 50 GB หากแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ของคุณกำลังทำงานอยู่
สำหรับโน้ตบุ๊กของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio คุณจะถูกเรียกเก็บเงินขั้นต่ำ 3 KPU และพื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่ 50 GB หากแอปพลิเคชันของคุณกำลังทำงานอยู่
ถาม: นอกเหนือจากค่าใช้จ่ายของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink แล้ว อาจมีค่าใช้จ่ายอื่นๆ อีกหรือไม่
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เป็นโซลูชันการประมวลผลสตรีมที่มีการจัดการเต็มรูปแบบ โดยไม่ขึ้นอยู่กับแหล่งที่มาของการสตรีมที่อ่านข้อมูลและปลายทางที่เขียนข้อมูลที่ประมวลผลไป คุณจะถูกเรียกเก็บเงินแยกต่างหากสําหรับบริการที่คุณอ่านจากแอปพลิเคชันและเขียนไปยังแอปพลิเคชันของคุณ
ถาม: บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ใช้งานได้ใน AWS Free Tier หรือไม่
ไม่ได้ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ยังไม่สามารถใช้งานใน AWS Free Tier ได้ในขณะนี้
การสร้างแอปพลิเคชัน Apache Flink
การเขียนโค้ดแอปพลิเคชันสําหรับแอปพลิเคชันโดยใช้ Apache Flink ใน IDE ของคุณ
Q: Apache Flink คืออะไร
Apache Flink เป็นเฟรมเวิร์กและเอนจิ้นโอเพนซอร์สสําหรับประมวลผล Data Stream และข้อมูลแบบแบตช์ โดยช่วยให้สร้างแอปพลิเคชันการสตรีมได้ง่าย เนื่องจากมีตัวดำเนินการที่มีประสิทธิภาพและแก้ไขปัญหาการสตรีมหลักๆ ได้ เช่น การประมวลผลซ้ำซ้อน Apache Flink ให้การกระจายข้อมูล การสื่อสาร และความทนทานต่อความเสียหายสำหรับการประมวลผลแบบกระจายบน Data Stream
ถาม: ฉันจะพัฒนาแอปพลิเคชันได้อย่างไร
คุณสามารถเริ่มต้นด้วยการดาวน์โหลดไลบรารีโอเพนซอร์ส รวมถึง AWS SDK, Apache Flink และตัวเชื่อมต่อสำหรับบริการของ AWS รับคำแนะนำเกี่ยวกับวิธีดาวน์โหลดไลบรารีและสร้างแอปพลิเคชันแรกของคุณใน
คู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
ถาม: โค้ดแอปพลิเคชันของฉันจะมีลักษณะอย่างไร
คุณเขียนโค้ด Apache Flink โดยใช้ Data Stream และตัวดำเนินการสตรีม Data Stream ของแอปพลิเคชันคือโครงสร้างข้อมูลที่คุณดำเนินการประมวลผลโดยใช้โค้ดแอปพลิเคชันของคุณเอง ข้อมูลจะไหลเวียนอย่างต่อเนื่องจากแหล่งที่มาไปสู่ Data Stream ของแอปพลิเคชัน ตัวดำเนินการสตรีมอย่างน้อยหนึ่งตัวจะถูกใช้เพื่อกำหนดการประมวลผลบน Data Stream ของแอปพลิเคชัน รวมถึงการแปลง การแบ่งส่วน การรวม การผสาน และวินโดว์ Data Stream และตัวดําเนินการสามารถเชื่อมต่อในห่วงโซ่แบบอนุกรมและแบบขนานได้ เราได้แสดงตัวอย่างสั้นๆ โดยใช้โค้ดหลอกที่ด้านล่าง
DataStream <GameEvent> rawEvents = env.addSource(
New KinesisStreamSource(“input_events”));
DataStream <UserPerLevel> gameStream =
rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,
event.gameMetadata.levelId,event.userId));
gameStream.keyBy(event -> event.gameId)
.keyBy(1)
.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))
.apply(...) - > {...};
gameStream.addSink(new KinesisStreamSink("myGameStateStream"));
ถาม: ฉันจะใช้ตัวดําเนินการ Apache Flink ได้อย่างไร
ตัวดำเนินการจะรับ Data Stream ของแอปพลิเคชันเป็นอินพุตและส่งข้อมูลที่ประมวลผลแล้วไปยัง Data Stream ของแอปพลิเคชันเป็นเอาต์พุต โดยสามารถเชื่อมต่อตัวดำเนินการเข้าด้วยกันเพื่อสร้างแอปพลิเคชันที่มีหลายขั้นตอน และไม่จำเป็นต้องใช้ความรู้ขั้นสูงเกี่ยวกับระบบแบบกระจายในการนำตัวดำเนินการเหล่านี้ไปใช้งาน
ถาม: ระบบรองรับตัวดำเนินการใดบ้าง
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับตัวดำเนินการทั้งหมดจาก Apache Flink ที่สามารถใช้เพื่อแก้ไขกรณีการใช้งานที่หลากหลาย รวมถึงแผนที่, KeyBy, การรวม, วินโดว์, การผสานรวม และอื่นๆ ตัวอย่างเช่น ตัวดำเนินการแผนที่ช่วยให้คุณทำการประมวลผลได้ตามความต้องการ โดยนำองค์ประกอบหนึ่งมาจาก Data Stream ขาเข้าและสร้างอีกองค์ประกอบหนึ่งขึ้นมา KeyBy จัดระเบียบข้อมูลอย่างมีเหตุผลโดยใช้คีย์ที่ระบุ เพื่อให้คุณสามารถประมวลผลจุดข้อมูลที่คล้ายคลึงกันร่วมกันได้ การรวมจะดำเนินการประมวลผลในหลายคีย์ เช่น ผลรวม ต่ำสุด และสูงสุด ส่วน Window Join จะรวม Data Stream 2 รายการเข้าด้วยกันบนคีย์และวินโดว์ที่กำหนด
คุณสามารถสร้างตัวดำเนินการแบบกำหนดเองได้หากการทำงานนี้ไม่ตรงกับความต้องการของคุณ ค้นหาตัวอย่างเพิ่มเติมได้ในหัวข้อตัวดำเนินการในคู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink คุณสามารถดูรายชื่อตัวดําเนินการ Apache Flink ทั้งหมดได้ใน เอกสารประกอบ Apache Flink
ถาม: การผสานรวมใดบ้างที่รองรับในแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
คุณสามารถตั้งค่าการผสานรวมที่สร้างไว้ล่วงหน้าโดย Apache Flink โดยใช้โค้ดที่น้อยที่สุดหรือสร้างการผสานรวมของคุณเองเพื่อเชื่อมต่อกับแหล่งที่มาของข้อมูลได้แทบทุกแหล่ง ไลบรารีโอเพนซอร์สที่ใช้ Apache Flink รองรับแหล่งการสตรีมและปลายทาง หรือซิงค์เพื่อประมวลผลการส่งข้อมูล นอกจากนี้ ยังรวมถึงการสนับสนุนการเพิ่มข้อมูลผ่านตัวเชื่อมต่อ I/O แบบอะซิงโครนัสอีกด้วย ตัวอย่างตัวเชื่อมต่อเหล่านี้มีดังต่อไปนี้
- แหล่งที่มาของข้อมูลการสตรีม: Amazon Managed Streaming สำหรับ Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams ปลายทางหรือซิงก์: Amazon Kinesis Data Streams
- Amazon Kinesis Data Firehose, Amazon DynamoDB, Amazon Elasticsearch Service และ Amazon S3 (ผ่านการผสานรวมการซิงค์ไฟล์)
ถาม: แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink สามารถทําซ้ำข้อมูลข้ามสตรีมและหัวข้อต่างๆ ได้หรือไม่
ได้ คุณสามารถใช้แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เพื่อจำลองข้อมูลระหว่าง Amazon Kinesis Data Streams, Amazon MSK และระบบอื่นๆ ได้
ตัวอย่างที่ให้ไว้ในเอกสารประกอบของเราแสดงให้เห็นถึงวิธีการอ่านจากหัวข้อ Amazon MSK หนึ่งและเขียนไปยังอีกหัวข้อหนึ่ง
ถาม: ระบบรองรับการผสานรวมแบบกําหนดเองหรือไม่
คุณสามารถเพิ่มแหล่งที่มาหรือปลายทางให้กับแอปพลิเคชันของคุณได้โดยสร้างจากโปรแกรมพื้นฐานที่ช่วยให้คุณสามารถอ่านและเขียนจากไฟล์ ไดเร็กทอรี ซ็อกเก็ต หรืออะไรก็ตามที่คุณสามารถเข้าถึงได้ผ่านทางอินเทอร์เน็ต Apache Flink มีโปรแกรมพื้นฐานเหล่านี้สำหรับ
แหล่งที่มาของข้อมูลและ
ซิงค์ข้อมูล โปรแกรมพื้นฐานมาพร้อมกับการกำหนดค่าต่างๆ เช่น ความสามารถในการอ่านและเขียนข้อมูลอย่างต่อเนื่องหรือครั้งเดียว แบบอะซิงโครนัสหรือซิงโครนัส และอื่นๆ อีกมากมาย ตัวอย่างเช่น คุณสามารถตั้งค่าแอปพลิเคชันให้อ่านอย่างต่อเนื่องจาก Amazon S3 โดยขยายการผสานรวมแหล่งที่มาตามไฟล์ที่มีอยู่
ถาม: บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink มีโมเดลการส่งมอบและการประมวลผลแบบใดบ้าง
แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ใช้โมเดลการส่งมอบเพียงครั้งเดียวหากแอปพลิเคชันถูกสร้างขึ้นโดยใช้ตัวดําเนินการ idempotent รวมถึงแหล่งที่มาและซิงค์ ซึ่งหมายความว่าข้อมูลที่ประมวลผลจะส่งผลกระทบต่อผลลัพธ์ขั้นปลายหนึ่งครั้งและเพียงครั้งเดียวเท่านั้น
ตามค่าเริ่มต้น แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะใช้ความหมายของ Apache Flink เพียงครั้งเดียว แอปพลิเคชันของคุณรองรับความหมายการประมวลผลเพียงครั้งเดียวหากคุณออกแบบแอปพลิเคชันโดยใช้แหล่งที่มา ตัวดำเนินการ และซิงก์ที่ใช้ความหมายเพียงครั้งเดียวของ Apache Flink
ถาม: ฉันสามารถเข้าถึงพื้นที่จัดเก็บข้อมูลในเครื่องจากพื้นที่จัดเก็บแอปพลิเคชันของฉันได้หรือไม่
ได้ แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink มีพื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่ 50 GB ต่อ KPU บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะปรับขนาดพื้นที่จัดเก็บตามแอปพลิเคชันของคุณ พื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่จะใช้สําหรับบันทึกสถานะของแอปพลิเคชันโดยใช้จุดตรวจสอบ นอกจากนี้ ยังสามารถเข้าถึงโค้ดแอปพลิเคชันของคุณเพื่อใช้เป็นดิสก์ชั่วคราวสําหรับแคชข้อมูลหรือวัตถุประสงค์อื่นๆ ได้อีกด้วย บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink สามารถลบข้อมูลออกจากพื้นที่จัดเก็บแอปพลิเคชันที่ทํางานอยู่ซึ่งไม่ได้บันทึกผ่านจุดตรวจสอบ (เช่น ตัวดำเนินการ แหล่งที่มา ซิงค์) ได้ทุกเมื่อ ข้อมูลทั้งหมดที่จัดเก็บไว้ในพื้นที่จัดเก็บแอปพลิเคชันที่ทำงานอยู่จะถูกเข้ารหัสเมื่อไม่ได้ใช้งาน
ถาม: บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะสํารองข้อมูลแอปพลิเคชันของฉันโดยอัตโนมัติอย่างไร
บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะสํารองข้อมูลสถานะของแอปพลิเคชันที่ทํางานอยู่โดยอัตโนมัติโดยใช้จุดตรวจสอบและสแนปช็อต จุดตรวจสอบจะบันทึกสถานะปัจจุบันของแอปพลิเคชันและเปิดใช้งานแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink เพื่อกู้คืนตำแหน่งของแอปพลิเคชันเพื่อให้ความหมายเหมือนกับการดำเนินการที่ปราศจากข้อผิดพลาด จุดตรวจสอบจะใช้พื้นที่จัดเก็บแอปพลิเคชันที่ทํางานอยู่ จุดตรวจสอบสําหรับแอปพลิเคชัน Apache Flink จะมีให้ผ่านฟังก์ชัน
จุดตรวจสอบของ Apache Flink สแนปช็อตจะบันทึกจุดกู้คืนในจุดเวลาที่กำหนดสําหรับแอปพลิเคชันและใช้การสํารองข้อมูลแอปพลิเคชันที่คงที่ สแนปช็อตจะคล้ายกับจุดบันทึกของ Flink
ถาม: สแนปช็อตของแอปพลิเคชันคืออะไร
คุณสามารถใช้สแนปช็อตเพื่อสร้างและกู้คืนแอปพลิเคชันของคุณให้เป็นจุดเวลาก่อนหน้านี้ได้ คุณสามารถรักษาสถานะก่อนหน้านี้ของแอปพลิเคชันและย้อนกลับแอปพลิเคชันของคุณได้ตลอดเวลาด้วยวิธีนี้ คุณสามารถควบคุมจำนวนสแน็ปช็อตที่คุณมีในช่วงเวลาหนึ่งๆ ได้ ตั้งแต่ศูนย์ไปจนถึงหลายพันสแน็ปช็อต สแนปช็อตใช้การสํารองข้อมูลแอปพลิเคชันที่คงที่ และบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะเรียกเก็บเงินจากคุณตามขนาดของสแนปช็อต บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink จะเข้ารหัสข้อมูลที่บันทึกไว้ในสแนปช็อตตามค่าเริ่มต้น คุณสามารถลบสแนปช็อตแต่ละรายการผ่าน API หรือลบสแนปช็อตทั้งหมดได้โดยการลบแอปพลิเคชันของคุณ
ถาม: ระบบรองรับ Apache Flink เวอร์ชันใดบ้าง
หากต้องการข้อมูลเพิ่มเติมเกี่ยวกับเวอร์ชันของ Apache Flink ที่รองรับ โปรดไปที่หน้า
บันทึกย่อประจำรุ่นของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink หน้านี้ยังมีเวอร์ชันต่างๆ ของ Apache Beam, Java, Scala, Python และ AWS SDK ที่บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับอีกด้วย
ถาม: แอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink สามารถเรียกใช้ Apache Beam ได้หรือไม่
ได้ บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับแอปพลิเคชันการสตรีมที่สร้างขึ้นโดยใช้
Apache Beam คุณสามารถสร้างแอปพลิเคชันการสตรีม Apache Beam ในภาษา Java และเรียกใช้ในเอนจิ้นและบริการต่างๆ รวมถึงใช้ Apache Flink บนบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ได้ คุณสามารถค้นหาข้อมูลเกี่ยวกับเวอร์ชันของ Apache Flink และ Apache Beam ที่รองรับได้ใน
คู่มือนักพัฒนาเกี่ยวกับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
การสร้างแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio ในโน้ตบุ๊กที่มีการจัดการ
ถาม: ฉันจะพัฒนาแอปพลิเคชัน Studio ได้อย่างไร
คุณสามารถเริ่มต้นจากบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio, Amazon Kinesis Data Streams หรือคอนโซล Amazon MSK ได้ในไม่กี่ขั้นตอนเพื่อเปิดใช้โน้ตบุ๊กแบบไม่ต้องใช้เซิร์ฟเวอร์เพื่อสืบค้น Data Stream ได้ทันทีและดำเนินการวิเคราะห์ข้อมูลเชิงโต้ตอบได้
การวิเคราะห์ข้อมูลเชิงโต้ตอบ: คุณสามารถเขียนโค้ดในโน้ตบุ๊กด้วยภาษา SQL, Python หรือ Scala เพื่อโต้ตอบกับข้อมูลการสตรีมของคุณ โดยมีเวลาตอบกลับการสืบค้นเป็นวินาที คุณสามารถใช้การแสดงภาพในตัวเพื่อสำรวจข้อมูล ดูข้อมูลเชิงลึกแบบเรียลไทม์เกี่ยวกับข้อมูลการสตรีมของคุณจากภายในโน้ตบุ๊ก และพัฒนาแอปพลิเคชันการประมวลผลสตรีมที่ขับเคลื่อนโดย Apache Flink
เมื่อโค้ดของคุณพร้อมที่จะทำงานเป็นแอปพลิเคชันที่ใช้งานจริงแล้ว คุณสามารถเปลี่ยนผ่านไปเป็นแอปพลิเคชันประมวลผลสตรีมที่ประมวลผลข้อมูลในระดับกิกะไบต์ต่อวินาทีได้ในขั้นตอนเดียว โดยไม่ต้องใช้เซิร์ฟเวอร์
แอปพลิเคชันการประมวลผลสตรีม: เมื่อคุณพร้อมที่จะเลื่อนระดับโค้ดของคุณไปเป็นการใช้งานจริงแล้ว คุณสามารถสร้างโค้ดได้โดยคลิก “ปรับใช้เป็นแอปพลิเคชันการประมวลผลสตรีม” ในอินเทอร์เฟซโน้ตบุ๊กหรือออกคำสั่งเดียวใน CLI Studio จะดูแลการจัดการโครงสร้างพื้นฐานทั้งหมดที่จำเป็นเพื่อให้คุณเรียกใช้แอปพลิเคชันการประมวลผลสตรีมได้ในวงกว้าง โดยเปิดใช้งานการปรับขนาดอัตโนมัติและสถานะคงที่ เช่นเดียวกับในแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
ถาม: โค้ดแอปพลิเคชันของฉันจะมีลักษณะอย่างไร
คุณสามารถเขียนโค้ดในโน้ตบุ๊กในภาษาที่คุณต้องการได้ทั้ง SQL, Python หรือ Scala โดยใช้ Table API ของ Apache Flink Table API เป็น API นามธรรมและเชิงสัมพันธ์ระดับสูงที่รองรับซูเปอร์เซ็ตของความสามารถ SQL โดยมีการดำเนินการที่คุณคุ้นเคย เช่น เลือก กรอง ผสานรวม จัดกลุ่มตาม รวม และอื่นๆ พร้อมด้วยคอนเซ็ปต์เฉพาะสตรีม เช่น วินโดว์ คุณจะใช้ % เพื่อระบุภาษาที่จะใช้ในส่วนของโน้ตบุ๊ก และสามารถสลับไปมาระหว่างภาษาได้ ตัวแปรเป็นปลั๊กอิน Apache Zeppelin คุณจึงสามารถระบุภาษาหรือเอนจิ้นประมวลผลข้อมูลสำหรับแต่ละส่วนของโน้ตบุ๊กได้ คุณยังสามารถสร้างฟังก์ชันที่ผู้ใช้กําหนดเองและอ้างอิงจากฟังก์ชันดังกล่าวเพื่อปรับปรุงฟังก์ชันการทํางานของโค้ดได้อีกด้วย
ถาม: ระบบรองรับการดำเนินการ SQL ใดบ้าง
คุณสามารถดําเนินการ SQL ดังต่อไปนี้
- สแกนและกรอง (SELECT, WHERE)
- การรวม (GROUP BY, GROUP BY WINDOW, HAVING)
- เซ็ต (UNION, UNIONALL, INTERSECT, IN, EXISTS)
- เรียงลำดับ (ORDER BY, LIMIT)
- ผสานรวม (INNER, OUTER, Timed Window – BETWEEN, AND, Joining with Temporal Tables – ตารางที่ติดตามการเปลี่ยนแปลงเมื่อเวลาผ่านไป)
- Top-N
- การลบข้อมูลซ้ำซ้อน
- การจดจํารูปแบบ
การสืบค้นเหล่านี้บางส่วน เช่น GROUP BY, OUTER JOIN และ Top-N เป็นผลลัพธ์ที่อัปเดตสำหรับการสตรีมข้อมูล ซึ่งหมายความว่าผลลัพธ์จะมีการอัปเดตอย่างต่อเนื่องในขณะที่ข้อมูลการสตรีมได้รับการประมวลผล นอกจากนี้ยังรองรับคําสั่ง DDL อื่นๆ เช่น CREATE, ALTER และ DROP โปรดดูการสืบค้นและตัวอย่างทั้งหมดได้ในเอกสารประกอบเกี่ยวกับการสืบค้นของ Apache Flink
ถาม: ระบบรองรับ Python และ Scala อย่างไร
Table API ของ Apache Flink รองรับ Python และ Scala ผ่านการรวมภาษาโดยใช้สตริง Python และนิพจน์ Scala การดำเนินการที่รองรับจะคล้ายกับการดำเนินการ SQL ที่รองรับอย่างมาก รวมถึงการเลือก การเรียงลำดับ การจัดกลุ่ม การผสานรวม การกรอง และการวินโดว์ การดําเนินการและตัวอย่างทั้งหมดระบุอยู่ในคู่มือนักพัฒนาของเรา
Q: ระบบรองรับ Apache Flink และ Apache Zeppelin เวอร์ชันใด
หากต้องการข้อมูลเพิ่มเติมเกี่ยวกับเวอร์ชันของ Apache Flink ที่รองรับ โปรดไปที่หน้าบันทึกย่อประจำรุ่นของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink หน้านี้ยังมีเวอร์ชันต่างๆ ของ Apache Zeppelin, Apache Beam, Java, Scala, Python และ AWS SDK ที่บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รองรับอีกด้วย
ถาม: ตามค่าเริ่มต้นแล้ว การผสานรวมใดบ้างที่รองรับในแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio
- แหล่งที่มาของข้อมูล: Amazon Managed Streaming สำหรับ Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams, Amazon S3
- ปลายทางหรือซิงค์: Amazon MSK, Amazon Kinesis Data Streams และ Amazon S3
ถาม: ระบบรองรับการผสานรวมแบบกําหนดเองหรือไม่
คุณสามารถกำหนดค่าการผสานรวมเพิ่มเติมได้ด้วยขั้นตอนเพิ่มเติมไม่กี่ขั้นตอนและใส่โค้ด Apache Flink (Python, Scala หรือ Java) เพิ่มอีกไม่กี่บรรทัดเพื่อกำหนดการเชื่อมต่อกับการผสานการทำงานทั้งหมดที่ Apache Flink รองรับ ซึ่งรวมถึงปลายทาง เช่น Amazon OpenSearch Service, Amazon ElastiCache สำหรับ Redis, Amazon Aurora, Amazon Redshift, Amazon DynamoDB, Amazon Keyspaces และอื่นๆ คุณสามารถแนบไฟล์ปฏิบัติการสำหรับตัวเชื่อมต่อแบบกำหนดเองเหล่านี้ได้เมื่อคุณสร้างหรือกำหนดค่าแอปพลิเคชันบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink Studio
ข้อตกลงระดับการให้บริการ
ถาม: SLA ของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink รับประกันอะไรบ้าง
ข้อตกลงระดับการให้บริการ (SLA) ของเรารับประกันเปอร์เซ็นต์เวลาทํางานรายเดือนอย่างน้อย 99.9% สําหรับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink
ถาม: ฉันจะทราบได้อย่างไรว่าฉันมีสิทธิ์ได้รับเครดิตบริการ SLA หรือไม่
คุณมีสิทธิ์ได้รับเครดิตบริการ SLA สําหรับบริการที่มีการจัดการของ Amazon สำหรับ Apache Flink ภายใต้ SLA ของบริการที่มีการจัดการของ Amazon สำหรับ Apache Flinkหาก Availability Zone มากกว่าหนึ่งแห่งที่คุณกําลังทํางานอยู่ภายใน AWS Region เดียวกันมีเปอร์เซ็นต์เวลาทํางานรายเดือนน้อยกว่า 99.9% ในระหว่างรอบการเรียกเก็บเงินรายเดือนในรอบใดก็ตาม สำหรับรายละเอียดเกี่ยวกับข้อกำหนดและเงื่อนไข SLA ทั้งหมด รวมถึงรายละเอียดเกี่ยวกับวิธีการยื่นคำร้อง โปรดไปที่หน้ารายละเอียด บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink SLA
เริ่มต้นใช้งานบริการวิเคราะห์ข้อมูลของ Amazon Kinesis
อ่านคู่มือเริ่มต้นใช้งาน
เรียนรู้วิธีใช้บริการวิเคราะห์ข้อมูลของ Amazon Kinesis ในคู่มือสำหรับ SQL หรือ Apache Flink แบบทีละขั้นตอน
เริ่มสร้างแอปพลิเคชันการสตรีม
สร้างแอปพลิเคชันการสตรีมเป็นครั้งแรกจากคอนโซลบริการวิเคราะห์ข้อมูลของ Amazon Kinesis