ข้อมูลสตรีมคืออะไร

Data Stream มีนิยามตามลักษณะเฉพาะดังต่อไปนี้

ให้ความสำคัญกับลำดับเวลา

แต่ละองค์ประกอบใน Data Stream จะมีประทับเวลา Data Stream อาจมีความไวต่อเวลา โดยจะมีความสำคัญลดลงหลังจากผ่านไปช่วงเวลาหนึ่ง ตัวอย่างเช่น แอปพลิเคชันของคุณแนะนำร้านอาหารตามตำแหน่งปัจจุบันของผู้ใช้ คุณต้องดำเนินการกับข้อมูลตำแหน่งทางภูมิศาสตร์ของผู้ใช้แบบเรียลไทม์ มิฉะนั้นข้อมูลจะสูญเสียความสำคัญไป

หลั่งไหลอย่างต่อเนื่อง

Data Stream ไม่มีจุดเริ่มต้นหรือจุดสิ้นสุด โดยจะรวบรวมข้อมูลอย่างสม่ำเสมอและต่อเนื่องได้นานเท่าที่ต้องการ ยกตัวอย่างเช่น ข้อมูลบันทึกกิจกรรมของเซิร์ฟเวอร์ที่จะรวบรวมข้อมูลนานเท่าที่เซิร์ฟเวอร์ยังทำงาน

ไม่ซ้ำ

การส่ง Data Stream ซ้ำเป็นเรื่องท้าทายเนื่องจากความไวต่อเวลา ดังนั้นการประมวลผลข้อมูลแบบเรียลไทม์อย่างแม่นยำจึงสำคัญ น่าเสียดายที่ข้อกำหนดสำหรับการส่งข้อมูลซ้ำถูกจำกัดในแหล่งที่มาของข้อมูลสตรีมส่วนใหญ่

ไม่เป็นเนื้อเดียวกัน

แหล่งที่มาบางแห่งอาจสตรีมข้อมูลในหลากหลายฟอร์แมต ซึ่งเป็นฟอร์แมตที่มีโครงสร้าง เช่น JSON, Avro และค่าที่คั่นด้วยเครื่องหมายจุลภาค (CSV) โดยใช้ประเภทข้อมูลที่ประกอบด้วยสตริง ตัวเลข วันที่ และไบนารี ระบบประมวลผลสตรีมของคุณควรมีความสามารถในการรับมือกับข้อมูลได้อย่างหลากหลาย

ไม่สมบูรณ์

ข้อผิดพลาดชั่วคราวจากแหล่งที่มาอาจส่งผลให้องค์ประกอบในข้อมูลที่สตรีมเสียหายหรือขาดหายไป การรับประกันความสอดคล้องกันของข้อมูลอาจเป็นเรื่องยาก เนื่องจากลักษณะของสตรีมที่ส่งอย่างต่อเนื่อง ระบบประมวลผลและวิเคราะห์สตรีมมักจะมีตรรกะสำหรับการตรวจสอบข้อมูลเพื่อขจัดหรือลดข้อผิดพลาดเหล่านี้ให้เหลือน้อยที่สุด

ระบบการประมวลผลสตรีมมีประโยชน์ในกรณีส่วนใหญ่ที่มีการสร้างข้อมูลใหม่แบบไดนามิกอย่างต่อเนื่อง ซึ่งมีผลต่อภาคอุตสาหกรรมส่วนใหญ่และกรณีการใช้งาน Big Data

โดยทั่วไปแล้ว บริษัทต่าง ๆ เริ่มต้นด้วยการใช้แอปพลิเคชันง่าย ๆ อย่างเช่น ข้อมูลบันทึกระบบการรวบรวมข้อมูล และการประมวลผลขั้นพื้นฐาน อาทิ การคำนวณค่าต่ำสุด-สูงสุดแบบ Rolling เป็นต้น จากนั้นแอปพลิเคชันเหล่านี้ก็พัฒนาไปจนสามารถประมวลผลข้อมูลที่มีความซับซ้อนมากขึ้นในแบบที่เกือบจะเรียลไทม์ได้

นี่คือตัวอย่างบางส่วนของข้อมูลที่สตรีมเข้ามา

การวิเคราะห์ข้อมูล

แอปพลิเคชันจะประมวลผล Data Stream เพื่อสร้างรายงานและดำเนินการตอบสนอง เช่น ส่งการแจ้งเตือนเมื่อตัววัดหลัก ๆ เลยเกณฑ์ที่กำหนดไว้ แอปพลิเคชันการประมวลผลสตรีมที่ซับซ้อนยิ่งขึ้นจะแยกข้อมูลเชิงลึกที่ละเอียดมากขึ้น โดยการใช้อัลกอริทึมแมชชีนเลิร์นนิงกับข้อมูลธุรกิจและกิจกรรมของลูกค้า

แอปพลิเคชัน IoT

อุปกรณ์ Internet of Things (IoT) คืออีกกรณีใช้งานสำหรับข้อมูลที่สตรีมเข้ามา เซนเซอร์ในยานพาหนะ เครื่องมือทางอุตสาหกรรม และเครื่องจักรที่ใช้ในไร่จะส่งข้อมูลไปยังแอปพลิเคชันสตรีม จากนั้นแอปพลิเคชันก็จะคอยติดตามประสิทธิภาพการทำงาน ตรวจหาข้อบกพร่องที่อาจเกิดขึ้นล่วงหน้า และสั่งซื้ออะไหล่สำรองโดยอัตโนมัติเพื่อป้องกันไม่ให้มีช่วงหยุดทำงานของอุปกรณ์

การวิเคราะห์ทางการเงิน

สถาบันทางการเงินใช้ข้อมูลสตรีมเพื่อติดตามการเปลี่ยนแปลงของตลาดหุ้นในแบบเรียลไทม์ คำนวณมูลค่าความเสี่ยง และสร้างสมดุลให้พอร์ตอัตโนมัติโดยอิงจากการขึ้นลงของราคาหุ้น กรณีการใช้งานด้านการเงินอื่น คือการตรวจหาการทุจริตจากธุรกรรมบัตรเครดิตโดยใช้การอนุมานแบบเรียลไทม์กับข้อมูลการทำธุรกรรมสตรีม

การให้คำแนะนำแบบเรียลไทม์

แอปพลิเคชันด้านอสังหาริมทรัพย์ติดตามข้อมูลตำแหน่งทางภูมิศาสตร์จากอุปกรณ์เคลื่อนที่ของลูกค้าและให้คำแนะนำเกี่ยวกับที่ดินที่จะเยี่ยมชมแบบเรียลไทม์ ในทำนองเดียวกัน แอปพลิเคชันโฆษณา อาหาร ค้าปลีก และสินค้าอุปโภคบริโภคสามารถรวมคำแนะนำแบบเรียลไทม์เพื่อสร้างคุณค่าให้แก่ลูกค้าได้มากยิ่งขึ้น

รับประกันการให้บริการ

คุณสามารถใช้การประมวลผล Data Stream เพื่อติดตามและรักษาระดับการให้บริการในแอปพลิเคชันและอุปกรณ์ ยกตัวอย่างเช่น บริษัทผลิตไฟฟ้าพลังแสงอาทิตย์ต้องรักษาระดับปริมาณพลังงานไฟฟ้าให้ลูกค้า มิฉะนั้นจะต้องเสียค่าปรับ บริษัทจึงใช้แอปพลิเคชันข้อมูลสตรีมที่ตรวจสอบแผงรับแสงกลางแจ้งทั้งหมด และกำหนดเวลาซ่อมบำรุงแบบเรียลไทม์ ซึ่งลดระยะโอกาสที่แผงรับแสงแต่ละแผงจะผลิตปริมาณกระแสไฟฟ้าได้น้อยลง และลดค่าปรับที่ต้องจ่ายจากแผงรับแสงให้ต่ำที่สุด

สื่อและเกม

ผู้เผยแพร่สื่อสตรีมบันทึกการคลิกสตรีมหลายพันล้านครั้งจากสื่อทางออนไลน์ นอกจากนี้ยังรวมและเสริมข้อมูลโดยใช้ข้อมูลประชากรของผู้ใช้ และปรับปรุงประสิทธิภาพการจัดวางเนื้อหา การดำเนินการนี้ช่วยให้ผู้เผยแพร่สามารถส่งมอบประสบการณ์ที่ดีขึ้นและเกี่ยวข้องมากขึ้นให้กับกลุ่มเป้าหมายได้ ในทำนองเดียวกัน บริษัทเกมออนไลน์ใช้การประมวลผลสตรีมเหตุการณ์เพื่อวิเคราะห์ปฏิสัมพันธ์ระหว่างผู้เล่นและเกม รวมทั้งนำเสนอประสบการณ์แบบไดนามิกเพื่อดึงดูดผู้เล่น

ควบคุมความเสี่ยง

แพลตฟอร์มสตรีมมิงสดและแพลตฟอร์มโซเชียลเก็บข้อมูลพฤติกรรมของผู้ใช้แบบเรียลไทม์เพื่อควบคุมความเสี่ยงต่อกิจกรรมทางการเงินของผู้ใช้ เช่น การเติมเงิน การคืนเงิน และการมอบรางวัล แพลตฟอร์มเหล่านี้จะดูแดชบอร์ดแบบเรียลไทม์เพื่อปรับกลยุทธ์ด้านความเสี่ยงอย่างยืดหยุ่น

สถาปัตยกรรมข้อมูลสตรีมประกอบด้วย 2 องค์ประกอบหลัก

ตัวผลิตสตรีม

ตัวผลิตสตรีม คือองค์ประกอบด้านซอฟต์แวร์ในแอปพลิเคชันและระบบ IoT ที่รวบรวมข้อมูล โดยจะส่งบันทึกให้กับตัวประมวลผลสตรีม ซึ่งจะประกอบด้วยชื่อสตรีม ค่าข้อมูล และหมายเลขลำดับ ตัวประมวลผลจะบัฟเฟอร์หรือจัดกลุ่มบันทึกข้อมูลชั่วคราวตามชื่อสตรีม โดยใช้หมายเลขลำดับเพื่อติดตามตำแหน่งที่ไม่ซ้ำกันของแต่ละบันทึก และประมวลผลข้อมูลตามลำดับเวลา

ผู้ใช้สตรีม

ตัวใช้งานสตรีมคือองค์ประกอบด้านซอฟต์แวร์ที่ประมวลผลและวิเคราะห์ Data Stream ที่บัฟเฟอร์ในตัวประมวลผล ตัวใช้งานแต่ละรายการมีความสามารถในการวิเคราะห์ เช่น ความสัมพันธ์ การรวม การกรอง การสุ่มตัวอย่าง หรือแมชชีนเลิร์นนิง แต่ละสตรีมอาจมีตัวใช้งานหลายรายการ และตัวใช้งานแต่ละรายการอาจประมวลผลสตรีมปริมาณมาก ตัวใช้งานยังสามารถส่งข้อมูลที่เปลี่ยนแปลงกลับไปให้ตัวประมวลผลเพื่อสร้างสตรีมใหม่สำหรับผู้ใช้รายอื่น

การนำสถาปัตยกรรมไปใช้

หากต้องการใช้สถาปัตยกรรมข้อมูลสตรีม คุณจะต้องมีเลเยอร์การจัดเก็บและประมวลผล เลเยอร์การจัดเก็บข้อมูลต้องรองรับการจัดเรียงบันทึกและมีความต่อเนื่องในระดับสูง เพื่อให้อ่านและบันทึกค่า Data Stream ปริมาณมากได้อย่างรวดเร็ว คุ้มค่าใช้จ่าย และเล่นซ้ำได้ เลเยอร์การประมวลผลจะใช้ข้อมูลจากเลเยอร์การจัดเก็บข้อมูล คำนวณข้อมูลดังกล่าว แล้วจึงแจ้งเลเยอร์การจัดเก็บข้อมูลให้ลบข้อมูลที่ไม่ต้องใช้แล้ว

AWS มีตัวเลือกในการทำงานกับข้อมูลสตรีมที่หลากหลาย 

Amazon Kinesis

Kinesis เป็น แพลตฟอร์มสำหรับการสตรีมข้อมูลบน AWS ซึ่งนำเสนอบริการที่มีประสิทธิภาพ ทำให้ง่ายต่อการโหลดและวิเคราะห์ข้อมูลสตรีม ในขณะเดียวกันก็ช่วยให้คุณสร้างแอปพลิเคชันข้อมูลสตรีมแบบกำหนดเองสำหรับความต้องการเฉพาะด้านได้

Kinesis ให้บริการสามอย่าง ได้แก่ Amazon Data Firehose, สตรีมข้อมูลของ Amazon Kinesis และ Amazon Managed Streaming สำหรับ Apache Kafka (Amazon MSK)

Amazon Data Firehose

Amazon Data Firehose สามารถจับ และโหลดข้อมูลสตรีมได้โดยอัตโนมัติไปยัง Amazon Simple Storage Service (Amazon S3) และ Amazon Redshift บริการนี้ช่วยให้คุณสามารถวิเคราะห์แบบเรียลไทม์โดยใช้เครื่องมือข่าวกรองทางธุรกิจและแดชบอร์ดที่คุณใช้อยู่ในปัจจุบัน

Kinesis Data Streams

Kinesis Data Streams สามารถ จับและจัดเก็บข้อมูลเทราไบต์ (TB) ต่อชั่วโมงได้อย่างต่อเนื่องจากแหล่งที่มาหลายแสนแห่ง โดยตัวบริการรองรับเฟรมเวิร์กการประมวลผลสตรีมตามความต้องการของคุณซึ่งรวมถึง Amazon Kinesis Client Library (KCL), Apache Storm และ Apache Spark Streaming

Amazon MSK

Amazon MSK เป็น บริการที่มีการจัดการอย่างสมบูรณ์ซึ่งช่วยให้คุณสร้างและเรียกใช้แอปพลิเคชันโดยใช้ Apache Kafka เพื่อประมวลผลข้อมูลสตรีมมิ่งได้ง่าย Apache Kafka เป็นแพลตฟอร์มโอเพนซอร์สสำหรับการสร้างไปป์ไลน์และแอปพลิเคชันข้อมูลสตรีมแบบเรียลไทม์ 

Amazon Redshift

Amazon Redshift Streaming Ingetion ช่วยให้ผู้ใช้ สามารถรับข้อมูลสตรีมเข้าไปในคลังข้อมูลเพื่อการวิเคราะห์แบบเรียลไทม์จากสตรีมข้อมูล Kinesis หลายสตรีม คุณสามารถเสริมการวิเคราะห์ขั้นสูงโดยใช้ SQL ที่คุ้นเคย รวมทั้งสร้างและจัดการไปป์ไลน์ ELT ได้ง่าย ๆ นอกจากนี้ยังช่วยให้คุณประมวลผลข้อมูลสตรีมจำนวนมากโดยมีเวลาแฝงต่ำและอัตราการโอนถ่ายข้อมูลสูง เพื่อรับข้อมูลเชิงลึกในไม่กี่วินาที

โซลูชันอื่น ๆ สำหรับสตรีมบน Amazon EC2

คุณสามารถติดตั้งแพลตฟอร์มข้อมูลสตรีมที่คุณเลือกบน Amazon Elastic Compute Cloud (Amazon EC2) และ Amazon EMR และสร้างชั้นจัดเก็บสตรีมและการประมวลผลแบบกำหนดเองของคุณ ผลลัพธ์ที่ได้จึงช่วยให้คุณเลี่ยงอุปสรรคในการจัดเตรียมโครงสร้างพื้นฐาน รวมทั้งการเข้าถึงเฟรมเวิร์กการจัดเก็บและการประมวลผลสตรีมต่าง ๆ ได้ ตัวเลือกสำหรับชั้นจัดเก็บข้อมูล ได้แก่ Amazon MSK และ Apache Flume ตัวเลือกสำหรับเลเยอร์การประมวลผลสตรีม ได้แก ่ Apache Spark Streaming และ Apache Storm

เริ่มต้นด้วยการสตรีมข้อมูลบน AWS โดยการ สร้างบัญชี AWS ฟรี วันนี้!