Data Stream แบบเรียลไทม์คืออะไร
Data Stream แบบเรียลไทม์เกี่ยวข้องกับการรวบรวมและการนำเข้าลำดับข้อมูลจากแหล่งที่มาต่าง ๆ ของข้อมูล รวมถึงการประมวลผลข้อมูลนั้นแบบเรียลไทม์เพื่อดึงข้อมูลเชิงลึกและความหมาย
ตัวอย่างของข้อมูลการสตรีม ได้แก่ ไฟล์ข้อมูลบันทึกที่ลูกค้าสร้างขึ้นโดยใช้แอปพลิเคชันบนอุปกรณ์เคลื่อนที่หรือแอปพลิเคชันบนเว็บ การซื้อในอีคอมเมิร์ซ กิจกรรมของผู้เล่นในเกม ข้อมูลจากโซเชียลเน็ตเวิร์ค ห้องค้าหลักทรัพย์ หรือบริการเชิงพื้นที่ และการตรวจวัดระยะไกลจากอุปกรณ์หรือเครื่องมือที่เชื่อมต่อในศูนย์ข้อมูล
Data Stream แบบเรียลไทม์ช่วยให้คุณสามารถวิเคราะห์และประมวลผลข้อมูลแบบเรียลไทม์โดยไม่ต้องรอคำตอบหลายชั่วโมง หลายวัน หรือหลายสัปดาห์
องค์ประกอบของ Data Stream แบบเรียลไทม์คืออะไร
ต้นทาง: อุปกรณ์หรือแอปพลิเคชันหลายแสนรายการที่ผลิตข้อมูลอย่างต่อเนื่องในปริมาณมากด้วยความเร็วสูง ตัวอย่างได้แก่ อุปกรณ์มือถือ, แอปพลิเคชันบนเว็บ (คลิกสตรีม), ข้อมูลบันทึกแอปพลิเคชัน, เซนเซอร์ IoT, อุปกรณ์อัจฉริยะ และแอปพลิเคชันเกม
การนำเข้าข้อมูลสตรีม: การผสานรวมอย่างง่ายกับบริการของ AWS กว่า 15 รายการ (Amazon API Gateway, AWS IoT Core, Amazon Cloudwatch และอื่น ๆ) ที่ช่วยให้คุณสามารถบันทึกข้อมูลที่ผลิตจากอุปกรณ์หลายพันเครื่องได้อย่างต่อเนื่องในลักษณะที่ทนทานและปลอดภัย
พื้นที่เก็บข้อมูลสตรีม: เลือกโซลูชันที่ตอบสนองความต้องการในการเก็บข้อมูลของคุณตามข้อกำหนดในการปรับขนาด เวลาแฝง และการประมวลผล เช่น Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose และ Amazon Managed Streaming สำหรับ Apache Kafka (Amazon MSK)
การประมวลผลข้อมูลสตรีม: เลือกจากบริการที่หลากหลาย ตั้งแต่โซลูชันที่ต้องคลิกเพียงไม่กี่ครั้งเพื่อแปลงและส่งข้อมูลอย่างต่อเนื่องไปยังปลายทาง เช่น Amazon Kinesis Data Firehose ไปจนถึงแอปพลิเคชันแบบเรียลไทม์ที่กำหนดเองและมีประสิทธิภาพสูงและการผสานรวมกับแมชชีนเลิร์นนิงโดยใช้บริการ เช่น บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink และ AWS Lambda
ปลายทาง: ส่งข้อมูลการสตรีมไปยัง Data Lake, คลังข้อมูล และบริการการวิเคราะห์ที่ผสานรวมกันอย่างเต็มรูปแบบสำหรับการวิเคราะห์เพิ่มเติมหรือการเก็บข้อมูลในระยะยาว เช่น Amazon S3, Amazon Redshift, Amazon OpenSearch Service และ Amazon EMR
กรณีการใช้งาน Data Stream แบบเรียลไทม์คืออะไร
การย้ายข้อมูลแบบเรียลไทม์
การสตรีมข้อมูลจากอุปกรณ์หลายแสนเครื่องและการดำเนินการแปลง ETL บนข้อมูลความเร็วสูงต่อเนื่องในปริมาณมากแบบเรียลไทม์ ช่วยให้ผู้ใช้วิเคราะห์ข้อมูลได้ทันทีที่ผลิตขึ้น จากนั้นจัดเก็บข้อมูลอย่างคงทนไว้ใน Data Lake คลังข้อมูล หรือฐานข้อมูลเพื่อวิเคราะห์ต่อไป
เรียนรู้วิธีที่ WalkMe จัดการกับความท้าทายในการจัดลำดับขณะสตรีมข้อมูลไปยัง Data Lake
เรียนรู้วิธีที่ John Deere ดำเนินการสตรีม ETL เข้าสู่ Data Lake แบบเรียลไทม์
การวิเคราะห์แบบเรียลไทม์
วิเคราะห์ข้อมูลทันทีที่ผลิตและเปิดใช้งานการตัดสินใจแบบเรียลไทม์ทั่วทั้งองค์กร เพื่อใช้ประโยชน์จากโอกาส ปรับปรุงประสบการณ์ของลูกค้า ป้องกันความล้มเหลวของระบบเครือข่าย หรืออัปเดตเมตริกทางธุรกิจที่สำคัญแบบเรียลไทม์
ข้อมูลบันทึก: บันทึก ประมวลผล และวิเคราะห์ข้อมูลบันทึกจากแอปพลิเคชันของคุณแบบเรียลไทม์
อ่านเกี่ยวกับวิธีวิเคราะห์พฤติกรรมผู้ใช้แบบเรียลไทม์
เรียนรู้วิธีวิเคราะห์และแสดงภาพการรับส่งข้อมูลเครือข่าย VPC ของคุณ
ดูวิธีจัดการข้อมูลบันทึกเซิร์ฟเวอร์ Microsoft Exchange แบบรวมศูนย์
อ่านเกี่ยวกับการวิเคราะห์ข้อมูลบันทึก »
การอัปเดตแบบเรียลไทม์: มีส่วนร่วมกับผู้บริโภค ผู้เล่นเกม ผู้ค้าทางการเงิน และอื่นๆ ด้วยการจัดเตรียมการอัปเดตแบบเรียลไทม์สำหรับตัววัดการตัดสินใจที่สำคัญ มอบข้อเสนอแนะ และประสบการณ์ของลูกค้า
ดูวิธีใช้การวิเคราะห์เกมแบบเรียลไทม์เพื่อสร้างความพึงพอใจให้กับผู้เล่นเกมของคุณ
เรียนรู้วิธีส่งมอบข่าวที่กำลังเป็นที่นิยมและเหมาะสำหรับแต่ละบุคคลแบบเรียลไทม์
Clickstream: รับมุมมองแบบเรียลไทม์เกี่ยวกับประสิทธิภาพของเนื้อหาเว็บและการโต้ตอบของผู้ใช้ที่มีต่อแอปพลิเคชันและเว็บไซต์ของคุณ รวมถึงพฤติกรรมของผู้ใช้ ระยะเวลาที่ใช้ เนื้อหายอดนิยม และอื่นๆ
IoT: เชื่อมต่อกับอุปกรณ์ IoT หลายแสนเครื่อง แล้วรวบรวม ประมวลผล และวิเคราะห์ข้อมูลการสตรีมแบบเรียลไทม์
การประมวลผลสตรีมเหตุการณ์
บันทึกและรับมือเหตุการณ์ที่เกิดขึ้นแบบเรียลไทม์ในหลายแอปพลิเคชัน กรณีการใช้งานที่พบบ่อยที่สุดคือการสื่อสารระหว่างไมโครเซอร์วิสที่แยกจากกันหลายร้อยรายการและการรักษาระบบบันทึกผ่าน Change Data Capture
การสื่อสารระหว่างไมโครเซอร์วิสที่แยกจากกัน: เมื่อมีการทริกเกอร์ไมโครเซอร์วิสใด ๆ จะสามารถส่งเหตุการณ์ไปยัง Data Stream ได้แบบเรียลไทม์ และไมโครเซอร์วิสอื่น ๆ สามารถ “ดู” สตรีมเพื่อดูว่ามีเหตุการณ์ใดเกิดขึ้นเพื่อทริกเกอร์การกระทำที่ต้องดำเนินการหรือไม่
เรียนรู้วิธีที่ Lyft สื่อสารระหว่างไมโครเซอร์วิสหลายร้อยรายการแบบเรียลไทม์
Change Data Capture: สามารถสตรีมการเปลี่ยนแปลงทั้งหมดของข้อมูลในแอปพลิเคชันและฐานข้อมูลจำนวนมาก ไปยังระบบส่วนกลางของข้อมูลบันทึกได้แบบเรียลไทม์
เรียนรู้วิธีโหลดข้อมูลของ Change Data Capture จากฐานข้อมูลแบบเชิงสัมพันธ์
บริการสตรีมบน AWS มีอะไรบ้าง
AWS ให้ตัวเลือกมากมายในการทำงานกับ Data Stream แบบเรียลไทม์
- Amazon Kinesis Data Streams คือบริการ Data Stream แบบเรียลไทม์ที่มั่นคงและปรับขนาดได้ซึ่งสามารถบันทึกข้อมูลในระดับกิกะไบต์ต่อวินาทีอย่างต่อเนื่องจากแหล่งข้อมูลนับแสนแห่ง
- ภายในไม่กี่คลิก Amazon Kinesis Data Firehose สามารถรวบรวม แปลง และโหลด Data Stream ลงในที่จัดเก็บข้อมูล AWS สำหรับการวิเคราะห์แบบเกือบเรียลไทม์ซึ่งมีเครื่องมืออัจฉริยะทางธุรกิจอยู่แล้ว
- บริการที่มีการจัดการของ Amazon สำหรับ Apache Flink แปลงและวิเคราะห์ข้อมูลการสตรีมแบบเรียลไทม์ได้ โดยใช้ Apache Flink ซึ่งเป็นเฟรมเวิร์กแบบโอเพนซอร์สและกลไกสำหรับการประมวลผล Data Stream
- Amazon Managed Streaming for Apache Kafka เป็นบริการที่มีการจัดการเต็มรูปแบบที่ช่วยให้คุณสร้างและเรียกใช้แอปพลิเคชันที่ใช้ Apache Kafka ในการประมวลผลข้อมูลการสตรีมได้ง่ายยิ่งขึ้น
เริ่มต้นใช้งานการสตรีมข้อมูลแบบเรียลไทม์บน AWS โดยสร้างบัญชีวันนี้
ขั้นตอนต่อไปบน AWS
