ما المقصود بتدفق البيانات في الوقت الفعلي؟
يتضمن تدفق البيانات في الوقت الفعلي جمع واستيعاب سلسلة من البيانات من مصادر البيانات المختلفة ومعالجة تلك البيانات في الوقت الفعلي لاستخراج المعنى والرؤى.
الأمثلة على بيانات التدفق هي ملفات السجلات التي ينشئها العملاء باستخدام تطبيقاتك للأجهزة المحمولة أو الويب، ومشتريات التجارة الإلكترونية، ونشاط اللاعب داخل اللعبة، والمعلومات الواردة من شبكات التواصل الاجتماعي، وطبقات التداول المالي، أو خدمات الجغرافيا المساحية والقياس عن بُعد من الأجهزة المتصلة، أو استخدام الأدوات في مراكز البيانات.
يتيح لك تدفق البيانات في الوقت الفعلي تحليل البيانات ومعالجتها في الوقت الفعلي بدلاً من الانتظار لساعات أو أيام أو أسابيع للحصول على إجابات.
ما مكونات تدفق البيانات في الوقت الفعلي؟
المصدر: ما يصل إلى مئات وآلاف الأجهزة أو التطبيقات التي تنتج كميات كبيرة من البيانات المستمرة بسرعة عالية. ومن الأمثلة على ذلك الأجهزة المحمولة وتطبيقات الويب (مسار النقر) وسجلات التطبيقات وأجهزة استشعار إنترنت الأشياء والأجهزة الذكية وتطبيقات الألعاب.
استيعاب التدفق: تكامل بسيط مع أكثر من 15 خدمة AWS (بوابة Amazon API، و AWS IoT Core، و Amazon Cloudwatch، والمزيد) من شأنه أن يمكّنك من تسجيل البيانات المستمرة التي يتم إنتاجها من آلاف الأجهزة بطريقة دائمة وآمنة.
تخزين التدفق: اختر حلاً يلبي احتياجات التخزين الخاصة بك استنادًا إلى متطلبات التوسع ووقت الاستجابة والمعالجة، مثل تدفق بيانات Amazon Kinesis وAmazon Kinesis Data Firehose وAmazon Managed Streaming for Apache Kafka (Amazon MSK).
معالجة التدفق: اختر من بين مجموعة من الخدمات التي تتراوح من الحلول التي تتطلب بضع نقرات فقط لتحويل البيانات وتسليمها باستمرار إلى وجهة مثل Amazon Kinesis Data Firehose، وإلى التطبيقات القوية والمصممة خصيصًا في الوقت الفعلي وتكامل تعلّم الآلة باستخدام خدمات مثل خدمة Amazon المُدارة لـ Apache Flink وAWS Lambda.
الوجهة: يتم تسليم البيانات المتدفقة إلى مجموعة مختارة من خدمات التحليلات ومستودعات البيانات ومخازن البيانات المتكاملة تمامًا ولمزيد من التحليل أو التخزين طويل الأجل، مثل Amazon S3 وAmazon Redshift وAmazon OpenSearch Service وAmazon EMR.
ما حالات استخدام تدفق البيانات في الوقت الفعلي؟
نقل البيانات في الوقت الفعلي
إن تدفق البيانات من مئات الآلاف من الأجهزة وإجراء تحويلات الاستخراج والانتقال والتحميل (ETL) على كميات كبيرة من البيانات المستمرة عالية السرعة في الوقت الفعلي يتيح للمستخدمين تحليل البيانات بمجرد إنتاجها، ثم تخزين البيانات بشكل دائم في مخزن البيانات أو مستودع البيانات أو قاعدة البيانات لإجراء مزيد من التحليل.
تعرف على كيفية تعامل WalkMe مع تحديات التسلسل أثناء تدفق البيانات إلى مخزن البيانات
تحليل في الوقت الفعلي
يمكنك تحليل البيانات بمجرد إنتاجها وتمكين القرارات في الوقت الفعلي عبر المؤسسة للاستفادة من الفرص أو تحسين تجارب العملاء أو منع أعطال الشبكات أو تحديث مقاييس الأعمال بالغة الأهمية في الوقت الفعلي.
السجلات: تسجيل السجلات ومعالجتها وتحليلها من تطبيقاتك في الوقت الفعلي.
اقرأ عن كيفية تحليل سلوك المستخدم في الوقت الفعلي
تعرف على كيفية تحليل وتصور حركة مرور شبكة السحابة الافتراضية الخاصة لديك
تعرف على كيفية إدارة سجلات خادم Microsoft Exchange المركزية
تحديثات في الوقت الفعلي: المشاركة مع المستهلكين واللاعبين والمتداولين الماليين والمزيد من خلال توفير تحديثات في الوقت الفعلي لمقاييس اتخاذ القرارات المهمة وتقديم التوصيات وتجارب العملاء.
تعرف على كيفية استخدام تحليلات الألعاب في الوقت الفعلي لإسعاد اللاعبين لديك
تعرف على كيفية تقديم الأخبار الشائعة والمخصصة في الوقت الفعلي
مسار النقر: احصل على نظرة على أداء محتوى الويب وتفاعُل المستخدم مع التطبيقات والمواقع الإلكترونية في الوقت الفعلي، بما في ذلك سلوك المستخدم ومقدار الوقت المستغرق والمحتوى الشائع وغير ذلك الكثير.
إنترنت الأشياء: يمكنك الاتصال بمئات الآلاف من أجهزة إنترنت الأشياء وجمع البيانات المتدفقة ومعالجتها وتحليلها في الوقت الفعلي.
معالجة تدفق الأحداث
يمكنك تسجيل الأحداث والاستجابة لها فور حدوثها في الوقت الفعلي عبر تطبيقات متعددة. حالات الاستخدام الأكثر شيوعًا هي الاتصال بين مئات الخدمات المصغرة المنفصلة والحفاظ على نظام التسجيل عبر "Change Data Capture".
الاتصال بين الخدمات المصغرة المنفصلة: عند تشغيل أي خدمة مصغرة، يمكن إرسال حدث إلى تدفق البيانات في الوقت الفعلي، ويمكن للخدمات المصغرة الأخرى "مشاهدة" التدفق لمعرفة وقوع أي حدث لتشغيل الإجراء المطلوب من عدمه.
تعرف على كيفية اتصال Lyft بين مئات الخدمات المصغرة في الوقت الفعلي
Change Data Capture: يمكن تدفق جميع التغييرات على البيانات عبر العديد من التطبيقات وقواعد البيانات إلى نظام سجل مركزي في الوقت الفعلي.
تعرف على كيفية تحميل بيانات Change Data Capture من قواعد البيانات العلائقية
تعرف على كيفية تدفق برنامج Change Data Capture في الوقت الفعلي
ما خدمات التدفق الموجودة على AWS؟
توفر AWS العديد من الخيارات للعمل مع تدفق البيانات في الوقت الفعلي.
- تدفق بيانات Amazon Kinesis هي خدمة تدفق للبيانات قابلة للتوسع وشديدة التحمل في الوقت الفعلي، ويمكنها أن تُسجل باستمرار عدة جيجابايت من البيانات في الثانية من مئات الآلاف من المصادر.
- تقوم Amazon Kinesis Data Firehose بتسجيل تدفق البيانات وتحويلها وتحميلها إلى مخازن بيانات AWS لإجراء تحليلات في الوقت الفعلي تقريبًا باستخدام الأدوات الحالية لذكاء الأعمال من خلال بضع نقرات فقط.
- تقوم خدمة Amazon المُدارة لـ Apache Flink بتحويل تدفق البيانات وتحليلها في الوقت الفعلي باستخدام Apache Flink، وهو إطار عمل مفتوح المصدر ومحرك لمعالجة تدفقات البيانات.
- Amazon Managed Streaming for Apache Kafka هي خدمة مُدارة بالكامل تسهل لك إنشاء وتشغيل التطبيقات التي تستخدم Apache Kafka لمعالجة تدفق البيانات.
ابدأ العمل مع تدفق البيانات في الوقت الفعلي على AWS من خلال إنشاء حساب اليوم.
