عام

س: ما هي خدمة Amazon المُدارة لـ Apache Flink؟
من خلال خدمة Amazon المُدارة لـ Apache Flink، يمكنك تحويل بيانات البث وتحليلها في الوقت الفعلي باستخدام Apache Flink. Apache Flink هو إطار مفتوح المصدر ومحرك لمعالجة تدفقات البيانات. تقلل خدمة Amazon المُدارة لـ Apache Flink من تعقيد إنشاء تطبيقات Apache Flink وإدارتها ودمجها مع خدمات AWS الأخرى.
 
تهتم خدمة Amazon المُدارة لـ Apache Flink بكل ما هو مطلوب لتشغيل تطبيقات البث المستمر والتحجيم تلقائيًا لتتناسب مع حجم ومعدل نقل بياناتك الواردة. مع خدمة Amazon المُدارة لـ Apache Flink، لا توجد خوادم لإدارتها، ولا يوجد حد أدنى للرسوم أو تكلفة للإعداد، إنما تدفع فقط مقابل الموارد التي تستهلكها تطبيقات البث الخاصة بك.
 
س: ما هي معالجة البث في الوقت الفعلي ولماذا أحتاج إليها؟
تستوعب الشركات البيانات بشكل أسرع من أي وقت مضى بسبب النمو الهائل لمصادر البيانات في الوقت الفعلي. سواء كنت تتعامل مع بيانات السجل من تطبيقات الهاتف المحمول والويب، أو بيانات الشراء من منصات التجارة الإلكترونية، أو بيانات الاستشعار من أجهزة إنترنت الأشياء (IoT)، فإن استيعاب البيانات في الوقت الفعلي يساعدك على معرفة ما يفعله عملاؤك ومؤسستك وأعمالك في الوقت الحالي.
 
س: ماذا يمكنني أن أفعل باستخدام خدمة Amazon المُدارة لـ Apache Flink؟
يمكنك استخدام خدمة Amazon المُدارة لـ Apache Flink للعديد من حالات الاستخدام لمعالجة البيانات باستمرار، والحصول على رؤى في ثوانٍ أو دقائق بدلاً من أيام الانتظار أو حتى أسابيع. تتيح لك خدمة Amazon المُدارة لـ Apache Flink إنشاء تطبيقات شاملة لمعالجة البث بسرعة لتحليلات السجلات وتحليلات تدفق النقر وإنترنت الأشياء (IoT) وتكنولوجيا الإعلانات والألعاب والمزيد. حالات الاستخدام الأربع الأكثر شيوعًا هي تدفق الاستخراج، والانتقال، والتحميل (ETL) في البث، وتوليد المقاييس المستمر، والتحليلات سريعة الاستجابة في الوقت الفعلي، والاستعلام التفاعلي عن تدفقات البيانات.
 
بث محتوى الاستخراج والتحويل والتحميل (ETL)
من خلال تطبيقات الاستخراج والتحويل والتحميل (ETL) في البث، يمكنك تنظيف البيانات الأولية وإثرائها وتنظيمها وتحويلها قبل تحميل مخزن البيانات أو مستودع البيانات في الوقت الفعلي، مما يقلل أو يلغي خطوات الاستخراج والتحويل والتحميل (ETL) المجمعة. يمكن لهذه التطبيقات تخزين السجلات الصغيرة في ملفات أكبر قبل التسليم وإجراء عمليات ربط معقدة عبر التدفقات والجداول. على سبيل المثال، يمكنك إنشاء تطبيق يقرأ باستمرار بيانات مستشعر إنترنت الأشياء (IoT) المخزنة في Amazon Managed Streaming for Apache Kafka‏ (Amazon MSK)، وتنظيم البيانات حسب نوع المستشعر، وإزالة البيانات المكررة، وتطبيع البيانات وفقًا لمخطط محدد، ثم تسليم البيانات إلى خدمة التخزين البسيطة في Amazon‏ (Amazon S3).
 
إنشاء مستمر للمقاييس
باستخدام تطبيقات الإنشاء المستمر للمقاييس، يمكنك مراقبة كيفية اتجاه بياناتك وفهمها بمرور الوقت. يمكن لتطبيقاتك تجميع بيانات البث في معلومات مهمة ودمجها بسلاسة مع قواعد بيانات التقارير وخدمات المراقبة لخدمة تطبيقاتك والمستخدمين في الوقت الفعلي. باستخدام خدمة Amazon المُدارة لـ Apache Flink، يمكنك استخدام كود Apache Flink (في Java أو Scala أو Python أو SQL) لإنشاء تحليلات السلاسل الزمنية باستمرار عبر النوافذ الزمنية. على سبيل المثال، يمكنك إنشاء لوحة متصدرين حية للعبة محمولة عن طريق حساب أفضل اللاعبين كل دقيقة ثم إرسالها إلى Amazon DynamoDB. يمكنك أيضًا تتبع حركة المرور إلى موقع الويب الخاص بك عن طريق حساب عدد زوار الموقع الفريدين كل 5 دقائق ثم إرسال النتائج المعالجة إلى Amazon Redshift.
 
تحليلات سريعة الاستجابة في الوقت الفعلي
ترسل تطبيقات التحليلات سريعة الاستجابة في الوقت الفعلي إنذارات أو إشعارات في الوقت الفعلي عندما تصل مقاييس معينة إلى حدود محددة مسبقًا أو، في الحالات الأكثر تقدمًا، عندما يكتشف تطبيقك حالات شاذة باستخدام خوارزميات تعلّم الآلة (ML). باستخدام هذه التطبيقات، يمكنك الاستجابة فورًا للتغييرات في عملك في الوقت الفعلي مثل توقع التخلي عن المستخدم في تطبيقات الأجهزة المحمولة وتحديد الأنظمة المتدهورة. على سبيل المثال، يمكن للتطبيق حساب مدى توافر أو معدل نجاح واجهة برمجة التطبيقات التي تواجه العملاء بمرور الوقت ثم إرسال النتائج إلى Amazon CloudWatch. يمكنك إنشاء تطبيق آخر للبحث عن الأحداث التي تلبي معايير معينة، ثم إخطار العملاء المناسبين تلقائيًا باستخدام تدفق بيانات Amazon Kinesis وخدمة الإشعارات البسيطة في Amazon (Amazon SNS).
 
التحليل التفاعلي لتدفقات البيانات
يساعدك التحليل التفاعلي على استكشاف البيانات في الوقت الفعلي. باستخدام الاستعلامات أو البرامج المخصصة، يمكنك فحص التدفقات من Amazon MSK أو تدفقات بيانات Amazon Kinesis وتصور كيف تبدو البيانات داخل تلك التدفقات. على سبيل المثال، يمكنك عرض كيفية تصرف مقياس الوقت الفعلي الذي يحسب المتوسط عبر نافذة زمنية وإرسال البيانات المجمعة إلى وجهة من اختيارك. يساعد التحليل التفاعلي أيضًا في التطوير التكراري لتطبيقات معالجة التدفق. يتم تحديث الاستعلامات التي تقوم بإنشائها باستمرار عند وصول البيانات الجديدة. باستخدام Studio خدمة Amazon المُدارة لـ Apache Flink، يمكنك نشر هذه الاستعلامات للتشغيل باستمرار مع تمكين التحجيم التلقائي والنسخ الاحتياطية الدائمة للحالة. 
 

بدء الاستخدام

س: كيف يمكنني البدء في استخدام تطبيقات Apache Flink لخدمة Amazon المُدارة لـ Apache Flink؟
سجل الدخول إلى خدمة Amazon المُدارة لـ Apache Flink وأنشئ تطبيقًا جديدًا لمعالجة البث. يمكنك أيضًا استخدام AWS CLI وحزم AWS SDK. بمجرد إنشاء تطبيق، انتقل إلى بيئة التطوير المتكاملة المفضلة لديك، واتصل بـ AWS، وقم بتثبيت مكتبات Apache Flink مفتوحة المصدر ومجموعات AWS SDK باللغة التي تختارها. Apache Flink هو إطار عمل مفتوح المصدر ومحرك لمعالجة تدفقات البيانات وحزم AWS SDK. تشمل المكتبات القابلة للتوسعة أكثر من 25 مشغلًا لمعالجة التدفق تم إنشاؤها مسبقًا، مثل النوافذ والمجموع، وعمليات تكامل خدمات AWS مثل Amazon MSK وتدفق بيانات Amazon Kinesis وAmazon DynamoDB وAmazon Kinesis Data Firehose. بمجرد الإنشاء، قم بتحميل تعليماتك البرمجية إلى خدمة Amazon المُدارة لـ Apache Flink. تهتم الخدمة بكل ما هو مطلوب لتشغيل تطبيقاتك في الوقت الفعلي، بما في ذلك التحجيم تلقائيًا لتتناسب مع حجم ومعدل النقل للبيانات الواردة. 
 
س: كيف يمكنني البدء في استخدام تطبيقات Apache Beam لخدمة Amazon المُدارة لـ Apache Flink؟
إن استخدام Apache Beam لإنشاء تطبيق خدمة Amazon المُدارة لـ Apache Flink يشبه إلى حد كبير بدء استخدام Apache Flink. يمكنك اتباع التعليمات الواردة في السؤال أعلاه. تأكد من تثبيت أي مكونات ضرورية لتشغيل التطبيقات على Apache Beam، باتباع الإرشادات الواردة في دليل المطور. لاحظ أن خدمة Amazon المُدارة لـ Apache Flink تدعم Java SDK فقط عند التشغيل على Apache Beam. 
 
س: كيف يمكنني البدء في استخدام Studio خدمة Amazon المُدارة لـ Apache Flink؟
يمكنك البدء من وحدة تحكم خدمة Amazon المُدارة لـ Apache Flink وإنشاء دفتر ملاحظات Studio جديد. بمجرد بدء تشغيل دفتر الملاحظات، يمكنك فتحه في Apache Zeppelin لكتابة التعليمات البرمجية على الفور بلغات SQL أو Python أو Scala. يمكنك تطوير التطبيقات بشكل تفاعلي باستخدام واجهة دفتر الملاحظات لتدفق بيانات Amazon Kinesis و Amazon MSK و Amazon S3 باستخدام عمليات الدمج المضمنة والمصادر والوجهات الأخرى المدعومة من Apache Flink مع موصلات مخصصة. يمكنك استخدام جميع العوامل التي يدعمها Apache Flink في Flink SQL وواجهة برمجة تطبيقات الجدول لإجراء استعلام مخصص عن تدفق البيانات وتطوير تطبيق معالجة التدفق الخاص بك. بمجرد أن تصبح جاهزًا، يمكنك إنشاء تعليماتك البرمجية وترقيتها إلى تطبيق معالجة التدفق قيد التشغيل باستمرار مع التحجيم التلقائي والحالة الدائمة في بضع خطوات. 
 
س: ما هي حدود خدمة Amazon المُدارة لـ Apache Flink؟
تعمل خدمة Amazon المُدارة لـ Apache Flink على توسيع نطاق تطبيقك بشكل مرن لاستيعاب معدل نقل البيانات لتدفق المصدر وتعقيد الاستعلام الخاص بك لمعظم السيناريوهات. للحصول على معلومات تفصيلية حول حدود الخدمة لتطبيقات Apache Flink، تفضل بزيارة قسم الحدود في دليل مطوري خدمة Amazon المُدارة لـ Apache Flink. 
 
س: هل تدعم خدمة Amazon المُدارة لـ Apache Flink تسجيل المخطط؟
نعم، باستخدام موصلات Apache Flink DataStream، يمكن لخدمة Amazon المُدارة لـ Apache Flink استخدام سجل مخطط AWS Glue، وهي ميزة بلا خادم في AWS Glue. يمكنك دمج تدفقات بيانات Apache Kafka وAmazon MSK وتدفق بيانات Amazon Kinesis، باعتبارها مخزن أو مصدر، مع عبء العمل لخدمة Amazon المُدارة لـ Apache Flink. تفضل بزيارة دليل مطور سجل مخطط AWS Glue للبدء ومعرفة المزيد. 

المفاهيم الأساسية

س: ما هي خدمة Amazon المُدارة لـ Apache Flink؟
التطبيق هو خدمة Amazon المُدارة لـ Apache Flink للكيان الذي تعمل معه. تقوم خدمة Amazon المُدارة لتطبيقات Apache Flink بقراءة بيانات البث ومعالجتها باستمرار في الوقت الفعلي. يمكنك كتابة كود التطبيق بلغة مدعومة من Apache Flink لمعالجة بيانات البث الواردة وإنتاج المخرجات. بعد ذلك، تقوم خدمة Amazon المُدارة لـ Apache Flink بكتابة المخرجات إلى وجهة تم إعدادها.
 
يتكون كل تطبيق من ثلاثة مكونات أساسية:
 
  1. الإدخال: الإدخال هو مصدر التدفق لتطبيقك. في تكوين الإدخال، يمكنك تعيين مصادر التدفق إلى تدفقات البيانات. تتدفق البيانات من مصادر البيانات الخاصة بك إلى تدفقات البيانات الخاصة بك. يمكنك معالجة البيانات من تدفقات البيانات هذه باستخدام رمز التطبيق الخاص بك، وإرسال البيانات المعالجة إلى تدفقات البيانات أو الوجهات اللاحقة. يمكنك إضافة مدخلات داخل كود التطبيق لتطبيقات Apache Flink ودفاتر Studio ومن خلال واجهة برمجة التطبيقات لخدمة Amazon المُدارة لـ Apache Flink. 
  2. كود التطبيق: كود التطبيق عبارة عن سلسلة من مشغلي Apache Flink التي تعالج المدخلات وتنتج المخرجات. يمكن أن يكون كود التطبيق، في أبسط أشكاله، عبارة عن مشغل Apache Flink واحد يقرأ من تدفق البيانات المرتبط بمصدر البث ويكتب إلى تدفق بيانات آخر مرتبط بالمخرجات. أما دفتر ملاحظات Studio، فيمكن أن يكون هذا استعلامًا بسيطًا لتحديد Flink SQL، مع عرض النتائج في السياق داخل دفتر الملاحظات. يمكنك كتابة كود Apache Flink بلغاته المدعومة لخدمة Amazon المُدارة لـ Apache Flink أو دفاتر ملاحظات Studio.
  3. الإخراج : يمكنك بعد ذلك تكوين مخرجات التطبيق اختياريًا للاحتفاظ بالبيانات في وجهة خارجية. يمكنك إضافة هذه المخرجات داخل كود التطبيق لخدمة Amazon المُدارة لـ Apache Flink ودفاتر ملاحظات Studio. 

س: ما رمز التطبيق المدعوم؟

تدعم خدمة Amazon المُدارة لـ Apache Flink التطبيقات التي تم إنشاؤها باستخدام لغات Java و Scala و Python مع مكتبات Apache Flink مفتوحة المصدر وتعليماتك البرمجية المخصصة. كما تدعم خدمة Amazon المُدارة لـ Apache Flink أيضًا التطبيقات التي تم إنشاؤها باستخدام لغة Java مع مكتبات Apache Beam مفتوحة المصدر ورمز عميلك. تدعم خدمة Amazon المُدارة لـ Apache Flink Studio التعليمات البرمجية التي تم إنشاؤها باستخدام لغات SQL وPython وScala المتوافقة مع Apache Flink.

إدارة التطبيقات

س: كيف يمكنني مراقبة عمليات وأداء تطبيقات خدمة Amazon المُدارة لـ Apache Flink؟
توفر AWS العديد من الأدوات التي يمكنك استخدامها لمراقبة خدمة Amazon المُدارة لـ Apache Flink بما في ذلك الوصول إلى لوحة معلومات Flink لتطبيقات Apache Flink. يمكنك تهيئة إعدادات بعض هذه الأدوات للقيام بالمراقبة نيابة عنك. لمزيد من المعلومات حول كيفية مراقبة تطبيقك، راجع أدلة المطور التالية: 
 

س: كيف يمكنني إدارة الوصول والتحكم فيه إلى تطبيقات خدمة Amazon المُدارة لـ Apache Flink؟

تحتاج خدمة Amazon المُدارة لـ Apache Flink إلى أذونات لقراءة السجلات من مصادر بيانات البث التي تحددها في تطبيقك. تحتاج خدمة Amazon المُدارة لـ Apache Flink أيضًا إلى أذونات لكتابة مخرجات التطبيق إلى وجهات محددة في إعدادات مخرجات تطبيقك. يمكنك منح هذه الأذونات من خلال إنشاء أدوار AWS لإدارة الهوية والوصول (IAM) التي يمكن أن تتولاها خدمة Amazon المُدارة لـ Apache Flink. تحدد الأذونات التي تمنحها لهذا الدور ما يمكن أن تفعله خدمة Amazon المُدارة لـ Apache Flink عندما تتولى الخدمة الدور. لمزيد من المعلومات، راجع دليل مطوّري AWS WAF:

س: كيف تقوم خدمة Amazon المُدارة لـ Apache Flink بتحجيم نطاق تطبيقي؟

تعمل خدمة Amazon المُدارة لـ Apache Flink على توسيع نطاق تطبيقك بشكل مرن لاستيعاب معدل نقل البيانات لتدفق المصدر وتعقيد الاستعلام الخاص بك لمعظم السيناريوهات. توفر خدمة Amazon المُدارة لـ Apache Flink السعة في شكل وحدات KPU من Amazon. توفر لك وحدة KPU الواحدة وحدة vCPU وذاكرة 4 جيجابايت. 

بالنسبة لتطبيقات Apache Flink ودفاتر ملاحظات Studio، تقوم خدمة Amazon المُدارة لـ Apache Flink بتخصيص 50 جيجابايت من مساحة تخزين التطبيقات قيد التشغيل لكل وحدة KPU يستخدمها تطبيقك لنقاط المراقبة وهي متاحة لك لاستخدامها من خلال القرص المؤقت. نقطة المراقبة هي نسخة احتياطية محدثة من تطبيق قيد التشغيل تُستخدم للتعافي فورًا من تعطل التطبيق. يمكنك أيضًا التحكم في التنفيذ الموازي لخدمة Amazon المُدارة لـ Apache Flink (مثل القراءة من مصدر أو تنفيذ عامل تشغيل) باستخدام معلمات Parallelism و ParallelismPerKPU في واجهة برمجة التطبيقات. يحدد التوازي عدد المثيلات المتزامنة للمهمة. تعمل جميع العوامل والمصادر والمخازن بتوازي محدد افتراضيًا. يحدد التوازي لكل KPU مقدار عدد المهام المتوازية التي يمكن جدولتها لكل KPU لتطبيقك افتراضيًا. لمزيد من المعلومات، راجع التحجيم في دليل مطوري خدمة Amazon المُدارة لـ Apache Flink. 
 
س: ما هي أفضل الممارسات المرتبطة ببناء وإدارة خدمة Amazon المُدارة الخاصة بي لتطبيقات Apache Flink؟
للحصول على معلومات حول أفضل الممارسات لـ Apache Flink، راجع قسم أفضل الممارسات في دليل مطوري خدمة Amazon المُدارة لـ Apache Flink. يتناول القسم أفضل الممارسات لتحمل الأخطاء والأداء والتسجيل والترميز والمزيد. 
 
للحصول على معلومات حول أفضل الممارسات لخدمة Amazon المُدارة لـ Apache Flink Studio، راجع قسم أفضل الممارسات في دليل مطوري خدمة Amazon المُدارة لـ Apache Flink Studio. بالإضافة إلى أفضل الممارسات، يتناول هذا القسم عينات من تطبيقات SQL و Python و Scala ومتطلبات نشر تعليماتك البرمجية باعتباره تطبيق معالجة التدفق المستمر والأداء والتسجيل والمزيد.
 
س: هل يمكنني الوصول إلى الموارد الموجودة خلف Amazon VPC باستخدام خدمة Amazon المُدارة لـ Apache Flink؟
نعم. يمكنك الوصول إلى الموارد الموجودة خلف Amazon VPC. يمكنك معرفة كيفية تهيئة إعدادات تطبيقك للوصول إلى VPC في قسم استخدام Amazon VPC من دليل مطوري خدمة Amazon المُدارة لـ Apache Flink.
 
س: هل يمكن لخدمة Amazon المُدارة لـ Apache Flink واحدة الوصول إلى العديد من VPC؟
لا. في حالة تحديد شبكات فرعية متعددة، يجب أن تكون جميعها في نفس VPC. يمكنك الاتصال بـ VPCs الأخرى من خلال النظر إلى VPCs الخاصة بك.
 
س: هل يمكن لتطبيق خدمة Amazon المُدارة لـ Apache Flink المتصل بـ VPC الوصول إلى الإنترنت ونقاط النهاية لخدمة AWS؟
لا تتمتع لتطبيقات خدمة Amazon المُدارة لـ Apache Flink ودفاتر ملاحظات Studio لخدمة Amazon المُدارة لـ Apache Flink التي تم تهيئة إعداداتها للوصول إلى الموارد في VPC معين بإمكانية الوصول إلى الإنترنت باعتبارها إعدادات افتراضية. يمكنك معرفة كيفية تهيئة إعدادات الوصول إلى الإنترنت لتطبيقك في قسم الوصول إلى الإنترنت والخدمة من دليل مطوري خدمة Amazon المُدارة لـ Apache Flink.

التسعير والفوترة

س: كم تبلغ تكلفة خدمة Amazon المُدارة لـ Apache Flink؟
مع خدمة Amazon المُدارة لـ Apache Flink، تدفع فقط مقابل ما تستخدمه. لا تتوافر موارد لكي يتم توفيرها أو تكاليف يتم دفعها مقدمًا فيما يتعلق بخدمة Amazon المُدارة لـ Apache Flink . 

تُحصل منك رسوم بالساعة بناءً على عدد وحدات Amazon KPUs المستخدمة لتشغيل تطبيق البث الخاص بك. وحدة KPU الواحدة عبارة عن وحدة لسعة معالجة التدفق تتكون من وحدة vCPU واحدة للحوسبة و4 جيجابايت من الذاكرة. تقوم خدمة Amazon المُدارة لـ Apache Flink بتحجيم عدد وحدات KPU اللازمة من خلال تطبيق معالجة التدفق لديك حيث إن متطلبات الذاكرة والحوسبة تختلف استجابةً لتعقيد المعالجة ومخرجات بيانات البث التي تتم معالجتها. 
 
بالنسبة لتطبيقي Apache Flink وApache Beam، تدفع رسوم وحدة KPU واحدة إضافية لكل تطبيق من أجل التكوين والتنسيق والإدارة المؤتمتة للتطبيقات. كما تُفرض تكلفة على تطبيقي Apache Flink وApache Beam لإدارة تخزين التطبيقات وعمليات النسخ الاحتياطي الدائمة للتطبيقات. يُستخدم تخزين التطبيقات قيد التشغيل لإمكانات معالجة الحالة في خدمة Amazon المُدارة لـ Apache Flink، ويتم دفع التكلفة بالجيجابايت في الشهر. عمليات النسخ الاحتياطي الدائمة للتطبيقات اختيارية، ويتم احتساب تكلفتها بالجيجابايت في الشهر، وتوفر نقطة لاسترجاع التطبيقات في وقت محدد. 
 
بالنسبة لخدمة Amazon المُدارة لـ Apache Flink Studio، في وضع التطوير أو الوضع التفاعلي، ستتم محاسبتك على وحدة KPU إضافية للتكوين والتنسيق والإدارة المؤتمتة للتطبيقات ووحدة KPU واحدة للتطوير التفاعلي. يتم محاسبتك أيضًا على تشغيل تخزين التطبيقات. لا يتم محاسبتك على النسخ الاحتياطية الدائمة للتطبيق.
 
لمزيد من معلومات التسعير، راجع صفحة تسعير خدمة Amazon المُدارة لـ Apache Flink.
 
س: هل تُحصل رسوم مني مقابل تطبيق خدمة Amazon المُدارة لـ Apache Flink الذي يكون قيد التشغيل ولكن لا يعالج أي بيانات من المصدر؟
بالنسبة لتطبيقات Apache Flink و Apache Beam، يتم تحصيل رسوم لا تقل عن 2 وحدة KPU ومساحة تخزين للتطبيقات قيد التشغيل تبلغ 50 جيجابايت إذا كانت خدمة Amazon المُدارة لـ Apache Flink قيد التشغيل.
 
بالنسبة لدفاتر ملاحظات Studio لخدمة Amazon المُدارة لـ Apache Flink، يتم تحصيل ما لا يقل عن 3 وحدات KPU و 50 جيجابايت من مساحة تخزين التطبيقات قيد التشغيل إذا كان تطبيقك قيد التشغيل.
 
س: بخلاف تكاليف خدمة Amazon المُدارة لـ Apache Flink، هل توجد أي تكاليف أخرى قد أتحملها؟
خدمة Amazon المُدارة لـ Apache Flink هي حل معالجة التدفق المُدار بالكامل، وهو مستقل عن مصدر التدفق الذي تقرأ البيانات منه والوجهات التي تكتب البيانات المعالجة إليها. ستتم محاسبتك بشكل مستقل عن الخدمات التي تقرأ منها وتكتب إليها في تطبيقك.
 
س: هل تتوفر خدمة Amazon المُدارة لـ Apache Flink في الطبقة المجانية من AWS؟
لا. لا تتوفر خدمة Amazon المُدارة لـ Apache Flink حاليًا في الطبقة المجانية من AWS.

تأليف كود التطبيق للتطبيقات التي تستخدم Apache Flink في IDE الخاص بك

س: ما المقصود بـ Apache Flink؟
Apache Flink هو إطار ومحرك مفتوح المصدر لمعالجة البيانات المتدفقة والدفعات. إنه يسهل إنشاء تطبيقات البث لأنه يوفر مشغلات قوية ويحل مشكلات البث الأساسية مثل المعالجة المكررة. يوفر Apache Flink توزيع البيانات والاتصال وتحمل الأخطاء للحسابات الموزعة عبر تدفقات البيانات.
 
س: كيف يمكنني تطوير التطبيقات؟
يمكنك البدء بتنزيل المكتبات المفتوحة المصدر، بما في ذلك AWS SDK، وApache Flink، والموصلات لخدمات AWS. احصل على إرشادات حول كيفية تنزيل المكتبات وإنشاء تطبيقك الأول في دليل مطوري خدمة Amazon المُدارة لـ Apache Flink.
 
س: كيف يبدو رمز التطبيق الخاص بي؟
تكتب تعليمات برمجية لتطبيق Apache Flink الخاص بك باستخدام تدفقات البيانات ومشغلي التدفق. تدفقات بيانات التطبيق هي بنية البيانات التي تعالجها باستخدام رمز التطبيق الخاص بك. تتدفق البيانات باستمرار من المصادر إلى تدفقات بيانات التطبيق. يتم استخدام عامل بث واحد أو أكثر لتعريف المعالجة الخاصة بك على تدفقات بيانات التطبيق، بما في ذلك التحويل والتقسيم والتجميع والانضمام والنافذة. يمكن توصيل تدفقات البيانات والمشغلين في سلاسل تسلسلية ومتوازية. يتم عرض مثال قصير باستخدام رمز زائف أدناه. 
DataStream <GameEvent> rawEvents = env.addSource(
 New KinesisStreamSource(“input_events”));
DataStream <UserPerLevel> gameStream =
 rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId, 
   event.gameMetadata.levelId,event.userId));
gameStream.keyBy(event -> event.gameId)
            .keyBy(1)
            .window(TumblingProcessingTimeWindows.of(Time.minutes(1)))
            .apply(...) - > {...};
gameStream.addSink(new KinesisStreamSink("myGameStateStream"));
س: كيف يمكنني استخدام مشغلي Apache Flink؟
يأخذ المشغلون تدفق بيانات التطبيق باعتباره مدخلات ويرسلون البيانات المعالجة إلى تدفق بيانات التطبيق في شكل مخرجات. يمكن توصيل المشغلين لإنشاء تطبيقات بخطوات متعددة ولا يحتاجون إلى معرفة متقدمة بالأنظمة الموزعة للتنفيذ والتشغيل.
 
س: ما هي المشغلات المدعومة؟
تدعم خدمة Amazon المُدارة لـ Apache Flink جميع المشغلين من Apache Flink الذين يمكن استخدامهم لحل مجموعة متنوعة من حالات الاستخدام بما في ذلك الخريطة و KeyBy والتجميعات والنوافذ والانضمام وغيرها المزيد. على سبيل المثال، يسمح لك مشغل الخريطة بإجراء معالجة عشوائية، مع أخذ عنصر واحد من تدفق بيانات وارد وإنتاج عنصر آخر. يقوم KeyBy بتنظيم البيانات منطقيًا باستخدام مفتاح محدد بحيث يمكنك معالجة نقاط البيانات المتشابهة معًا. تقوم التجميعات بالمعالجة عبر مفاتيح متعددة مثل المجموع والحد الأدنى والحد الأقصى. ينضم Window Join إلى تدفقين للبيانات معًا على مفتاح ونافذة معينين. 

يمكنك إنشاء عوامل تشغيل مخصصة إذا كانت هذه المشغلات لا تلبي احتياجاتك. ابحث عن المزيد من الأمثلة في قسم المشغلين في دليل مطوري خدمة Amazon المُدارة لـ Apache Flink. يمكنك العثور على قائمة كاملة لمشغلي Apache Flink في وثائق Apache Flink. 
 
س: ما هي عمليات الدمج المدعومة في خدمة Amazon المُدارة لـ Apache Flink؟
يمكنك إعداد عمليات تكامل تم إنشاؤها مسبقًا مقدمة من Apache Flink مع الحد الأدنى من التعليمات البرمجية أو إنشاء التكامل الخاص بك للاتصال بأي مصدر بيانات تقريبًا. تدعم المكتبات مفتوحة المصدر القائمة على Apache Flink مصادر البث والوجهات، أو المخازن، لمعالجة تسليم البيانات. يتضمن هذا أيضًا دعم إثراء البيانات من خلال موصلات الإدخال/الإخراج غير المتزامنة. تتضمن بعض هذه الموصلات ما يلي:
 
  • مصادر بيانات البث: Amazon Managed Streaming for Apache Kafka (Amazon MSK) أو وجهات تدفق بيانات Amazon Kinesis أو المخازن: تدفقات بيانات Amazon Kinesis
  • Amazon Kinesis Data Firehose وAmazon DynamoDB وخدمة Amazon Elasticsearch وAmazon S3 (من خلال عمليات دمج مخزن الملفات)

س: هل يمكن لتطبيقات خدمة Amazon المُدارة لـ Apache Flink نسخ البيانات عبر التدفقات والموضوعات؟

نعم. يمكنك استخدام تطبيقات خدمة Amazon المُدارة لـ Apache Flink لتكرار البيانات بين تدفقات بيانات Amazon Kinesis وAmazon MSK والأنظمة الأخرى. يوضح المثال المقدم في وثائقنا كيفية القراءة من أحد موضوعات Amazon MSK والكتابة إلى موضوع آخر.
 
س: هل عمليات الدمج المخصصة مدعومة؟
يمكنك إضافة مصدر أو وجهة إلى تطبيقك من خلال البناء على مجموعة من العناصر الأولية التي تمكنك من القراءة والكتابة من الملفات أو الأدلة أو المنافذ أو أي شيء يمكنك الوصول إليه عبر الإنترنت. يوفر Apache Flink هذه العناصر الأولية لمصادر البيانات ومخازن البيانات. تأتي العناصر الأولية مع إعدادات مثل القدرة على قراءة البيانات وكتابتها بشكل مستمر أو مرة واحدة، بشكل غير متزامن أو متزامن، وأكثر من ذلك بكثير. على سبيل المثال، يمكنك إعداد تطبيق للقراءة باستمرار من Amazon S3 من خلال توسيع تكامل المصدر الحالي المستند إلى الملفات.
 
س: ما نموذج التسليم والمعالجة الذي توفره تطبيقات خدمة Amazon المُدارة لـ Apache Flink؟
تستخدم تطبيقات Apache Flink في خدمة Amazon المُدارة لـ Apache Flink نموذج التسليم مرة واحدة بالضبط إذا تم إنشاء تطبيق باستخدام عوامل تشغيل ضعيفة، بما في ذلك المصادر والمخازن. هذا يعني أن البيانات المعالجة تؤثر على النتائج النهائية مرة واحدة ومرة واحدة فقط.
 
افتراضيًا، تستخدم تطبيقات خدمة Amazon المُدارة لـ Apache Flink دلالات Apache Flink مرة واحدة بالضبط. يدعم تطبيقك دلالات المعالجة مرة واحدة بالضبط إذا قمت بتصميم تطبيقاتك باستخدام المصادر والمشغلين والمخازن التي تستخدم دلالات Apache Flink لمرة واحدة بالضبط
 
س: هل يمكنني الوصول إلى التخزين المحلي من تخزين التطبيق الخاص بي؟
نعم. توفر تطبيقات خدمة Amazon المُدارة لـ Apache Flink لتطبيقك 50 جيجابايت من مساحة تخزين التطبيقات قيد التشغيل لكل وحدة KPU. تعمل خدمة Amazon المُدارة لـ Apache Flink على تحجيم نطاق التخزين مع التطبيق الخاص بك. يتم استخدام تخزين التطبيق قيد التشغيل لحفظ حالة التطبيق باستخدام نقاط المراقبة. يمكن أيضًا الوصول إلى رمز التطبيق الخاص بك لاستخدامه كقرص مؤقت لتخزين البيانات مؤقتًا أو لأي غرض آخر. يمكن لخدمة Amazon المُدارة لـ Apache Flink إزالة البيانات من تخزين التطبيقات قيد التشغيل غير المحفوظ من خلال نقاط المراقبة (مثل المشغلين والمصادر والمخازن) في أي وقت. يتم تشفير جميع البيانات المخزنة في تخزين التطبيقات قيد التشغيل في حالة السكون.
 
س: كيف تقوم خدمة Amazon المُدارة لـ Apache Flink بعمل نسخة احتياطية من تطبيقي تلقائيًا؟
تقوم خدمة Amazon المُدارة لـ Apache Flink تلقائيًا بعمل نسخة احتياطية من حالة التطبيق قيد التشغيل باستخدام نقاط المراقبة واللقطات. تقوم نقاط المراقبة بحفظ حالة التطبيق الحالية وتمكين خدمة Amazon المُدارة لـ Apache Flink لتطبيقات Apache Flink من استعادة موضع التطبيق لتوفير نفس الدلالات مثل التنفيذ الخالي من الفشل. تستخدم نقاط المراقبة تخزين التطبيقات قيد التشغيل. يتم توفير نقاط المراقبة لتطبيقات Apache Flink من خلال وظيفة التدقيق في Apache Flink. تحفظ اللقطات نقطة استرداد في الوقت المناسب للتطبيقات وتستخدم النسخ الاحتياطية الدائمة للتطبيقات. اللقطات مماثلة لنقاط حفظ Flink.
 
س: ما هي لقطات التطبيق؟
باستخدام اللقطات، يمكنك إنشاء التطبيق واستعادته إلى نقطة زمنية سابقة. يمكنك الحفاظ على حالة التطبيق السابقة واستعادة تطبيقك في أي وقت بسبب ذلك. يمكنك التحكم في عدد اللقطات التي لديك في أي وقت، من صفر إلى آلاف اللقطات. تستخدم اللقطات نسخًا احتياطية دائمة للتطبيق وتقوم خدمة Amazon المُدارة لـ Apache Flink بفرض رسوم عليك بناءً على حجمها. تقوم خدمة Amazon المُدارة لـ Apache Flink بتشفير البيانات المحفوظة في اللقطات افتراضيًا. يمكنك حذف اللقطات الفردية من خلال API أو جميع اللقطات عن طريق حذف تطبيقك.
 
س: ما هي إصدارات Apache Flink المدعومة؟
لمعرفة المزيد حول إصدارات Apache Flink المدعومة، تفضل بزيارة صفحة ملاحظات إصدار خدمة Amazon المُدارة لـ Apache Flink. تتضمن هذه الصفحة أيضًا إصدارات حزم تطوير البرامج الخاصة بـ Apache Beam وJava وScala وPython وAWS التي تدعمها خدمة Amazon المُدارة لـ Apache Flink. 
 
س: هل يمكن لتطبيقات خدمة Amazon المُدارة لـ Apache Flink تشغيل Apache Beam؟
نعم، تدعم خدمة Amazon المُدارة لـ Apache Flink تطبيقات البث التي تم إنشاؤها باستخدام Apache Beam. يمكنك إنشاء تطبيقات بث Apache Beam في Java وتشغيلها في محركات وخدمات مختلفة بما في ذلك استخدام Apache Flink على خدمة Amazon المُدارة لـ Apache Flink. يمكنك العثور على معلومات تتعلق بإصدارات Apache Flink و Apache Beam المدعومة في دليل مطوري خدمة Amazon المُدارة لـ Apache Flink. 

س: كيف يمكنني تطوير تطبيق Studio؟
يمكنك البدء من خدمة Amazon المُدارة لـ Apache Flink Studio أو تدفق بيانات Amazon Kinesis أو وحدات تحكم Amazon MSK في بضع خطوات لإطلاق دفتر ملاحظات بلا خادم للاستعلام الفوري عن تدفقات البيانات وإجراء تحليلات البيانات التفاعلية.
 
تحليلات البيانات التفاعلية: يمكنك كتابة التعليمات البرمجية في دفتر الملاحظات بلغات SQL أو Python أو Scala للتفاعل مع بيانات البث الخاصة بك، مع انخفاض أوقات الرد على الاستفسارات إلى ثوانٍ. يمكنك استخدام تصورات مدمجة لاستكشاف البيانات وعرض الرؤى في الوقت الفعلي حول بيانات البث الخاصة بك من داخل دفتر ملاحظاتك وتطوير تطبيقات معالجة البث المدعومة من Apache Flink.

بمجرد أن تصبح التعليمات البرمجية جاهزة للتشغيل في شكل تطبيق إنتاج، يمكنك الانتقال بخطوة واحدة إلى تطبيق معالجة البث الذي يعالج بيانات بالجيجابايت في الثانية، بدون خوادم.

تطبيق معالجة البث: بمجرد أن تصبح جاهزًا لترقية تعليماتك البرمجية إلى الإنتاج، يمكنك إنشاء تعليماتك البرمجية عن طريق النقر فوق «النشر كتطبيق لمعالجة البث» في واجهة دفتر الملاحظات أو إصدار أمر واحد في CLI. يعتني Studio بجميع جوانب إدارة البنية التحتية اللازمة لتشغيل تطبيق معالجة البث الخاص بك على نطاق واسع، مع تمكين التحجيم التلقائي والحالة الدائمة، تمامًا كما هو الحال في خدمة Amazon المُدارة لـ Apache Flink.

س: كيف يبدو رمز التطبيق الخاص بي؟
يمكنك كتابة التعليمات البرمجية في دفتر الملاحظات بلغتك المفضلة مثل SQL أو Python أو Scala باستخدام واجهة برمجة تطبيقات جدول Apache Flink. واجهة برمجة تطبيقات الجدول هي واجهة برمجة تطبيقات تجريدية وارتباطية عالية المستوى تدعم مجموعة فائقة من إمكانيات SQL. وهي تقدم عمليات مألوفة، مثل التحديد والتصفية والانضمام والتجميع وما إلى ذلك، إلى جانب المفاهيم الخاصة بالتدفق، مثل إنشاء النوافذ. يمكنك استخدام % لتحديد اللغة التي سيتم استخدامها في مقطع من دفتر الملاحظات ويمكنك التبديل بين اللغات. خدمة المترجم الفوري هي من ملحقات Apache Zeppelin، بحيث يمكنك تحديد لغة أو محرك معالجة بيانات لكل قسم من دفتر الملاحظات. يمكنك أيضًا إنشاء وظائف محددة من قبل المستخدم والإشارة إليها لتحسين وظائف التعليمات البرمجية.

س: ما هي عمليات SQL المدعومة؟
يمكنك تنفيذ عمليات SQL التالية:

  • المسح والتصفية (SELECT, WHERE) 
  • التجميعات (GROUP BY, GROUP BY WINDOW, HAVING) 
  • المجموعة (UNION, UNIONALL, INTERSECT, IN, EXISTS) 
  • الترتيب (ORDER BY, LIMIT) 
  • الصلات (INNER, OUTER، الإطار الزمني - BETWEEN, AND، الانضمام بالجداول الزمنية - الجداول التي تتعقب التغييرات بمرور الوقت)
  • Top-N
  • إلغاء تكرار البيانات
  • التعرف على الأنماط 

بعض هذه الاستعلامات، مثل GROUP BY و OUTER JOIN و Top-N، هي نتائج يتم تحديثها لبيانات البث، مما يعني أن النتائج تُحدث باستمرار أثناء معالجة بيانات البث. يتم أيضًا دعم عبارات DDL الأخرى، مثل CREATE و ALTER و DROP. للحصول على قائمة كاملة بالاستعلامات والنماذج، راجع وثائق Apache Flink Queries.

س: كيف يتم دعم Python وScala؟

تدعم واجهة برمجة تطبيقات جدول Apache Flink Python و Scala من خلال تكامل اللغة باستخدام سلاسل Python وتعبيرات Scala. تتشابه العمليات المدعومة إلى حد كبير مع عمليات SQL المدعومة، بما في ذلك التحديد والترتيب والتجميع والانضمام والتصفية ووضع النوافذ. يتم تضمين قائمة كاملة بالعمليات والعينات في دليل المطور الخاص بنا.

س: ما هي إصدارات Apache Flink وApache Zeppelin المدعومة؟

لمعرفة المزيد حول إصدارات Apache Flink المدعومة، تفضل بزيارة صفحة ملاحظات إصدار خدمة Amazon المُدارة لـ Apache Flink. تتضمن هذه الصفحة أيضًا إصدارات حزم تطوير البرامج الخاصة بـ Apache Zeppelin وApache Beam وJava وScala وPython وAWS التي تدعمها خدمة Amazon المُدارة لـ Apache Flink.

س: ما هي عمليات الدمج المدعومة افتراضيًا في تطبيق Studio خدمة Amazon المُدارة لـ Apache Flink؟

  • مصادر البيانات: Amazon Managed Streaming for Apache Kafka (Amazon MSK)، تدفقات بيانات Amazon Kinesis، Amazon S3 
  • الوجهات أو المخازن: Amazon MSK، تدفق بيانات Amazon Kinesis، وAmazon S3

س: هل عمليات الدمج المخصصة مدعومة؟
يمكنك تهيئة إعدادات عمليات تكامل إضافية ببضع خطوات وخطوط أخرى من كود Apache Flink (Python أو Scala أو Java) لتحديد الاتصالات مع جميع عمليات الدمج المدعومة من Apache Flink. ويشمل ذلك وجهات مثل Amazon OpenSearch Service، وAmazon ElastiCache for Redis، وAmazon Aurora، وAmazon Redshift، وAmazon DynamoDB، وAmazon Keyspaces، وغيرها المزيد. يمكنك إرفاق الملفات التنفيذية لهذه الموصلات المخصصة عند إنشاء أو تهيئة إعدادات تطبيق Studio خدمة Amazon المُدارة لـ Apache Flink.

اتفاقية مستوى الخدمة

س: ما الذي تضمنه اتفاقية مستوى الخدمة (SLA) لخدمة Amazon المُدارة لـ Apache Flink؟

تضمن اتفاقية مستوى الخدمة (SLA) الخاصة بنا نسبة تشغيل شهرية لا تقل عن 99.9٪ لخدمة Amazon المُدارة لـ Apache Flink.

س: كيف أعرف ما إذا كنت مؤهلًا للحصول على رصيد خدمة في اتفاقية مستوى الخدمة (SLA)؟

أنت مؤهل للحصول على رصيد خدمة SLA لخدمة Amazon المُدارة لـ Apache Flink ضمن اتفاقية مستوى الخدمة لخدمة Amazon المُدارة لـ Apache Flink SLA إذا كانت نسبة وقت التشغيل الشهري في أكثر من منطقة توافر واحدة تقوم بتشغيل مهمة فيها، داخل نفس منطقة AWS، أقل من 99.9% خلال أي دورة فواتير شهرية. للحصول على تفاصيل كاملة حول جميع شروط وأحكام اتفاقية مستوى الخدمة بالإضافة إلى تفاصيل حول كيفية تقديم مطالبة، تفضل بزيارة صفحة تفاصيل خدمة Amazon المُدارة لـ Apache Flink SLA.

بدء استخدام تحليلات بيانات Amazon Kinesis

انتقل إلى صفحة تسعير تحليلات بيانات Kinesis
احسب تكاليفك

انتقل إلى صفحة تسعير تحليلات بيانات Amazon Kinesis.

Read the documentation
راجِع دليل بدء الاستخدام

تعرَّف على كيفية استخدام تحليلات بيانات Amazon Kinesis في دليل الاستخدام الذي يشمل خطوات مفصّلة لأي من SQL أو Apache Flink.

ابدأ الإنشاء في وحدة التحكم
ابدأ تطوير تطبيقات التدفق

طوِّر تطبيق التدفق الخاص بك من وحدة تحكم تحليلات بيانات Amazon Kinesis.