ما المقصود بالمعالجة الدفعية؟
المعالجة الدفعية هي الطريقة التي تستخدمها أجهزة الكمبيوتر في إكمال مهام البيانات المتكررة ذات الحجم الكبير بصفة دورية. قد تكون بعض مهام معالجة البيانات، مثل عمليات النسخ الاحتياطي والتصفية والفرز، عملية حوسبة مكثفة وغير فعالة من حيث العمل على معاملات البيانات الفردية. وبدلاً من ذلك، تقوم أنظمة البيانات بمعالجة مثل هذه المهام في دفعات وفي الغالب في أوقات الذروة عندما تكون موارد الحوسبة متاحةً بشكل أكثر شيوعًا مثل نهاية اليوم أو بين عشية وضحاها. على سبيل المثال، فلنفترض وجود نظام تجارة إلكترونية يتلقى الطلبات على مدار اليوم. وبدلاً من معالجة كل طلب عند حدوثه، قد يجمع النظام جميع الطلبات في نهاية كل يوم ويشاركها في دفعة واحدة مع فريق تنفيذ الطلبات.
ما سبب أهمية المعالجة الدفعية؟
تستخدم المنظمات المعالجة الدفعية لأنها تتطلب الحد الأدنى من التفاعل البشري وتجعل المهام المتكررة أكثر كفاءةً في التشغيل. يمكنك إعداد دفعات من المهام التي تتكون من ملايين السجلات المطلوب العمل عليها معًا عندما تكون قدرة الحوسبة متاحةً بسهولة أكبر، ما يقلل الضغط على أنظمتك. تتطلب المعالجة الدفعية الحديثة أيضًا الحد الأدنى من الإشراف البشري أو الإدارة البشرية. إذا حدثت مشكلة، يقوم النظام تلقائيًا بإخطار الفريق المعني لحلها. يتخذ المديرون نهجًا غير مباشر، ويثقون في برمجيات المعالجة الدفعية الخاصة بهم للقيام بمهمتها. يلي ذلك المزيد من مزايا المعالجة الدفعية.
ما تاريخ المعالجة الدفعية؟
تعود المعالجة الدفعية إلى أكثر من قرن من الزمان، على الرغم من أن الجوانب الفنية لكيفية عملها قد تطورت باستمرار. يعود أول مثيل للمعالجة الدفعية إلى عام 1890، عندما تم استخدام جهاز جدولة إلكتروني لتسجيل المعلومات لمكتب تعداد الولايات المتحدة. قام عمال التعداد بتمييز بطاقات البيانات، تسمى البطاقات المثقبة، ومعالجتها على دفعات من خلال جهاز كهروميكانيكي. بحلول الستينيات، كان بإمكان المطورين جدولة البرامج الدفعية على شريط مغناطيسي لتشغيل أجهزة الكمبيوتر بالتسلسل طوال اليوم. أصبحت المهام الدفعية شائعةً أيضًا مع التحسن الذي طرأ على الكمبيوتر المركزي وبعد أن أصبح أكثر قوةً وكفاءةً. المؤسسات الحديثة تستخدم التطبيقات الدفعية المستندة إلى البرمجيات لعمليات الأعمال الشائعة مثل إنشاء التقارير أو طباعة المستندات أو تحديث المعلومات في نهاية اليوم.
ما الأمثلة على المهام التي تقوم المعالجة الدفعية بتشغيلها آليًا؟
تُستخدم أنظمة المعالجة الدفعية في معالجة أنواع مختلفة من البيانات والطلبات. تتضمن أنواع المعالجة الدفعية الأكثر شيوعًا ما يلي:
- الفواتير الأسبوعية/الشهرية
- كشف رواتب
- معالجة المخزون
- إنشاء التقارير
- تحويل البيانات
- دورات الاشتراك
- إنجاز سلسلة التوريد
ما بعض حالات استخدام أنظمة المعالجة الدفعية؟
توجد حالات استخدام متعددة لأنظمة المعالجة الدفعية. الأمثلة الأساسية كما يلي.
الخدمات المالية
تستخدم مؤسسات الخدمات المالية، بدايةً من التقنيات المالية المرنة إلى المؤسسات القديمة، المعالجة الدفعية في مجالات مثل الحوسبة عالية الأداء لإدارة المخاطر ومعالجة المعاملات في نهاية اليوم ومراقبة الاحتيال. تستخدم المعالجة الدفعية لتقليل الخطأ البشري وزيادة السرعة والدقة وتقليل التكاليف باستخدام الأتمتة.
البرنامج كخدمة
تواجه المؤسسات في الغالب التي تقدم تطبيقات البرمجيات كخدمة (SaaS) مشكلاتِ عندما يتعلق الأمر بقابلية التوسع. باستخدام المعالجة الدفعية، يمكنك توسعة نطاق طلب العملاء وفي الوقت نفسه جدولة المهام. إن إنشاء بيئات تطبيقات حاويات لتوسعة نطاق الطلب للمعالجة كبيرة الحجم هو مشروع قد يستغرق شهورًا أو حتى سنوات حتى يكتمل، ولكن أنظمة المعالجة الدفعية تساعدك في تحقيق نفس النتيجة في إطار زمني أقصر بكثير.
الأبحاث الطبية
يُعد تحليل كميات كبيرة من البيانات، أو البيانات الكبيرة، مطلبًا شائعًا في مجال البحث. يُمكنك تطبيق المعالجة الدفعية في تطبيقات تحليلات البيانات مثل الكيمياء الحوسبية، والنمذجة السريرية، والديناميكيات الجزيئية، واختبارات التسلسل الجينومي، والتحليل. على سبيل المثال، يستخدم العلماء المعالجة الدفعية في التقاط بيانات أفضل لبدء تصميم الدواء واكتساب فهم أعمق لدور معالجة بيوكيميائية معينة.
الوسائط الرقمية
تتطلب مؤسسات الوسائط والترفيه أنظمة معالجة دفعية قابلة للتوسع بدرجة كبيرة لمعالجة البيانات تلقائيًا، مثل الملفات والرسومات والمؤثرات البصرية، للحصول على محتوى فيديو عالي الدقة. يُمكنك استخدام المعالجة الدفعية في تسريع إنشاء المحتوى، وتوسعة نطاق تعبئة الوسائط ديناميكيًا، وأتمتة عبء عمل الوسائط.
ما كيفية عمل المعالجة الدفعية؟
بينما تختلف تطبيقات المعالجة الدفعية اعتمادًا على نوع المهمة التي يجب القيام بها، تظل أساسيات أي مهمة دفعية كما هي. يمكن للمستخدم تشغيل المهام الدفعية عن طريق تحديد التفاصيل التالية:
- اسم الشخص الذي قدم الوظيفة
- العمليات أو البرامج الدفعية التي تحتاج إلى تشغيل
- موقع إدخال البيانات في النظام
- موقع إخراج البيانات التي تمت معالجتها في النظام
- الوقت، أو الإطار الدفعي، عندما يجب تشغيل وظيفة دفعية
يحدد المستخدم أيضًا حجم الدُفعة، أو عدد وحدات العمل التي يحتاج النظام لمعالجتها في عملية دفعية واحدة كاملة. تتضمن بعض الأمثلة على حجم الدُفعة:
- عدد أسطر الملفات الدفعية لقراءتها وتخزينها في قاعدة البيانات
- عدد الرسائل المراد قراءتها ومعالجتها من قائمة انتظار
- عدد المعاملات المراد فرزها وإرسالها إلى التطبيق التالي
أثناء الإطار الدفعي، يستخدم نظام المعالجة الدفعية معلومات حجم الدُفعة لتخصيص الموارد اللازمة لتشغيل المهمة الدفعية بكفاءة. يمكن للأنظمة الحديثة تشغيل مئات الآلاف من المهام الدفعية في أماكن العمل أو في السحابة.
التبعيات
يمكن تشغيل مهام الوظائف الدفعية بالتتابع أو في وقت واحد. يمكن أن تختلف التسلسلات اعتمادًا على ما إذا تم إكمال مهمة سابقة بنجاح. أمثلة التبعيات تتضمن عميلًا يقدم طلبًا في متجر عبر الإنترنت أو يدفع فاتورةً. يمكن أيضًا إعداد التبعية لبدء دورة معالجة الوظيفة.
أوامر Cron
أمر Cron هو مهمة دفعية يتم تشغيلها بانتظام. يمكنك إعداد أنماط التكرار للوظائف الدفعية، على سبيل المثال، إعداد مهمة لفوترة الاشتراكات في نهاية كل شهر.
كيف يمكنك مراقبة المعالجة الدفعية؟
بينما تعمل أنظمة المعالجة الدفعية بأقل قدر من المدخلات من الموظفين، فإنها ما تزال بحاجة إلى بعض الإشراف. لمراقبة العمليات الدفعية، يمكنك إعداد التنبيهات، أو الاستثناءات، التي يتم إرسالها عندما تنجح المهمة الدفعية أو تفشل أو تنتهي من التشغيل.
الشاشات
تبحث الشاشات في العمليات الدفعية عن حالات غير طبيعية، مثل المهمة التي تستغرق وقتًا أطول مما ينبغي لإكمالها. وفي هذه الحالة، توقف المهمة التالية عن البدء ويبلغ الموظفين المعنيين بالاستثناء.
تحليل ما بعد المعالجة
يمكنك عرض سجل مهمة دفعية بعد معالجتها. تتضمن معظم العمليات الدفعية ملفات السجلات التي تسجل الرسائل أثناء تشغيل المهمة.
ما الفرق بين المعالجة الدفعية والمعالجة المتدفقة؟
بينما تقوم الأنظمة الدفعية بمعالجة كميات كبيرة من البيانات والطلبات بترتيب تسلسلي، تعمل المعالجة المتدفقة باستمرار على تحليل البيانات التي تتدفق عبر النظام أو بين الأجهزة. تقوم المعالجة المتدفقة بمراقبة البيانات في الوقت الفعلي وتمريرها باستمرار في الشبكة. يتطلب المزيد من قوة المعالجة لمراقبة الكميات الكبيرة من البيانات.
عندما يكون حجم البيانات التي يجري تدفقها غير معروف أو غير محدود، يمكن أن يكون تدفق البيانات أفضل من المعالجة الدفعية. ونتيجةً لذلك، تُستخدم المعالجة المتدفقة بشكل شائع في وظائف الأعمال مثل الأمن السيبراني، وإنترنت الأشياء (IoT)، وخدمات التسويق المخصصة، ومراقبة السجلات.
نظرًا لإمكاناتها التكميلية، نفذت بعض المؤسسات نظامًا مختلطًا يتضمن المعالجة الدفعية والمعالجة المتدفقة في عملياتها اليومية.
كيف تساعد AWS في المعالجة الدفعية؟
يمكنك توفير ما يصل إلى 90% على المعالجة الدفعية المُدارة بالكامل باستخدام AWS Batch. توفر AWS Batch ديناميكيًا الكمية والنوع الأمثل لموارد الحوسبة، مثل وحدة المعالجة المركزية (CPU) أو المثيلات المحسّنة للذاكرة، وتلغي الحاجة إلى تثبيت البنية الأساسية لنظام المعالجة الدفعية وإدارتها. يمكنك قضاء وقت أقل في إدارة البنية الأساسية، والمزيد من الوقت في تحليل النتائج وحل المشكلات.
يُمكنك أيضًا تشغيل أعباء العمل الدفعية على Amazon Elastic Compute Cloud (Amazon EC2) Spot Instances. مثيلات Amazon EC2 Spot هي سعة Amazon EC2 غير المستخدمة المتاحة بخصم يصل إلى 90% مقارنةً بأسعار مثيلات عند الطلب. تعد مثيلات Spot مثاليةً لتطبيقات المعالجة الدفعية لأنه يمكنك تشغيل أعباء العمل فائقة الحجم مع تحقيق وفورات كبيرة في التكاليف، أو يمكنك تسريع أعباء العمل عن طريق تشغيل مهام متوازية.
ابدأ استخدام المعالجة الدفعية عن طريق إنشاء حساب AWS.