إدارة عشرات إلى مليارات الكائنات على نطاق واسع مع S3 Batch Operations
تُعد S3 Batch Operations ميزة إدارة بيانات Simple Storage Service (Amazon S3) التي تتيح لك إدارة مليارات الكائنات على نطاق واسع ببضع نقرات فقط في وحدة التحكم بإدارة Simple Storage Service (Amazon S3) أو بطلب واحد لواجهة برمجة التطبيقات (API). وباستخدام هذه الميزة، يمكنك إجراء تغييرات على البيانات الوصفية للكائنات وخصائصها، أو تنفيذ مهام أخرى لإدارة التخزين، مثل نسخ أو تكرار الكائنات بين الحاويات، واستبدال مجموعات علامات الكائنات، وتعديل عناصر التحكم بالوصول، واسترداد الكائنات المؤرشفة من S3 Glacier، بدلًا من الانتظار لشهور حتى يتم تطوير تطبيقات مخصصة لإجراء هذه المهام.
S3 Batch Operations
S3 Batch Operations هو حل مُدار لتنفيذ إجراءات التخزين، مثل نسخ العناصر ووضع علامات عليها على نطاق واسع، سواء للمهام لمرة واحدة أو المكررة أو أعباء العمل المجمعة. يمكن لميزة S3 Batch Operations تنفيذ إجراءات عبر مليارات من العناصر ووحدات البيتابايت من البيانات من خلال طلب واحد. لإنجاز العمل في S3 Batch Operations، تقوم بإنشاء مهمة. تتكون المهمة من قائمة من العناصر، والإجراء المطلوب تنفيذه، ومجموعة المعلمات التي تحددها لهذا النوع من العمليات. يمكنك إنشاء العديد من المهام وتشغيلها في وقت واحد في S3 Batch Operations أو استخدام أولويات المهام حسب الحاجة لتحديد أسبقية كل مهمة والتأكد من أن العمل الأكثر أهمية يحدث أولاً. تدير S3 Batch Operations أيضًا عمليات إعادة المحاولة، وتتبع التقدم، وإرسال إشعارات الإكمال، وإنشاء التقارير، وتسليم الأحداث إلى AWS CloudTrail لجميع التغييرات التي تم إجراؤها والمهام المنفذة.
تكمل S3 Batch Operations أي بنية تعتمد على الأحداث التي قد تعمل عليها اليوم. بالنسبة للعناصر الجديدة، يعد استخدام أحداث S3 ودالات Lambda رائعًا لتحويل أنواع الملفات، وإنشاء صور مصغرة، وإجراء عمليات مسح للبيانات، وتنفيذ عمليات أخرى. على سبيل المثال، يستخدم العملاء أحداث S3 ودالات Lambda لإنشاء إصدارات أصغر حجمًا ومنخفضة الدقة من الصور الأولية عندما يتم تحميل الصور لأول مرة إلى S3. تكمل S3 Batch Operations عمليات سير العمل الحالية القائمة على الأحداث من خلال توفير آلية بسيطة لأداء نفس الإجراءات عبر العناصر الموجودة لديك أيضًا.
طريقة العمل: S3 Batch Operations
لإنجاز العمل في S3 Batch Operations، تقوم بإنشاء مهمة. تتكون المهمة من قائمة من العناصر، والإجراء المطلوب تنفيذه، ومجموعة المعلمات التي تحددها لهذا النوع من العمليات. يمكنك إنشاء العديد من المهام وتشغيلها في وقت واحد في S3 Batch Operations أو استخدام أولويات المهام حسب الحاجة لتحديد أسبقية كل مهمة والتأكد من أن العمل الأكثر أهمية يحدث أولاً. تدير S3 Batch Operations أيضًا عمليات إعادة المحاولة، وتتبع التقدم، وإرسال إشعارات الإكمال، وإنشاء التقارير، وتسليم الأحداث إلى AWS CloudTrail لجميع التغييرات التي تم إجراؤها والمهام المنفذة.
برنامج تعليمي حول S3 Batch Operations
العملاء
تأسست Teespring في عام 2011، وتمكن المستخدمين من إنشاء وبيع منتجات مخصصة عند الطلب عبر الإنترنت. نظرًا لأن كل قطعة من البضائع المخصصة تتطلب أصولاً متعددة داخل Teespring، فإنها تخزن وحدات بيتابايت من البيانات في Amazon S3.
"ساعدتنا Amazon S3 Batch Operations في تحسين التخزين لدينا من خلال الاستفادة من فئة التخزين Glacier من Amazon S3. استخدمنا بيانات تعريف التخزين الخاصة بنا لإنشاء مجموعات من العناصر التي يمكننا نقلها إلى Amazon S3 Glacier. باستخدام Amazon S3 Glacier، وفرنا أكثر من 80% من تكاليف التخزين لدينا. نحن نبحث دائمًا عن فرص لأتمتة إدارة التخزين، ومع S3 Batch Operations، يمكننا إدارة ملايين العناصر خلال دقائق."
جيمس برادي، نائب رئيس الإدارة الهندسية - Teespring
يعد Capital One بنكًا تأسس عند تلاقي التمويل والتقنية، ويمثل إحدى أكثر العلامات التجارية الأمريكية شهرة.
استعان Capital One بميزة Amazon S3 Batch Operations لنسخ البيانات بين منطقتي AWS لزيادة تكرار بياناتهما وتوحيد بصمة بياناتهما بين هذين الموقعين.
"باستخدام Amazon S3 Batch Operations، أنشأنا مهمة لنسخ ملايين العناصر في ساعات، وهو عمل كان يستغرق عادةً شهورًا لإكماله. استخدمنا تقرير مخزون Amazon S3، الذي قدم قائمة بالعناصر الموجودة في الحاوية لدينا، كمدخلات في مهمة Amazon S3 Batch Operations. كان Amazon S3 مفيدًا في نسخ البيانات، وتوفير تحديثات التقدم، وتقديم تقرير التدقيق عندما اكتملت المهمة. وفر امتلاك هذه الميزة على فريقنا أسابيع من الجهد اليدوي، وحول نقل البيانات على نطاق واسع إلى أمر أشبه بالروتين."
فرانز زيمن، نائب رئيس إدارة الهندسة البرمجية في بنك Capital One
تعمل ePlus، الشريك الاستشاري المتقدم في AWS، مع العملاء لتحسين بيئات تقنية المعلومات الخاصة بهم، وتستخدم حلولاً مثل S3 Batch Operations لتوفير الوقت والمال للعملاء.
"إن ميزة S3 Batch Operations مذهلة حقًا. لم تساعد هذه الميزة أحد عملائنا في تقليل الوقت والتعقيد والعمل الشاق، المتمثل في الاضطرار إلى جمع مجموعة كبيرة من S3 Operations وجدولة المهام ثم معالجة المعلومات بطريقة بسيطة لاستخدام لوحة المعلومات فقط، بل ساعدت أيضًا في معالجة حالات الاستخدام العسيرة التي لا أعتقد أننا كنا سنتمكن من معالجتها في جزء بسيط من الوقت الذي استغرقته S3 Batch Operations.
على سبيل المثال، قامت S3 Batch Operations بعمل سريع لنسخ أكثر من 2 مليون عنصر عبر المناطق داخل نفس الحساب مع الحفاظ على بيانات التعريف دون مساس. عمل الحل بسلاسة في أداء مهام مماثلة عبر الحسابات، وأبرزها، أسفر عن تقرير إكمال قام بفرز وفصل العمليات الناجحة تلقائيًا مقابل العمليات الفاشلة بين 400 مليون عنصر، مما سمح بمعالجة أبسط للعمليات الفاشلة في ملف واحد."
دافيد لين، Senior Solutions Architect & AWS Certified Professional - ePlus
منشورات مدونة S3 Batch Operations
مدونة أخبار AWS
Amazon S3 Batch Operations
يمكن استخدام Amazon S3 Batch Operations لمعالجة مئات العناصر من S3 أو الملايين أو المليارات منها بطريقة بسيطة ومباشرة. يمكنك نسخ العناصر إلى حاوية أخرى، أو تعيين علامات أو قوائم التحكم بالوصول (ACL)، أو بدء الاستعادة من S3 Glacier، أو استدعاء دالة AWS Lambda على كل منها.
مدونة تخزين AWS
تشفير العناصر باستخدام S3 Batch Operations
يوضح هذا المنشور كيفية إنشاء قائمة بالعناصر، والتصفية لتضمين العناصر غير المشفرة فقط، وإعداد الأذونات، وتنفيذ مهمة S3 Batch Operations لتشفير العناصر. يعد تشفير العناصر الحالية واحدة من بين عدة طرق يمكنك من خلالها استخدام S3 Batch Operations لإدارة عناصر Amazon S3 لديك.
مدونة تخزين AWS
تحويل ترميز ملفات الفيديو باستخدام S3 Batch Operations
يستعرض هذا المنشور كيفية استخدام S3 Batch Operations لتشغيل مهمة تحويل ترميز الفيديو باستخدام AWS Lambda، إما من الفيديو المخزن في S3 أو الفيديو الذي يتطلب استعادة من Amazon S3 Glacier.
تعرَّف على كيفية بدء الاستخدام وأداء أفضل الممارسات.
