عملاء Amazon FSx for Lustre

تأسست Adobe منذ 40 عامًا على فكرة بسيطة تتمثل في إنشاء منتجات مبتكرة تغير العالم، وتقدم Adobe تقنية رائدة تمكن الجميع في كل مكان من تخيل وإنشاء وإحياء أي تجربة رقمية.

التحدي: بدلاً من الاعتماد على نماذج مفتوحة المصدر، قررت Adobe تدريب نماذج التأسيس المدعومة بالذكاء الاصطناعي والمُصمَّمة لحالات الاستخدام الإبداعي.

الحل: أنشأت Adobe طريقًا سريعًا للذكاء الاصطناعي على AWS لبناء منصة تدريب للذكاء الاصطناعي وخطوط بيانات لتكرار النماذج بسرعة. قامت Adobe ببناء حلها باستخدام مثيلات Amazon Elastic Compute Cloud (Amazon EC2) P5 وP4d المدعومة بوحدات معالجة الرسومات NVIDIA GPUs، وخدمة Amazon Elastic Kubernetes (Amazon EKS)، ومتجر Amazon Elastic Block Store (Amazon EBS)، ومحول Elastic Fabric Adapter (EFA). استخدمت Adobe أيضًا خدمة Amazon Simple Storage Service (Amazon S3) لتكون بمثابة بحيرة بيانات ومستودع أساسي لمجموعة كبيرة من البيانات. Adobe استخدمت تخزين الملفات عالي الأداء من أجل Amazon FSx for Lustre، للوصول السريع إلى البيانات وللتأكد من عدم ترك موارد GPU خاملة أبدًا.

تهدف LG AI Research وخبراء الذكاء الاصطناعي الرائدين عالميًا إلى قيادة الحقبة التالية من الذكاء الاصطناعي لتحقيق المستقبل الواعد معك من خلال توفير بيئة بحث مثالية والاستفادة من أحدث تقنيات الذكاء الاصطناعي.

التحدي: احتاجت LG AI Research إلى نشر نموذج التأسيس الخاص بها، EXAONE، للإنتاج في عام واحد. EXAONE، الذي يرمز إلى «الذكاء الاصطناعي الخبير للجميع»، هو نموذج متعدد الوسائط يضم 300 مليار معلمة يستخدم كلاً من الصور والبيانات النصية.

الحل: استخدمت LG AI Research خدمة Amazon SageMaker لتدريب نموذج الأساس واسع النطاق الخاص بها وAmazon FSx for Lustre لتوزيع البيانات في مثيلات لتسريع التدريب على النماذج. احتاجت LG AI Research إلى نشر نموذج الأساس الخاص بها، EXAONE، للإنتاج في عام واحد. نجحت LG AI Research في نشر EXAONE في عام واحد، وخفضت التكاليف بنسبة 35 بالمائة تقريبًا من خلال القضاء على الحاجة إلى فريق منفصل لإدارة البنية التحتية.

Paige هي المزود الرائد للتحول الرقمي في علم الأمراض، حيث تقدم حلاً واسع النطاق ومدعمًا بالذكاء الاصطناعي ومستندًا إلى الويب يجلب الكفاءة والثقة لتشخيص السرطان.

التحدي: وصلت حلول Paige الداخلية إلى الحد الأقصى. كان هدفهم تدريب نماذج الذكاء الاصطناعي وتعلم الآلة للمساعدة في أمراض السرطان. اكتشفت Paige أنه كلما زادت سعة الحوسبة لديهم، زادت سرعة تدريب نماذجهم والمساعدة في حل مشكلات التشخيص.

الحل: لتشغيل أعباء عمل تدريب ML، اختارت Paige مثيلات Amazon EC2 p4d، المدعومة بوحدات معالجة الرسومات NVIDIA A100 Tensor Core، والتي توفر أداءً عاليًا لتدريب ML وتطبيقات HPC في السحابة. تستخدم Paige‏ خدمة Amazon FSx for Lustre، وهي وحدة تخزين مشتركة مُدارة بالكامل مبنية على نظام ملفات شائع عالي الأداء. قامت الشركة بتوصيل هذه الخدمة ببعض حاويات Amazon S3 الخاصة بها، والتي تساعد فرق التطوير الخاصة بها على معالجة البيتابايت من بيانات إدخال ML دون الحاجة إلى إعداد البيانات مسبقًا يدويًا على أنظمة الملفات عالية الأداء. تتمثل نتيجة حل AWS في أن Paige يمكنها تدريب 10 أضعاف كمية البيانات المحلية باستخدام بنية AWS الأساسية لتعلم الآلة.  شهدت Paige أيضًا تدفقات عمل داخلية أسرع بنسبة 72٪ مع Amazon EC2 وAmazon FSx for Lustre. 

Toyota Research Institute يختار FSx for Lustre لتقليل أوقات التدريب على تعلّم الآلة للتعرف على الأشياء.

يقوم Toyota Research Institute (TRI) بجمع ومعالجة كميات كبيرة من بيانات أجهزة الاستشعار من محركات اختبار المركبات ذاتية القيادة (AV). يتم تنظيم كل مجموعة بيانات تدريبية في جهاز NAS محلي ونقلها إلى خدمة التخزين البسيطة في Amazon (Amazon S3) قبل المعالجة على كتلة حوسبة وحدة معالجة رسومات (GPU) قوية. احتاجت TRI إلى نظام ملفات عالي الأداء للاقتران مع موارد الحوسبة الخاصة بها، وتسريع التدريب على تعلّم الآلة (ML)، وتسريع الرؤى لعلماء البيانات لديها..

تقدم Shell مجموعة ديناميكية من خيارات الطاقة - من النفط والغاز والبتروكيماويات إلى طاقة الرياح والطاقة الشمسية والهيدروجين - تفخر Shell بتوفير الطاقة التي يحتاجها عملاؤها لدعم حياتهم. 

التحدي: تعتمد Shell على الحوسبة عالية الأداء (HPC) لبناء النماذج والاختبار والتحقق من الصحة. من عام 2020 إلى عام 2022، بلغ متوسط استخدام وحدة معالجة الرسوميات (GPU) أقل من 90٪، ما أدى إلى تأخير المشروع والقيود المفروضة على تجارب الخوارزميات الجديدة.

الحل: تعمل Shell على زيادة قدرات الحوسبة المحلية عن طريق الانتقال إلى السحابة باستخدام مجموعات Amazon EC2 وAmazon FSx for Lustre. يمنح هذا الحل شركة Shell القدرة على التوسع السريع والتحجيم، وشراء سعة حوسبة إضافية فقط عند الحاجة. يتم الآن استخدام وحدات معالجة الرسومات (GPU) الخاصة بشركة Shell بالكامل لتقليل تكلفة الحوسبة وتسريع اختبار نماذج تعلم الآلة.

تعد Storengy، وهي شركة تابعة لمجموعة ENGIE، المورد الرئيسي للغاز الطبيعي. تقدم الشركة تخزين الغاز وحلول الطاقة الحرارية الأرضية وإنتاج الطاقة الخالية من الكربون وتقنيات التخزين للمؤسسات في جميع أنحاء العالم.

لضمان تخزين منتجاتها بشكل صحيح، تستخدم Storengy أجهزة محاكاة عالية التقنية لتقييم تخزين الغاز تحت الأرض، وهي عملية تتطلب استخدامًا مكثفًا لأعباء عمل الحوسبة عالية الأداء (HPC). تستخدم الشركة أيضًا تقنية HPC لتشغيل وظائف اكتشاف الغاز الطبيعي واستكشافه.

تستفيد Smartronix من FSx for Lustre لتقديم أداء عالٍ يمكن الاعتماد عليه لعمليات نشر SAS Grid الخاصة بها.

توفر Smartronix الحلول السحابية والأمان السيبراني وتكامل الأنظمة وC5ISR في جميع أنحاء العالم وتحليلات البيانات والهندسة التي تركز على المهام للعديد من المنظمات التجارية والفيدرالية الرائدة في العالم. اعتمدت Smartronix على SAS Grid لتحليل وتقديم إحصاءات كوفيد اليومية على مستوى الولاية، ووجدت أن نظام الملفات الموازي المُدار ذاتيًا يصعب إدارته وحمايته.

Netflix هي خدمة بث تقدم مجموعة متنوعة من البرامج التلفزيونية والأفلام والأنيمي والأفلام الوثائقية الحائزة على جوائز والمزيد.

التحدي: تستخدم Netflix تدريبًا موزعًا واسع النطاق لنماذج تعلم الآلة للوسائط والصور المصغرة لمرحلة ما بعد الإنتاج والمؤثرات البصرية وإنشاء المقاطع الدعائية لآلاف مقاطع الفيديو وملايين المقاطع. كانت Netflix تعاني من فترات انتظار طويلة بسبب النسخ المتماثل عبر العُقَدِ ووقت خمول وحدة معالجة الرسومات بنسبة 40%.

الحل: قامت Netflix بإعادة تصميم مسار تحميل البيانات وتحسين كفاءته من خلال الحوسبة المسبقة لجميع مقاطع الفيديو/الصوت. اختارت Netflix أيضًا Amazon Ultraclusters (مثيلات EC2 p4d) لتسريع أداء الحوسبة. أداء Amazon FSx for Lustre يمكّن شركة Netflix من تشبع وحدات معالجة الرسومات، والقضاء فعليًا على وقت خمول وحدة معالجة الرسومات. تشهد Netflix الآن تحسنًا بمعدل 3-4 أضعاف باستخدام الحوسبة المسبقة وFSx for Lustre، ما يقلل وقت تدريب النماذج من أسبوع إلى يوم أو يومين.

اشتهرت شركة Hyundai Motor كشركة مصنعة للسيارات معترف بها عالميًا وتُصدِّر سياراتها بعلامتها التجارية إلى أكثر من 200 دولة.

التحدي: إحدى الخوارزميات المستخدمة غالبًا في القيادة الذاتية هي التجزئة الدلالية، وهي مهمة للتعليق على كل بكسل من الصورة بفئة كائن. يمكن أن تكون هذه الفصول هي الطريق، والشخص، والسيارة، والبناء، والنباتات، والسماء، وما إلى ذلك. تختبر Hyundai الدقة وتجمع صورًا إضافية لتصحيح الأداء التنبؤي غير الكافي في مواقف محددة. ومع ذلك، قد يمثل هذا تحديًا، حيث لا يوجد غالبًا وقت كافٍ لإعداد جميع البيانات الجديدة مع ترك الوقت الكافي لتدريب النموذج والوفاء بالمواعيد النهائية المجدولة.

الحل: اختارت Hyundai‏ خدمة Amazon SageMaker لأتمتة تدريب النماذج، ومكتبة Amazon SageMaker لتوازي البيانات، وذلك للانتقال من وحدة معالجة الرسومات الفردية إلى التدريب الموزع. لقد اختاروا Amazon FSx for Lustre لتدريب النماذج دون انتظار نسخ البيانات. كما اختاروا Amazon S3 لمخزن بياناتهم الدائم. حققت Hyundai كفاءة توسيع تصل إلى 93٪ من خلال 8 مثيلات لوحدة معالجة الرسومات، أو 64 وحدة معالجة رسومات إجمالاً. خدمة FSx for Lustre مكّنت شركة Hyundai من تشغيل وظائف تدريبية وتجارب متعددة مقابل نفس البيانات دون أي وقت انتظار.

إن Rivian في مهمة لإبقاء العالم مغامرًا إلى الأبد. نعتقد أن هناك طريقة أكثر مسؤولية لاستكشاف العالم ونحن مصممون على جعل الانتقال إلى النقل المستدام أمرًا مثيرًا.

لتلبية الجداول الهندسية المتسارعة وتقليل الحاجة إلى النماذج الأولية المادية، تعتمد شركة Rivian المصنعة للسيارات الكهربائية على تقنيات النمذجة والمحاكاة المتقدمة. وباستخدام قدرة حوسبة عالية، تُمكّن عمليات المحاكاة المهندسين من اختبار المفاهيم الجديدة وتقديم تصميماتهم إلى السوق بسرعة.

تقوم Denso بتطوير مستشعرات الصور لأنظمة مساعدة السائق المتقدمة (ADAS)، والتي تساعد السائقين في وظائف مثل ركن السيارات وتغيير الممرات.

التحدي: لتطوير نماذج تعلم الآلة (ML) اللازمة للتعرف على صور ADAS، قامت DENSO ببناء مجموعات GPU في بيئتها المحلية. ومع ذلك، شارك العديد من مهندسي ML موارد GPU محدودة، وهو ما أثر على الإنتاجية - خاصة خلال الفترة المزدحمة قبل إصدار منتج جديد.

الحل: من خلال اعتماد Amazon SageMaker وAmazon FSx for Lustre، تمكنت Denso من تسريع إنشاء نماذج التعرف على الصور ADAS عن طريق تقليل وقت الحصول على البيانات وتطوير النماذج والتعلم والتقييم.

Joby Aviation تستخدم AWS لإحداث ثورة في مجال النقل.

التحدي: يعتمد مهندسو Joby على الحوسبة عالية الأداء (HPC) لإجراء الآلاف من عمليات محاكاة ديناميكيات السوائل الحاسوبية المعقدة والمكثفة للحوسبة (CFD) التي تستخدم المئات من نوى وحدة المعالجة المركزية لكل منها ويمكن أن تستغرق عدة ساعات لإكمالها.

الحل: أدى استخدام سحابة الحوسبة المرنة لـ Amazon (Amazon EC2) وAmazon FSx for Lustre إلى تمكين Joby من الحصول على نتائج أسرع من أعباء عمل CFD مقارنة بالبنية التحتية للحوسبة عالية الأداء المحلية.

تحقق T-Mobile ما يبلغ 1.5 مليون دولار من المدخرات السنوية وتضاعف سرعة أعباء عمل SAS Grid باستخدام Amazon FSx for Lustre.

التحدي: كانت T-Mobile تواجه صعوبات إدارية عالية وصعوبات في الأداء مع عبء عمل SAS Grid المُدار ذاتيًا.

الحل :قامت T-Mobile بنشر Amazon FSx for Lustre، وهو نظام ملفات عالي الأداء مُدار بالكامل، لترحيل البنية التحتية SAS Grid الخاصة بها وتوسيع نطاقها. استخدمت T-Mobile الدمج الوثيق بين Amazon FSx وS3 لتقليل عبء التخزين وتحسين العمليات.

واجه إنتاج الموسم الرابع من الدراما العرضية "The Crown" على Netflix تحديات غير متوقعة، حيث دخل العالم في حالة من الإغلاق بسبب جائحة كوفيد-19 في الوقت الذي كان من المقرر أن تبدأ فيه أعمال VFX في مرحلة ما بعد الإنتاج. من خلال اعتماد سير عمل قائم على السحابة على AWS، بما في ذلك خادم ملفات Amazon FSx Lustre لتحسين معدل النقل، تمكن فريق VFX الداخلي في Netflix المكون من 10 فنانين من إكمال أكثر من 600 لقطة VFX بسلاسة لتشغيل 10 حلقات من الموسم في 8 أشهر فقط، كل ذلك أثناء العمل عن بُعد.