عملاء Amazon FSx for Lustre

تقوم Datologyai ببناء أدوات تحدد تلقائيًا أفضل البيانات لتدريب نماذج التعلم العميق عليها.

«نحن متحمسون لاستخدام حل المراقبة بنقرة واحدة من Amazon SageMaker HyperPod. احتاج كبار الموظفين لدينا إلى رؤى حول كيفية استخدامنا لموارد GPU. ستمنحنا لوحات معلومات Grafana المبنية مسبقًا ما نحتاجه بالضبط، مع رؤية فورية للمقاييس الهامة - بدءًا من استخدام وحدة معالجة الرسومات الخاصة بالمهمة وحتى أداء نظام الملفات (FSx for Lustre) - دون الحاجة إلى الحفاظ على أي بنية تحتية للمراقبة. بصفتي شخصًا يقدر قوة لغة Prometheus Query، أحب حقيقة أنه يمكنني كتابة استفساراتي الخاصة وتحليل المقاييس المخصصة دون القلق بشأن مشاكل البنية التحتية».

جوش ويلز، عضو الطاقم الفني في DatologYai

تقوم Apoidea بتطوير حلول مدعومة بالذكاء الاصطناعي للبنوك متعددة الجنسيات باستخدام الذكاء الاصطناعي التوليدي المتطور وتقنيات التعلم العميق. منتجهم الرئيسي، SuperACC، هو خدمة معالجة مستندات متطورة تستخدم نماذج خاصة للتعامل مع المستندات المالية المتنوعة، بما في ذلك البيانات المصرفية ونماذج KYC. وقد أدت هذه التقنية إلى تحسين الكفاءة بشكل كبير في القطاع المصرفي، مما أدى إلى تقليل وقت معالجة التوزيع المالي من 4-6 ساعات إلى 10 دقائق فقط.

لدعم هذا التطوير، تستخدم Apoidea Amazon SageMaker HyperPod، الذي يوفر بيئة قابلة للتطوير ومرنة لتدريب النماذج على نطاق واسع. يتميز SageMaker HyperPod بإدارة التدريب الموزعة، ومزامنة البيانات بسلاسة مع FSx for Lustre، والبيئات القابلة للتخصيص، وكلها تعزز كفاءة سير عمل ML.

تأسست Adobe منذ 40 عامًا على فكرة بسيطة تتمثل في إنشاء منتجات مبتكرة تغير العالم، وتقدم Adobe تقنية رائدة تمكن الجميع في كل مكان من تخيل وإنشاء وإحياء أي تجربة رقمية. بدلاً من الاعتماد على النماذج مفتوحة المصدر، قررت Adobe تدريب نماذج الذكاء الاصطناعي التأسيسية الخاصة بها والمصممة لحالات الاستخدام الإبداعي. أنشأت Adobe طريقًا سريعًا للذكاء الاصطناعي على AWS لبناء منصة تدريب للذكاء الاصطناعي وخطوط بيانات لتكرار النماذج بسرعة. استخدمت Adobe Amazon FSx لتخزين الملفات عالي الأداء من أجل Lustre، للوصول السريع إلى البيانات وللتأكد من عدم ترك موارد GPU خاملة أبدًا.

«من السهل التفكير في أنني سأقوم بإنشاء سحابة الذكاء الاصطناعي الخاصة بي، ولكن الشراكة مع AWS تتيح لنا التركيز على عوامل التمييز الخاصة بنا»

Alexandru Costin - نائب الرئيس، الذكاء الاصطناعي المولّد والمعلم (Vice President, Generative AI and Sensei) في Adobe

تم تأسيس LG AI Research، مركز أبحاث الذكاء الاصطناعي (AI) لمجموعة LG Group الكورية الجنوبية، لتعزيز الذكاء الاصطناعي كجزء من استراتيجية التحول الرقمي لدفع النمو المستقبلي. قام معهد الأبحاث بتطوير محرك EXAONE النموذجي الخاص به في غضون عام واحد باستخدام Amazon SageMaker و Amazon FSx for Lustre. يحاكي النموذج التأسيسي البشر أثناء تفكيرهم وتعلمهم واتخاذ الإجراءات من تلقاء أنفسهم من خلال التدريب على البيانات على نطاق واسع. يمكن استخدام نموذج الأساس متعدد الأغراض في مختلف الصناعات لتنفيذ مجموعة من المهام.

سعت Paige، المزود الرائد في مجال علم الأمراض الرقمي، إلى تحسين نماذج الذكاء الاصطناعي والتعلم الآلي لتشخيص السرطان ولكنها واجهت قيودًا مع الحلول المحلية. وللتغلب على ذلك، اعتمدت Paige مثيلات Amazon EC2 P4d وAmazon FSx لـ Lustre، حيث دمجت الأخيرة مع حاويات Amazon S3 لمعالجة بيتابايت من بيانات إدخال ML بكفاءة. مكنت بنية AWS الأساسية هذه Paige من معالجة البيانات دون التحميل المسبق اليدوي على أنظمة الملفات عالية الأداء. ونتيجة لذلك، حققت Paige زيادة بمقدار عشرة أضعاف في قدرة التدريب على البيانات وسير عمل داخلي أسرع بنسبة 72٪.

«من خلال ربط Amazon FSx for Lustre بـ Amazon S3، يمكننا التدريب على 10 أضعاف كمية البيانات التي جربناها في البنية التحتية المحلية دون أي مشاكل. «

Alexander van Eck،‏ staff AI engineer‏ - شركة Paige

يقوم Toyota Research Institute (TRI) بجمع ومعالجة كميات كبيرة من بيانات أجهزة الاستشعار من محركات اختبار المركبات ذاتية القيادة (AV). يتم تنظيم كل مجموعة بيانات تدريبية في جهاز NAS محلي ونقلها إلى خدمة Amazon Simple Storage Service (Amazon S3) قبل المعالجة على مجموعة حوسبة GPU قوية. احتاجت TRI إلى نظام ملفات عالي الأداء للاقتران مع موارد الحوسبة الخاصة بها، وتسريع التدريب على تعلّم الآلة (ML)، وتسريع الرؤى لعلماء البيانات لديها.. Toyota Research Institute يختار FSx for Lustre لتقليل أوقات التدريب على تعلّم الآلة للتعرف على الأشياء.

«كنا بحاجة إلى نظام ملفات متوازي لمجموعات بيانات تدريب ML الخاصة بنا واخترنا Amazon FSx for Lustre لتوفره ومتانته العالية، مقارنة بعروض نظام الملفات القديم لدينا. كما أن التكامل مع خدمات AWS، بما في ذلك S3، جعله الخيار المفضل لتخزين الملفات عالي الأداء لدينا. «

ديفيد فلوك، مهندس برمجيات - Toyota Research Institute

تقدم شل مجموعة ديناميكية من خيارات الطاقة - من النفط والغاز والبتروكيماويات إلى طاقة الرياح والطاقة الشمسية والهيدروجين - تفخر شل بتوفير الطاقة التي يحتاجها عملاؤها لتشغيل حياتهم. تعتمد Shell على HPC لبناء النموذج والاختبار والتحقق من الصحة. من عام 2020 إلى عام 2022، بلغ متوسط استخدام وحدة معالجة الرسوميات (GPU) أقل من 90٪، ما أدى إلى تأخير المشروع والقيود المفروضة على تجارب الخوارزميات الجديدة. تعمل شل على تعزيز قدرتها الحاسوبية المحلية من خلال الانتقال إلى السحابة باستخدام مجموعات Amazon EC2 وAmazon FSx for Lustre. يمنح هذا الحل شركة Shell القدرة على التوسع السريع والتحجيم، وشراء سعة حوسبة إضافية فقط عند الحاجة. يتم الآن استخدام وحدات معالجة الرسومات (GPU) الخاصة بشركة Shell بالكامل لتقليل تكلفة الحوسبة وتسريع اختبار نماذج تعلم الآلة.

تستخدم Netflix تدريبًا موزعًا واسع النطاق لنماذج التعلم الآلي للوسائط والصور المصغرة لمرحلة ما بعد الإنتاج والمؤثرات البصرية وإنشاء مقاطع دعائية لآلاف مقاطع الفيديو وملايين المقاطع. كانت Netflix تعاني من فترات انتظار طويلة بسبب النسخ المتماثل عبر العُقَدِ ووقت خمول وحدة معالجة الرسومات بنسبة 40%.

قامت Netflix بإعادة تصميم خط أنابيب تحميل البيانات وتحسين كفاءته من خلال الحوسبة المسبقة لجميع مقاطع الفيديو/الصوت. أداء Amazon FSx for Lustre يمكّن شركة Netflix من تشبع وحدات معالجة الرسومات، والقضاء فعليًا على وقت خمول وحدة معالجة الرسومات. تشهد Netflix الآن تحسنًا بمعدل 3-4 أضعاف باستخدام الحوسبة المسبقة وFSx for Lustre، ما يقلل وقت تدريب النماذج من أسبوع إلى يوم أو يومين.

شاهد فيديو Netflix

واجه إنتاج الموسم الرابع من الدراما العرضية "The Crown" على Netflix تحديات غير متوقعة، حيث دخل العالم في حالة من الإغلاق بسبب جائحة كوفيد-19 في الوقت الذي كان من المقرر أن تبدأ فيه أعمال VFX في مرحلة ما بعد الإنتاج. من خلال اعتماد سير العمل المستند إلى السحابة على AWS، بما في ذلك خادم ملفات Amazon FSx Lustre لتحسين الإنتاجية، تمكن فريق VFX الداخلي في Netflix المكون من 10 فنانين من إكمال أكثر من 600 لقطة VFX بسلاسة لتشغيل 10 حلقات من الموسم في 8 أشهر فقط، كل ذلك أثناء العمل عن بُعد.

تعد Storengy، وهي شركة تابعة لمجموعة ENGIE، المورد الرئيسي للغاز الطبيعي. تقدم الشركة تخزين الغاز وحلول الطاقة الحرارية الأرضية وإنتاج الطاقة الخالية من الكربون وتقنيات التخزين للمؤسسات في جميع أنحاء العالم.

لضمان تخزين منتجاتها بشكل صحيح، تستخدم Storengy أجهزة محاكاة عالية التقنية لتقييم تخزين الغاز تحت الأرض، وهي عملية تتطلب استخدامًا مكثفًا لأعباء عمل الحوسبة عالية الأداء (HPC). تستخدم الشركة أيضًا تقنية HPC لتشغيل وظائف اكتشاف الغاز الطبيعي واستكشافه.

«بفضل AWS، لدينا قابلية التوسع والتوافر العالي لإجراء مئات عمليات المحاكاة في وقت واحد. بالإضافة إلى ذلك، يتم توسيع نطاق الحل تلقائيًا لأعلى أو لأسفل لدعم فترات ذروة عبء العمل لدينا، مما يعني أنه ليس لدينا أي مفاجآت في بيئة HPC الخاصة بنا. «

جان فريدريك ثيبولت - مهندس، Storengy

تستفيد Smartronix من FSx for Lustre لتقديم أداء عالٍ يمكن الاعتماد عليه لعمليات نشر SAS Grid الخاصة بها.

توفر Smartronix الحلول السحابية والأمان السيبراني وتكامل الأنظمة وC5ISR في جميع أنحاء العالم وتحليلات البيانات والهندسة التي تركز على المهام للعديد من المنظمات التجارية والفيدرالية الرائدة في العالم. اعتمدت Smartronix على SAS Grid لتحليل وتقديم إحصاءات كوفيد اليومية على مستوى الولاية، ووجدت أن نظام الملفات الموازي المُدار ذاتيًا يصعب إدارته وحمايته.

«لقد سمح لنا التعاون مع AWS والاستفادة من حلولها المُدارة مثل FSx for Lustre بخدمة عملائنا بشكل أفضل - مع توفر أعلى وتكلفة أقل بنسبة 29٪ من أنظمة الملفات المُدارة ذاتيًا. «

روب مونير - مهندس حلول أول، Smartronix

تستخدم شركة Hyundai Motor Company، وهي شركة تصنيع سيارات عالمية تصدر إلى أكثر من 200 دولة، التقسيم الدلالي للقيادة الذاتية لتصنيف وحدات البكسل في الصور إلى فئات مثل الطرق والأشخاص والمباني.

ولتحسين دقة النموذج والوفاء بالمواعيد النهائية، قامت هيونداي بتطبيق Amazon SageMaker للتدريب الآلي وموازاة البيانات عبر وحدات معالجة الرسومات المتعددة، جنبًا إلى جنب مع Amazon FSx for Lustre و S3 لتخزين البيانات ومعالجتها بكفاءة. ساعدت هذه الحلول Hyundai على تحقيق كفاءة توسيع بنسبة 93٪ باستخدام 64 وحدة معالجة رسومات مع التخلص من أوقات انتظار البيانات.

لعبت Amazon FSx for Lustre دورًا مهمًا في التحول السحابي لشركة Rivian، حيث وفرت الوصول السريع إلى التخزين المشترك اللازم لأحمال العمل الهندسية والتصميمية بمساعدة الكمبيوتر. باستخدام FSx for Lustre كجزء من حل AWS الخاص بها، قامت Rivian بتحسين مقاييس الأداء بشكل كبير، بما في ذلك زيادة بنسبة 66٪ في سرعة تفاعل إدارة دورة حياة المنتج وتقليل وقت مزامنة النسخ الاحتياطي من يوم واحد إلى أقل من ساعة.

تم تنفيذ خدمة التخزين المُدارة بالكامل جنبًا إلى جنب مع خدمات AWS الأخرى مثل Amazon EC2 و Auto Scaling، مما ساعد Rivian على التغلب على قيود البنية التحتية المحلية وتحقيق قدرات حوسبة قابلة للتطوير وعالية الأداء في ثلاثة أسابيع فقط مقارنة بالجدول الزمني المتوقع لمدة ستة أشهر.

تقوم Denso بتطوير مستشعرات الصور لأنظمة مساعدة السائق المتقدمة (ADAS)، والتي تساعد السائقين في وظائف مثل وقوف السيارات وتغيير المسارات. لتطوير نماذج ML اللازمة للتعرف على صور ADAS، قامت DENSO ببناء مجموعات GPU في بيئتها المحلية. ومع ذلك، شارك العديد من مهندسي ML موارد GPU محدودة، وهو ما أثر على الإنتاجية - خاصة خلال الفترة المزدحمة قبل إصدار منتج جديد.

من خلال اعتماد Amazon SageMaker و Amazon FSx for Lustre، تمكنت Denso من تسريع إنشاء نماذج التعرف على الصور ADAS عن طريق تقليل وقت الحصول على البيانات وتطوير النماذج والتعلم والتقييم.

«ستستمر ممارسة التحول إلى السحابة في التسارع في مجال الذكاء الاصطناعي والتعلم الآلي. أنا واثق من أن AWS ستستمر في تقديم الدعم لنا بينما نواصل إضافة الوظائف».

Kensuke Yokoi‏، general manager - شركة DENSO

قامت T-Mobile بتحويل البنية التحتية لشبكة SAS Grid الخاصة بها من خلال تنفيذ Amazon FSx for Lustre لمعالجة مشكلات الأداء ونفقات الإدارة العالية من خلال نظامها المُدار ذاتيًا.

مكّن نشر FSx for Lustre، إلى جانب تكامله مع Amazon S3، T-Mobile من مضاعفة سرعات عبء العمل في SAS Grid مع تحقيق 1.5 مليون دولار من المدخرات السنوية وانخفاض بنسبة 83٪ في التكلفة الإجمالية للملكية.

أزال الحل الأعباء التشغيلية وسمح لـ T-Mobile بالتركيز على أعمالها الأساسية لتطوير منتجات العملاء المبتكرة مع الاستفادة من قدرات التخزين المتقدمة لـ AWS.

كانت Maxar Technologies، وهي شريك موثوق ومبتكر في ذكاء الأرض والبنية التحتية الفضائية، بحاجة إلى تقديم تنبؤات الطقس بشكل أسرع مقارنة بالكمبيوتر العملاق المحلي. عملت Maxar مع AWS لإنشاء حل HPC باستخدام التقنيات الرئيسية بما في ذلك AMAZON EC2 لموارد الحوسبة الآمنة والموثوقة للغاية، و Amazon FSx for Lustre لتسريع إنتاجية القراءة/الكتابة لتطبيقاتها، و AWS ParallelCluster لبناء بيئات حوسبة HPC بسرعة على AWS.

«استخدمت Maxar Amazon FSx for Lustre في حل AWS HPC الخاص بنا لتشغيل نموذج التنبؤ العددي بالطقس من NOAA. سمح لنا ذلك بتقليل وقت الحوسبة بنسبة 58%، مما أدى إلى إنشاء تنبؤات في حوالي 45 دقيقة للحصول على نقطة سعر أكثر فعالية من حيث التكلفة. كان تعظيم موارد حوسبة AWS بمثابة تعزيز مذهل للأداء بالنسبة لنا. «

ستيفان سيسيلسكي، حاصل على درجة الدكتوراة، كبير مهندسي وعلماء البيانات، Maxar Technologies

كانت معالجة بيانات التصوير بالرنين المغناطيسي (MRI) باستخدام أنظمة الملفات السحابية القياسية DIY تستهلك الكثير من الموارد والوقت. احتاجت BlackThorn إلى حل تخزين ملفات مشترك كثيف الحوسبة للمساعدة في تبسيط عمليات سير عمل علم البيانات وتعلّم الآلة. تم دمج Amazon FSx for Lustre مع Amazon S3 و Amazon SageMaker، مما يوفر معالجة سريعة لمجموعات بيانات التدريب على التعلم الآلي الخاصة بهم بالإضافة إلى الوصول السلس إلى الحوسبة باستخدام مثيلات Amazon EC2.

«لقد مكنتنا FSx for Lustre من إنشاء خط أنابيب لمعالجة بيانات التصوير بالرنين المغناطيسي عالي الأداء. تم تقليل وقت معالجة البيانات لعمليات سير العمل المستندة إلى ML إلى دقائق مقارنة بالأيام والأسابيع. «

أوسكار رودريجيز، كبير المديرين للابتكار والتكنولوجيا - BlackThorn Therapeutics

كانت Qubole تبحث عن حل تخزين عالي الأداء لمعالجة أعباء العمل التحليلية وأحمال الذكاء الاصطناعي/التعلم الآلي لعملائها. لقد احتاجوا إلى تخزين ومعالجة البيانات الوسيطة الموجودة في مجموعة مثيلات EC2 Spot بسهولة. استخدمت Qubole Amazon FSx for Lustre لتخزين ومعالجة البيانات الوسيطة من خلال نظام الملفات المتوازي عالي السرعة.

«تنبع أكبر مشكلتين لمستخدمينا، التكاليف المرتفعة وفقدان البيانات الوسيطة، من استخدام مثيلات EC2 الخاملة ومثيلات EC2 Spot لمعالجة وتخزين البيانات الوسيطة الناتجة عن أطر المعالجة الموزعة مثل Hive و Spark. وقد تمكّنا من حل هذه المشكلة باستخدام Amazon FSx for Lustre، وهو نظام ملفات عالي الأداء، لإلغاء تحميل البيانات الوسيطة. الآن، لا يتعين على مستخدمينا الدفع للحفاظ على المثيلات الخاملة ولا يتأثرون بعقد EC2 Spot المتقطعة. ساعدت Amazon FSx مستخدمينا على تقليل التكاليف الإجمالية بنسبة 30%. «

جويديب سين سارما، كبير مسؤولي التكنولوجيا - Qubole