مثيلات Amazon EC2 Inf1

أداء عالٍ وتكلفة أقل لعمليات استدلال تعلم الآلة في السحابة

تتطلع الأنشطة التجارية في مختلف القطاعات إلى التحولات الرقمية المدعومة بالذكاء الاصطناعي (AI) لدفع الابتكار التجاري وإدخال تحسينات على تجربة العملاء والعمليات. تزداد نماذج التعلم الآلي المشغلة لتطبيقات الذكاء الاصطناعي (AI) تعقيدًا، مما يؤدي ذلك إلى ظهور تكاليف أساسية نظير إقامة بنية تحتية للحوسبة. يُنسب ما يصل إلى 90% من الإنفاق على البنية التحتية إلى عمليات الاستدلال بغرض تطوير تطبيقات التعلم الآلي وتشغيلها. يبحث العملاء عن حلول فعالة من حيث التكلفة للبنية التحتية من أجل نشر تطبيقات التعلم الآلي التي في مرحلة الإنتاج.

توفر مثيلات Amazon EC2 Inf1 عمليات استدلال التعلم الآلي عالية الأداء مقابل أقل تكلفة في السحابة. فإن هذه المثيلات توفر معدل نقل أعلى مضاعفًا بمقدار 2.3 وبتكلفة أقل حتى 70% لكل عملية استدلال مقارنةً بالجيل الحالي من مثيلات Amazon EC2 المستندة إلى وحدة معالجة الرسومات (GPU). صُمِّمت مثيلات Inf1 من الألف إلى الياء لدعم تطبيقات استدلال التعلم الآلي. تتضمن هذه المثيلات ما يصل إلى 16 رقاقة من نوع AWS Inferentia، وهي رقاقات صممتها AWS وأنشأتها تتميز بالأداء العالي ومُخصّصة لإجراء عمليات استدلال التعلم الآلي. إضافةً إلى ذلك، تتضمن مثيلات Inf1 معالجات Intel® Xeon® القابلة للتوسع من الجيل الثاني، فضلاً عما يصل إلى 100 جيجابت في الثانية من الاتصال الشبكي لتقديم عمليات الاستدلال بمعدل نقل مرتفع.

يستطيع العملاء استخدام مثيلات Inf1 لتشغيل تطبيقات عمليات استدلال التعلم الآلي على نطاق واسع، مثل تطبيقات البحث، ومحركات التوصية، والرؤية الحاسوبية، والتعرّف على الكلام، ومعالجة اللغة الطبيعية، وإضفاء الطابع الشخصي، واكتشاف العمليات الاحتيالية، كل ذلك مقابل أقل تكلفة في السحابة.

يمكن للمطورين نشر نماذج التعلم الآلي على مثيلات Inf1 باستخدام مجموعة تطوير البرمجيات (SDK) الخاصة بـ AWS Neuron التي تتكامل مع أُطر عمل التعلم الآلي الشائعة، مثل TensorFlow وPyTorch وMXNet. يمكن للمطورين الاستمرار في استخدام سير عمل التعلم الآلي نفسه وترحيل التطبيقات بسلاسة إلى مثيلات Inf1 بأقل تغييرات في التعليمات البرمجية بدون الالتزام بحلول معينة يحددها الموّرد.

ابدأ بسهولة مع مثيلات Inf1 باستخدام Amazon SageMaker، وهي وحدات AWS Deep Learning AMIs التي تأتي بتكوين مسبق بـ Neuron SDK، أو باستخدام Amazon ECS أو Amazon EKS لتطبيقات التعلم الآلي المستندة إلى الحاويات.

مثيلات Amazon EC2 Inf1 القائمة على AWS Inferentia (2:51)

الفوائد

تكلفة أقل حتى 70% لكل عملية استدلال

يستطيع المطورون باستخدام مثيلات Inf1 تقليل تكلفة عمليات نشر إنتاج التعلم الآلي بشكل كبير والحصول على أقل تكلفة لكل عملية استدلال في السحابة. إن الجمع بين التكلفة المنخفضة لكل مثيل ومعدل النقل المرتفع لمثيلات Inf1 يضمن لك تكلفة أقل حتى 70% لكل عملية استدلال مقارنةً بالجيل الحالي من مثيلات EC2 المستندة إلى وحدة معالجة الرسومات (GPU).

سهولة الاستخدام وإمكانية نقل التعليمات البرمجية

تتكامل مجموعة تطوير البرمجيات (SDK) الخاصة بـ Neuron مع أُطر عمل التعلم الآلي الشائعة، مثل TensorFlow وPyTorch وMXNet. يمكن للمطورين الاستمرار في استخدام سير عمل التعلم الآلي نفسه وترحيل التطبيقات بسلاسة إلى مثيلات Inf1 بأقل تغييرات في التعليمات البرمجية. وهذا يمنح المطورين حرية استخدام إطار عمل التعلم الآلي الذي يفضلونه، ومنصة الحوسبة التي تفي بمتطلباتهم على أفضل نحو، واستخدام أحدث التقنيات بدون الالتزام بحلول معينة يحددها الموّرد.

معدل نقل أعلى مضاعف بمقدار 2.3

توفر مثيلات Inf1 معدل نقل مضاعف بمقدار 2.3 مقارنةً بالجيل الحالي من مثيلات Amazon EC2 القائمة على وحدة معالجة الرسومات (GPU). تُجرى تحسينات على رقاقات AWS Inferentia المشغلة لمثيلات Inf1 لتعزيز أداء عمليات الاستدلال للحزم صغيرة الحجم، مما يمكِّن تطبيقات الوقت الفعلي من زيادة معدل النقل إلى أقصى حد وتلبية متطلبات وقت الاستجابة.

وقت استجابة منخفض للغاية

تكون رقاقات AWS Inferentia مزودة بوحدات ذاكرة على الرقاقة تتيح إمكانية التخزين المؤقت لنماذج التعلم الآلي على الرقاقة بشكل مباشر. يمكنك نشر نماذجك باستخدام إمكانيات مثل NeuronCore Pipeline التي تلغي الحاجة إلى الوصول إلى موارد ذاكرة خارجية. مع مثيلات Inf1، يمكنك نشر تطبيقات استدلال الوقت الفعلي بأوقات استجابة في الوقت الفعلي تقريبًا بدون التأثير في النطاق الترددي.

دعم لمختلف نماذج التعلم الآلي وأنواع البيانات

تدعم مثيلات Inf1 الكثير من البُنى التحتية لنماذج التعلم الآلي شائعة الاستخدام، مثل SSD وVGG وResNext المستخدمة في التعرُّف على الصور وتصنيفها، وكذلك Transformer وBERT المستخدمين في معالجة اللغة الطبيعية. بالإضافة إلى ذلك، فإن دعم مستودع نموذج HuggingFace في Neuron يمنح العملاء القدرة على تحويل عمليات الاستدلال برمجيًا وتشغيلها بسهولة باستخدام النماذج المُدرَّبة مسبقًا - أو النماذج المُعدَّة بدقة -، من خلال تغيير سطر واحد فقط من التعليمات البرمجية. تُدعم أيضًا أنواع بيانات عديدة، بما في ذلك BF16 وFP16 مع المزج الدقيق بين أنواع البيانات، وذلك من أجل تمكين استخدام مجموعة واسعة من النماذج واحتياجات الأداء.

المزايا

يتم دعمها من AWS Inferentia

AWS Inferentia هي عبارة عن رقاقة عمليات استدلال تعلم الآلة، وقد صممتها وطورتها AWS لتقديم أداء عالٍ مقابل تكلفة منخفضة. توفر كل شريحة AWS Inferentia ما يصل إلى 128 TOPS (تريليونات من العمليات في الثانية) من الأداء، ودعمًا لأنواع بيانات FP16 وBF16 وINT8. تتميز رقاقات AWS Inferentia بكم كبير من ذاكرة الرقاقة التي يمكن استخدامها للتخزين المؤقت لنماذج كبيرة، التي تعد مفيدة بوجه خاص للنماذج التي تتطلب الوصول المتكرر للذاكرة.

تتكون مجموعة تطوير البرمجيات (SDK) الخاصة بـ AWS Neuron من محوِّل برمجي وبرنامج تشغيل وقت التشغيل وأدوات جمع المعلومات. وتمكّن من نشر نماذج الشبكات العصبية المعقدة التي تُنشأ وتُدرب في أُطر عمل شائعة، مثل Tensorflow وPyTorch وMXNet، وتنفيذها باستخدام مثيلات Inf1. باستخدام NeuronCore Pipeline في Neuron، يمكنك تقسيم النماذج الكبيرة من أجل تنفيذها عبر رقاقات Inferentia متعددة باستخدام الربط البيني الفعلي عالي السرعة بين الرقائق، مما يوفر معدل نقل أعلى لعمليات الاستدلال وتكاليف أقل لكل عملية استدلال.

اتصال شبكي وسعة تخزين فائقا الأداء

توفر مثيلات Inf1 ما يصل إلى 100 جيجابت في الثانية من معدل نقل الشبكة للتطبيقات التي تتطلب الوصول إلى الشبكات عالية السرعة. يوفر الجيل التالي من تقنيةElastic Network Adapter (ENA) وNVM Express (NVMe) مثيلات Inf1 التي تتسم بإنتاجية عالية وواجهات منخفضة التأخر للاتصالات الشبكية وAmazon Elastic Block Store (Amazon EBS).

مصمم وفق نظام AWS Nitro

نظام AWS Nitro هو مجموعة غنية من كتل الإنشاء التي تقوم بتفريغ العديد من الوظائف الافتراضية التقليدية في الجهاز المخصص والبرنامج المخصص لتقديم أداءٍ عالٍ والتوافر بدرجة عالية وحماية عالية بينما تعمل أيضًا على خفض النفقات الافتراضية.

كيفية العمل

كيفية استخدام Inf1 وAWS Inferentia

شهادات العملاء

Airbnb

تأسست شركة Airbnb في سان فرانسيسكو عام 2008، وهي سوق مجتمعية لأكثر من 4 ملايين مضيف استقبلوا أكثر من 900 مليون نزيل في كل دول العالم تقريبًا.

"توفر منصة دعم مجتمع Airbnb تجارب خدمية ذكية واستثنائية وقابلة للتوسع لمجتمعنا من ملايين النزلاء والمضيفين حول العالم. نبحث باستمرار عن طرق لتحسين نماذج معالجة اللغة الطبيعية التي تستخدمها تطبيقات الدردشة الآلية Chatbot لدينا. مع مثيلات Amazon EC2 Inf1 التي تشغلها AWS Inferentia، نشهد تحسينًا مضاعفًا في معدل النقل بشكل مبسط عبر المثيلات القائمة على GPU لنماذج BERT القائمة على PyTorch. نتطلع للاستفادة من مثيلات Inf1 لنماذج وحالات استخدام أخرى في المستقبل."

بو زينغ، مدير قسم الهندسة - AirBnB

شركة Snap Inc
"نحن ندمج تعلم الآلة (ML) في جوانب عديدة في Snapchat، ويُعد استكشاف الابتكارات في هذا المجال أولوية قصوى. وما أن سمعنا بـ Inferentia بدأنا في التعاون مع AWS لتبني مثيلات Inf1/Inferentia لتساعدنا في نشر ML بما يشمل الأداء والتكلفة. بدأنا بنماذج التوصية الخاصة بنا، ونتطلع لتبني المزيد من النماذج باستخدام مثيلات Inf1 في المستقبل."

نيما خاجهنوري، نائب مدير قسم الهندسة بشركة Snap Inc.

Sprinklr
"تعمل منصة إدارة تجربة العملاء الموحدة المدعومة بالذكاء الاصطناعي (AI) (Unified-CXM) لشركة Sprinklr على تمكين الشركات من جمع ملاحظات العملاء وترجمتها في الوقت الفعلي عبر قنوات متعددة وتحويلها إلى معارف دقيقة قابلة للتنفيذ، وهذا يؤدي إلى حلول استباقية للمشكلات وتحسين تطوير المنتجات وتحسين تسويق المحتوى وتحسين خدمة العملاء وغير ذلك الكثير. باستخدام Amazon EC2 Inf1، تمكّنا بشكل كبير من تحسين أداء أحد نماذج معالجة اللغة الطبيعية (NLP) وتحسين أداء أحد نماذج رؤية الكمبيوتر. نتطلع إلى مواصلة استخدام Amazon EC2 Inf1 لتقديم خدمة أفضل لعملائنا العالميين."

فاسانت سرينيفاسان، النائب الأول لرئيس قسم هندسة المنتجات في Sprinklr

Finch Computing
"يوفر أحدث منتجاتنا في مجال معالجة اللغة الطبيعية (NLP)، Finch for Text، للمستخدمين القدرة على استخراج، والتوضيح، والإثراء لأنواع متعددة من الكيانات الموجودة في كميات ضخمة من النص. يتطلب Finch for Text موارد حوسبة كبيرة لتزويد عملائنا بعمليات إثراء بزمن استجابة منخفض في مواجز البيانات العالمية. نستخدم في الوقت الحالي مثيلات AWS Inf1 في نماذج اللغة الطبيعية PyTorch NLP، والترجمة، وتوضيح الكيانات. لقد استطعنا تقليل تكاليف الاستدلال بأكثر من 80% (مقارنةً بوحدة معالجة الرسوميات) مع أقل حد من التحسينات وفي الوقت نفسه الحفاظ على سرعة الاستدلال والأداء. يسمح هذا التحسين لعملائنا بإثراء النصوص التي باللغات الفرنسية والإسبانية والألمانية والهولندية في الوقت الفعلي من خلال دفق مواجز البيانات وعلى نطاق عالمي، وهو أمر بالغ الأهمية لخدماتنا المالية وأدوات تجميع البيانات وعملاء القطاع العام."

سكوت لايتنر، رئيس قسم التكنولوجيا - Finch Computing

Autodesk
"تقوم شركة Autodesk باستخدام Inferentia في تطوير التكنولوجيا الإدراكية للمساعد الافتراضي المشغّل بالذكاء الاصطناعي (AI)، Autodesk Virtual Agent (AVA). يجيب AVA على أكثر من 100000 سؤال من العملاء في الشهر عن طريق تطبيق أساليب فهم اللغة الطبيعية (NLU) والتعلم العميق لاستخراج السياق والقصد والمعنى وراء الاستفسارات. وبتجربة Inferentia، استطعنا الحصول على معدل انتقال أعلى بنسبة 4.9 من G4dn لنماذج NLU الخاصة بنا، ونتطلع لتشغيل المزيد من أعباء العمل على مثيلات Inf1 القائمة على Inferentia."

بينغوي أويانغ، عالم بيانات أول، Autodesk

Screening Eagle
"إن استخدام رادار الاختراق الأرضي وكشف العيوب المرئية يكون عادةً من اختصاص المسّاحين الخبراء. إن البنية المستندة إلى الخدمات المُصغّرة من AWS تمكّننا من معالجة مقاطع الفيديو التي تلتقطها مركبات الفحص الآلي وعمال الفحص. وعن طريق ترحيل نماذجنا المعدة داخليًا من المثيلات التقليدية القائمة على وحدة معالجة الرسومات إلى Inferentia، استطعنا خفض التكاليف بمقدار 50%. علاوةً على ذلك، شهدنا مكاسب في الأداء عند مقارنة الأوقات مع مثيل G4dn GPU. يتطلع فريقنا إلى تشغيل المزيد من أعباء العمل على مثيلات Inf1 المستندة إلى Inferentia."

جيسوس هورميجو، مدير قسم السحابة ومسؤول الذكاء الاصطناعي - Screening Eagle Technologies

NTT PC

NTTPC Communications هي خدمة شبكة ومزود حلول اتصالات في اليابان وأحد رواد الاتصالات في تقديم منتجات مبتكرة جديدة في سوق التكنولوجيا والمعلومات والاتصالات.

طورت NTTPC ‏"AnyMotion"، خدمة منصة واجهة مبرمج التطبيقات (API) لتحليل الحركة، قائمة على تقدير الموقف المتطور لنماذج تعلم الآلة. نشرت NTTPC منصتها AnyMotion على مثيلات Amazon EC2 Inf1 باستخدام Elastic Container Service (ECS) للحصول على خدمة تنسيق حاويات مُدارة بالكامل. بعد أن نشرت NTTPC حاويات AnyMotion الخاصة بها على Amazon EC2 Inf1، شهدت ارتفاعًا بمعدل 4.5 مرات في معدل النقل وانخفاض وقت الإستجابة بنسبة 25%، وانخفاض التكاليف بنسبة 90% مقارنة بمثيلات EC2 من الجيل الحالي القائمة على GPU. ستساعد تلك النتائج المذهلة في تحسين جودة خدمة AnyMotion على نطاق واسع."

توشيكي ياناغيساوا، مهندس برمجيات - NTT PC Communications Incorporated

Anthem

تُعد Anthem إحدى كبرى شركات المزايا الصحية في البلاد، بما تقدمه من احتياجات الرعاية الصحية لأكثر من 40 مليون عضو في عشرات الولايات. 

«يشهد سوق المنصات الصحية الرقمية نموًا بوتيرة ملحوظة. ويعد جمع المعلومات حول هذا السوق مهمة صعبة بسبب الكم الهائل لبيانات آراء العملاء وطبيعتها غير المنظمة. يقوم تطبيقنا بأتمتة إنشاء رؤى قابلة للتنفيذ من آراء العملاء عبر نماذج لغة طبيعية من التعلم العميق (المحولات). يتميز تطبيقنا بأنه كثيف حوسبيًا ويحتاج لنشره بطريقة عالية الأداء. ونحن ننشر أعباء عمل استدلال التعلم العميق بسلاسة على مثيلات Amazon EC2 Inf1 المشغّلة بواسطة معالج AWS Inferentia. توفر مثيلات Inf1 الجديدة معدل نقل مضاعف إلى المثيلات القائمة على GPU كما سمحت لنا بتبسيط أعباء عمل الاستدلال لدينا."

نومان لانايت، حاصل على الدكتوراه، كبير علماء البيانات والذكاء الاصطناعي - Anthem
ميرو ميهايلوف، حاصل على الدكتوراه، كبير علماء البيانات والذكاء الاصطناعي - Anthem

Condé Nast
«تشمل المجموعة العالمية لشركة Condé Nast ما يزيد عن 20 علامة تجارية رائدة في مجال الإعلام، بما في ذلك Wired وVogue وVanity Fair. في خلال أسابيع قليلة، استطاع فريق عملنا دمج محرك التوصيات الخاص بنا مع رقاقات AWS Inferentia. ويساهم هذا الاتحاد في تمكين إجراء العديد من عمليات تحسين وقت التشغيل لنماذج اللغات الطبيعية الحديثة والمتطورة عبر مثيلات Inf1 من SageMaker. ونتيجة لذلك، لاحظنا انخفاضًا في التكلفة بنسبة 72% عن مثيلات وحدة معالجة الرسوميات التي تم نشرها سابقًا."

بول فرايزل، المهندس الرئيسي، البنية الأساسية للذكاء الاصطناعي - Condé Nast

Ciao
«تطوِّر Ciao كاميرات الأمان التقليدية إلى كاميرات تحليل عالية الأداء تعادل قدرة العين البشرية. يعزز تطبيقنا الوقاية من الكوارث، ومراقبة الظروف البيئية باستخدام حلول كاميرا الذكاء الاصطناعي المستندة إلى السحابة للتنبيه قبل وقوع كارثة. يتيح هذا التنبيه الاستجابة للموقف بصورة مسبقة. يمكننا أيضًا تقديم رؤية من خلال تقدير عدد الضيوف القادمين بدون موظفين من خلال مقاطع الفيديو في المتاجر التقليدية، استنادًا إلى اكتشاف الكائنات. استخدمت كاميرا Ciao مثيلات Inf1 المستندة إلى AWS Inferentia تجاريًا مع أداء بسعر أفضل بنسبة 40% عن G4dn مع YOLOv4. نتطلع إلى المزيد من خدماتنا مع استفادة Inf1 من كفاءتها الكبيرة من حيث التكلفة."

شينجي ماتسوموتو، مهندس برمجيات، شركة Ciao Inc.

Asahi Shimbun
"تُعد Asahi Shimbun واحدة من أكثر الصحف اليومية شعبية في اليابان. تتمثَّل مهام Media Lab، تم تأسيسه بوصفه أحد أقسام شركتنا، في البحث عن أحدث التكنولوجيات، وخاصة الذكاء الاصطناعي (AI)، وتوصيل التكنولوجيات المتطورة للشركات الجديدة. مع إطلاق مثيلات AWS Inferentia المستندة إلى Amazon EC2 Inf1 في طوكيو، وقد اختبرنا تطبيق الذكاء الاصطناعي (AI) لتلخيص النص المستند إلى PyTorch على هذه المثيلات. يعالج هذا التطبيق قدرًا كبيرًا من النصوص ويُنشِئ العناوين وجمل الملخص التي تم تدريبها على مقالات من آخر 30 عامًا. باستخدام Inferentia، خفضنا التكاليف بترتيب من حيث المقدار على المثيلات المستندة إلى وحدة المعالجة المركزية. سيمكننا ذلك التخفيض الكبير في التكاليف من نشر أكثر النماذج تعقيدًا مع قابلية التكيف، والتي اعتقدنا سابقًا أنها ليست مجدية اقتصاديًا"

هيدياكي تاموري، حاصل على الدكتوراه، كبير المسؤولين، Media Lab، شركة The Asahi Shimbun

CS Disco
«CS Disco تُعيد ابتكار التكنولوجيا القانونية باعتبارها شركة موفرة رائدة لحلول الذكاء الاصطناعي (AI) الخاصة بميزة الاكتشاف الإلكتروني التي تم تطويرها من جانب المحامين من أجل المحامين. تعمل خاصية الذكاء الاصطناعي (AI) لدى شركة Disco على تسريع المهمة الصعبة المتمثلة في البحث عبر وحدات التيرابايت من البيانات وتسريع أوقات المراجعة وتحسين دقة المراجعة من خلال الاستفادة من نماذج معالجة اللغات الطبيعية المعقدة، والتي تعد باهظة الثمن حسابيًا وباهظة التكلفة. لقد وجدت Disco أنَّ مثيلات Inf1 القائمة على AWS Inferentia تقلل من تكلفة الاستدلال في خاصية الذكاء الاصطناعي (AI) لدى شركة Disco بنسبة لا تقل عن 35% بالمقارنة مع مثيلات وحدة معالجة الرسوميات الموجودة اليوم. وبناءً على هذه التجربة الإيجابية مع مثيلات Inf1، سوف تقوم CS Disco باكتشاف فرص الترحيل إلى Inferentia."

آلان لوكيت، مدير أول قسم الأبحاث - CS Disco

Talroo
«في Talroo، نوفر لعملائنا منصة قائمة على البيانات تمكنهم من جذب مرشحي الوظائف المميزين، حتى يتمكنوا من تعيينهم. نحن نستكشف باستمرار تكنولوجيات جديدة لضمان تقديم أفضل المنتجات والخدمات إلى عملائنا. باستخدام Inferentia، نستخرج النظرات المتعمقة من مجموعة من البيانات النصية لتحسين تكنولوجيا البحث والمطابقة التي تعمل بالذكاء الاصطناعي (AI). تستخدم Talroo مثيلات Amazon EC2 Inf1 لإنشاء نماذج فهم اللغة الطبيعية ذات معدل النقل المرتفع باستخدام SageMaker. يُظهر الاختبار الأولي من Talroo أن مثيلات Amazon EC2 Inf1 توفر زمن انتقال استدلاليًا أقل بنسبة 40% ومعدل نقل أعلى بمقدار ضعفين مقارنة بالمثيلات المستندة إلى G4dn GPU. استنادًا إلى هذه النتائج، تتطلع Talroo إلى استخدام مثيلات Amazon EC2 Inf1 كجزء من البنية الأساسية لـ AWS."

جانيت هو، مهندسة برمجيات - Talroo

Digital Media Professionals (DMP)
تقدم Digital Media Professionals (DMP) صورةً للمستقبل من خلال منصة ZIA™ استنادًا إلى الذكاء الاصطناعي (AI). تُستخدم تقنيات تصنيف الرؤية الحاسوبية الفعّالة من DMP لبناء رؤية على كم كبير من بيانات الصور في الوقت الفعلي، مثل ملاحظة الظروف ومنع الجرائم ومنع الحوادث. لقد أدركنا أن نماذج تقسيم الصور لدينا تعمل بسرعة أكبر بمقدار أربعة أضعاف على مثيلات Inf1 المستندة إلى AWS Inferentia مقارنةً بمثيلات G4 المستندة إلى وحدة معالجة الرسومات. نظرًا لهذه الإنتاجية الأكثر ارتفاعًا والتكلفة الأكثر انخفاضًا، تمكّننا Inferentia من نشر أعباء عمل الذكاء الاصطناعي (AI) الخاصة بنا مثل التطبيقات الخاصة بكاميرات عدادات السيارة على نطاق واسع."

هيرويكوكي يوميدا - رئيس ومدير عام، مجموعة المبيعات والتسويق بشركة Digital Media Professionals

Hotpot.ai

Hotpot.ai تمكّن غير المصممين من إنشاء رسومات جذابة وتساعد المصممين المحترفين على أتمتة المهام المتكررة. 

«نظرًا لأن تعلم الآلة جزء أساسي في إستراتيجيتنا، فنحن متحمسون لتجربة مثيلات Inf1 المستندة إلى AWS Inferentia. وجدنا أن مثيلات Inf1 سهلة التكامل مع مسار الأبحاث والتطوير لدينا. والأهم من كل هذا، أننا لاحظنا مكاسب مذهلة من حيث الأداء مقارنةً بمثيلات G4dn المستندة إلى GPU. من خلال نموذجنا الأول، قدمت مثيلات Inf1 معدل انتقال أعلى بنسبة 45% وتكلفة أقل لكل مثيل بنسبة 50% تقريبًا. وننوي العمل عن كثب مع فريق AWS لنقل نماذج أخرى وتحويل معظم البنية الأساسية الخاصة باستدلال تعلم الآلة (ML) لدينا إلى AWS Inferentia."

كلارينس هو، مؤسس Hotpot.ai

SkyWatch
"تعالج SkyWatch مئات التريليونات من وحدات البكسل لبيانات رصد الأرض الملتقطة من الفضاء يوميًا. كان اعتماد مثيلات Inf1 المستندة إلى AWS Inferentia الجديدة باستخدام Amazon SageMaker لاكتشاف السحابة في الوقت الفعلي وتسجيل جودة الصورة سريعًا وسهلاً. كان الأمر كله يتعلق بتبديل نوع المثيل في تكوين التوزيع الخاص بنا. قمنا بتحسين الأداء بنسبة 40٪ وخفض التكاليف الإجمالية بنسبة 23٪، من خلال تبديل أنواع المثيلات إلى Inf1 المستندة إلى Inferentia. شكَّل هذا مكسبًا كبيرًا. لقد مكننا ذلك من خفض تكاليف التشغيل الإجمالية مع الاستمرار في تقديم صور عالية الجودة عبر الأقمار الصناعية لعملائنا، مع الحد الأدنى من النفقات الهندسية. نحن نتطلع إلى نقل جميع نقاط نهاية الاستدلال وعمليات تعلم الآلة (ML) الجماعية لاستخدام مثيلات Inf1 لزيادة تحسين موثوقية بياناتنا وتجربة العملاء."

أدلر سانتوس، مدير قسم الهندسة، SkyWatch

خدمات Amazon التي تستخدم مثيلات Amazon EC2 Inf1

Amazon Advertising

تساعد Amazon Advertising الأعمال التجارية من جميع الأحجام على التواصل مع العملاء في كل مرحلة من مراحل رحلة التسوق الخاصة بهم. تخضع ملايين الإعلانات، بما فيها من نصوص وصور للمراجعة والتصنيف، ومن ثم يتم تقديمها لمنح العملاء تجربة مثالية كل يوم.

"فيما يتعلق بمعالجة الإعلانات النصية لدينا، ننشر نماذج BERT القائمة على PyTorch عالميًا على مثيلات Inf1 القائمة على AWS Inferentia. بانتقالنا من وحدات معالجة الرسومات (GPU) إلى Inferentia، تمكَّنا من خفض التكاليف بنسبة 69% بأداء قابل للمقارنة. استغرق تجميع نماذجنا واختبارها لـ AWS Inferentia أقل من ثلاثة أسابيع. أكَّد استخدام Amazon SageMaker لنشر نماذجنا إلى مثيلات Inf1 أن نشرنا قابل للتوسع وسهل الإدارة. عندما قمت بتحليل النماذج المجمعة لأول مرة، كان الأداء مع AWS Inferentia مثيرًا للإعجاب لدرجة أنني لجأت بالفعل إلى إعادة تشغيل المقاييس للتأكد من صحتها! من الآن فصاعدًا، نخطط لترحيل نماذج معالجة الإعلانات المصورة إلى Inferentia. لقد رصدنا بالفعل زمن استجابة أقل بنسبة 30% وتوفيرًا في التكلفة بنسبة 71% مقارنةً بالمثيلات المشابهة القائمة على وحدة معالجة الرسومات لهذه النماذج".

ياشال كانونجو، عالم تطبيقي، Amazon Advertising

اقرأ مدونة الأخبار »

Amazon Alexa
"إن الذكاء المستند إلى الذكاء الاصطناعي (AI) وتعلم الآلة (ML) من Amazon Alexa، المدعوم من Amazon Web Services، متاح على أكثر من 100 مليون جهاز اليوم، ونعد العملاء بأن تبقى Alexa دائمًا أكثر ذكاءً، وأكثر تحادثية، وأكثر استباقية، وأكثر بهجةً. يتطلب الوفاء بهذا الوعد تحسينات مستمرة في أوقات الاستجابة وتكاليف البنية التحتية لتعلم الآلة، ولهذا السبب نحن متحمسون لاستخدام Amazon EC2 Inf1 لخفض زمن الانتقال الخاص بالاستدلال وخفض تكلفة الاستدلال على تحويل النص إلى كلام Alexa. مع Amazon EC2 Inf1، سنتمكن من تحسين الخدمة لعشرات الملايين من العملاء الذين يستخدمون Alexa كل شهر."

توم تايلور، النائب الأول للرئيس في Amazon Alexa

"إننا نواصل الابتكار لتحسين تجربة عملائنا وتقليل تكاليف البنية التحتية لدينا. إن نقل أعباء العمل الخاصة بالإجابة على الأسئلة المستندة إلى الويب (WBQA) من مثيلات P3 المستندة إلى وحدة معالجة الرسومات إلى مثيلات Inf1 المستندة إلى AWS Inferentia لم يساعد في خفض تكاليف الاستدلال بنسبة 60% وحسب، بل أدى أيضًا إلى تحسين زمن الانتقال الشامل بأكثر من 40% وهذا يساعد في تحسين تجربة الأسئلة والأجوبة الخاصة بالعميل مع Alexa. إن استخدام Amazon SageMaker للنموذج القائم على Tensorflow أدى إلى تبسيط عملية التبديل إلى مثيلات Inf1 وتيسير إدارتها. إننا الآن نستخدم مثيلات Inf1 عالميًا لتشغيل أعباء عمل WBQA هذه وتحسين أدائها لـ AWS Inferentia لتقليل التكلفة وتقليل زمن الانتقال بشكل أكبر."

إريك ليند، مهندس تطوير البرمجيات في Alexa AI

Amazon Alexa
"يستخدم Amazon Prime Video نماذج التعلم الآلي المتعلقة برؤية الكمبيوتر لتحليل جودة الفيديو للأحداث المباشرة لضمان تجربة مثلى للمشاهد بالنسبة لأعضاء Prime Video. لقد نشرنا نماذج تعلم آلي تختص بتصنيف الصور على مثيلات EC2 Inf1 وشهدنا تحسنًا في الأداء بمقدار 4 أضعاف ووفورات في التكلفة تصل إلى 40%. إننا نتطلع الآن إلى الاستفادة من هذه الوفورات لابتكار وإنشاء نماذج متقدمة يمكنها اكتشاف العيوب الأكثر تعقيدًا مثل فجوات المزامنة بين ملفات الصوت والفيديو لتقديم المزيد من التحسينات في تجربة المشاهدة لأعضاء Prime Video".
 
فيكتور أنطونيو، مهندس حلول، Amazon Prime Video
Amazon Alexa
"Amazon Rekognition هو تطبيق بسيط وسهل لتحليل الصور ومقاطع الفيديو يساعد العميل في التعرّف على العناصر والأشخاص والنصوص والأنشطة. ويحتاج Amazon Rekognition إلى بنية تعلم عميق عالية الأداء يمكن من خلالها تحليل مليارات الصور ومقاطع الفيديو يوميًا لعملائنا. باستخدام مثيلات Inf1 القائمة على AWS Inferentia، نتج عن تشغيل نماذج Rekognition مثل تصنيف العناصر انخفاضًا في زمن الانتقال بثمانية أضعاف ومضاعفة معدل الانتقال مقارنةً بتشغيل هذه النماذج على وحدات معالجة الرسوميات. وبناءً على هذه النتائج، سوف ننقل Rekognition إلى Inf1، بما يمكّن عملاءنا من الحصول على نتائج دقيقة على نحو أسرع".
 
راجنيش سينغ، مدير هندسة البرمجيات، Rekognition and Video

التسعير

*الأسعار المعروضة في منطقة AWS في شرق الولايات المتحدة (شمال فرجينيا). أسعار المثيلات المحجوزة لمدة عام و3 أعوام هي لخيارات الدفع "مقدمًا جزئيًا" أو "بدون مقدم" للحالات التي لا تحتوي على خيار مقدم جزئي.

تتوفر مثيلات Amazon EC2 Inf1 في شرق الولايات المتحدة (شمال فرجينيا) أو مناطق AWS في غرب الولايات المتحدة (أوريغون) كمثيلات حسب الطلب أو محجوزة أو فورية.

بدء الاستخدام

استخدام Amazon SageMaker

ستسهل Amazon SageMakerمن التحويل البرمجي والنشر لنموذج تعلم الآلة المدرَّب الخاص بك في مرحلة الإنتاج على مثيلات Amazon Inf1؛ بحيث يمكنك بدء إنشاء التنبؤات في الوقت الحقيقي في زمن انتقال أقل. يندمج AWS Neuron، المحول البرمجي لـ AWS Inferentia، مع Amazon SageMaker Neo لتمكينك من التحويل البرمجي لنماذج تعلم الآلة المدربة لديك لتعمل بشكل محسّن على مثيلات Inf1. باستخدام Amazon SageMaker يمكنك أن تختار بسهولة تشغيل نماذجك على مجموعات توسيع تلقائي لمثيلات Inf1 والتي تنتشر عبر العديد من مناطق التوافر لتوفير استدلال في الوقت الحقيقي يتميز بكل من الأداء العالي والتوافر العالي. تعرَّف على طريقة النشر إلى Inf1 باستخدام Amazon SageMaker من خلال أمثلة على Github.

استخدام AWS Deep Learning AMI

تقدم نسخ AWS Deep Learning AMIs ‏(DLAMI) لمتدربي وباحثي تعلم الآلة البنية التحتية والأدوات لتسريع التعلم العميق في السحابة على أي نطاق. تأتي AWS Neuron SDK مثبتة مسبقًا فيAWS Deep Learning AMIs لتجميع نماذج تعلم الآلة وتشغيلها على النحو الأمثل في مثيلات Inf1. للمساعدة في إرشادك عبر عملية بدء الاستخدام، تفضل بزيارةدليل اختبار AMI والمزيد من موارد التعلم العميق. يُرجى الرجوع إلى دليل البدء في AWS DLAMI للتعرّف على كيفية استخدام DLAMI مع Neuron.

استخدام حاويات التعلم العميق

يمكن للمطورين الآن نشر مثيلات Inf1 في Amazon Elastic Kubernetes Service (EKS)، وهي خدمة Kubernetes مُدارة بالكامل، وكذلك في Amazon Elastic Container Service (ECS)، وهي خدمة تنسيق حاويات مُدارة بالكامل من Amazon. تعرَّف على المزيد حول بدء استخدام Inf1 على Amazon EKS أو مع Amazon ECS. يتوفر المزيد من التفاصيل حول تشغيل الحاويات في مثيلات Inf1 في صفحة البرنامج التعليمي لأدوات حاوية Neuron. تتوفر خدمة Neuron أيضًا بتثبيت مسبق في حاويات AWS DL.

المدونات والمقالات

تقديم 3000 نموذج تعلم عميق على Amazon EKS مع AWS Inferentia مقابل أقل من 50 USD في الساعة

بقلم أليكس إنكولسكي، وجوشوا كوريي، وماهاديفان بالاسوبرامانيام، وسوندار رانجاناثا، بتاريخ 30 / 9 / 2021

Amazon ECS تدعم الآن مثيلات EC2 Inf1

بقلم جولين سيمون، بتاريخ 14 / 8 / 2020

نشر TensorFlow OpenPose على مثيلات Inf1 المستندة إلى AWS Inferentia لتحسين أداء السعر بشكل كبير

بقلم فابيو نوناتو دي باولا وهايشن لي، بتاريخ 07/22/2020

Amazon EKS تدعم مثيلات Inf1 من EC2

بقلم جولين سيمون، بتاريخ 15/6/2020