تكامل Amazon Redshift لـ Apache Spark يبسط و تطبيقات Apache Spark ويسرعها والتي تصل إلى بيانات Amazon Redshift من خدمات تحليلات AWS مثل Amazon EMR و AWS Glue و Amazon SageMaker. باستخدام Amazon EMR وAWS Glue وSageMaker، يمكنك بسرعة إنشاء تطبيقات Apache Spark التي تقرأ البيانات من مستودع بيانات Amazon Redshift لديك وتكتبها إليه، دون المساس بالأداء أو اتساق المعاملات. يستخدم تكامل Amazon Redshift لـ Apache Spark أيضًا بيانات الاعتماد المستندة إلى AWS إدارة الهوية والوصول (IAM) في AWS لتعزيز الأمان. باستخدام تكامل Amazon Redshift لـ Apache Spark، لا حاجة إلى الإعداد اليدوي وصيانة للإصدارات غير المعتمدة من موصلات الجهات الخارجية. يمكنك البدء بمهام Apache Spark باستخدام البيانات في Amazon Redshift في ثوانٍ. يعمل هذا التكامل الجديد على تحسين أداء تطبيقات Apache Spark باستخدام بيانات Amazon Redshift.
كيفية العمل
يتكون المخطط من خمس خطوات رئيسة. يتضمن العمود أقصى اليسار ثلاثة مربعات فوق بعضها البعض، مكتوب فيها (من أعلى إلى أسفل): AWS Glue وAmazon EMR وAmazon SageMaker. تشير هذه المربعات إلى العمود/ المربع الأوسط، المكتوب فيه "الوصول إلى البيانات في Amazon Redshift من خلال تطبيقات Apache Spark." يشير المربع الأوسط إلى المربع في أقصى اليمين المكتوب فيه "Amazon Redshift".
العملاء
إن Huron هي شركة خدمات مهنية عالمية تتعاون مع العملاء لتطبيق ما يمكن تطبيقه من خلال إنشاء الإستراتيجيات السليمة، وتحسين العمليات، وتسريع التحول الرقمي، وتمكين الشركات وأفرادها من الإمساك بزمام مستقبلهم.
"نحن نمكّن مهندسينا من بناء مسارات البيانات والتطبيقات الخاصة بهم مع Apache Spark باستخدام Python وScala." لقد أردنا حلاً مصممًا خصيصًا ليبسط العمليات ويقدم النتائج بشكل أسرع وأكثر كفاءة لعملائنا، وهذا ما نحصل عليه من خلال تكامل Amazon Redshift الجديد لـ Apache Spark.
كوري جونسون، مدير مهندس البيانات - Huron للاستشارات
شركة GE Aerospace هي مزود عالمي للمحركات النفاثة ومكونات الطائرات التجارية والعسكرية وأنظمتها. تقوم الشركة بتصميم المحركات النفاثة وتطويرها وتصنيعها منذ الحرب العالمية الأولى.
"تستخدم GE Aerospace تحليلات AWS وAmazon Redshift لتمكين رؤى الأعمال الحرجة التي تقود اتخاذ قرارات الأعمال المهمة. من خلال دعم النسخ التلقائي من Amazon S3، يمكننا إنشاء مسارات بيانات أبسط لنقل البيانات من Amazon S3 إلى Amazon Redshift. هذا يزيد من سرعة وقدرة فرق منتجات البيانات لدينا على الوصول إلى البيانات وتقديم رؤى للمستخدمين النهائيين. نمضي وقتًا أطول لإضافة القيمة من خلال البيانات، ووقتًا أقل في عمليات التكامل."
ألكوين ويدوس، مهندس البيانات الرئيسي - GE Aerospace
مجموعة Goldman Sachs المحدودة هي مؤسسة مالية عالمية رائدة تقدم نطاقًا واسعًا من الخدمات المالية تشمل الخدمات المصرفية الاستثمارية، والأوراق المالية، وإدارة الاستثمار، والخدمات المصرفية للأفراد، إلى قاعدة عملاء كبيرة ومتنوعة تضم الشركات والمؤسسات المالية والحكومات والأفراد.
"ينصب تركيزنا على توفير الخدمة الذاتية للوصول إلى البيانات لجميع مستخدمينا في Goldman Sachs. من خلال Legend، منصتنا مفتوحة المصدر لإدارة وحوكمة البيانات، نمكّن المستخدمين من تطوير تطبيقات تتمحور حول البيانات واشتقاق رؤى مستندة إلى البيانات، في الوقت الذي نتعاون فيه معهم في جميع جوانب صناعة الخدمات المالية. من خلال تكامل Amazon Redshift مع Apache Spark، سيتمكن فريق منصة البيانات لدينا من الوصول إلى بيانات Amazon Redshift بأقل عدد من الخطوات اليدوية - مما يسمح بالاستخراج والانتقال والتحميل (ETL) بلا تعليمات برمجية، الأمر الذي سيمكننا من التسهيل على المهندسين أن يصبوا كامل تركيزهم على تحسين سير عملهم أثناء قيامهم بجمع معلومات كاملة في الوقت المناسب. نتوقع أن نشهد تحسنًا في أداء التطبيقات وتحسين الأمان حيث يمكن لمستخدمينا الآن الوصول بسهولة إلى أحدث البيانات في Amazon Redshift."
نيما رافايل، كبير مسؤولي البيانات - Goldman Sachs