موصل AWS لـ Amazon Redshift - تكامل Amazon Redshift لميزات Apache Spark

يعمل تكامل Amazon Redshift لـ Apache Spark على تبسيط وتسريع تطبيقات Apache Spark التي تصل إلى بيانات Amazon Redshift من خدمات تحليلات AWS مثل Amazon EMR وAWS Glue وAmazon SageMaker. باستخدام Amazon EMR وAWS Glue وSageMaker، يمكنك بسرعة إنشاء تطبيقات Apache Spark التي تقرأ البيانات من مستودع بيانات Amazon Redshift لديك وتكتبها إليه، دون المساس بالأداء أو اتساق المعاملات. يستخدم تكامل Amazon Redshift لـ Apache Spark أيضًا بيانات الاعتماد المستندة إلى AWS إدارة الهوية والوصول (IAM) في AWS لتعزيز الأمان. باستخدام تكامل Amazon Redshift لـ Apache Spark، لا حاجة إلى الإعداد اليدوي وصيانة للإصدارات غير المعتمدة من موصلات الجهات الخارجية. يمكنك البدء بمهام Apache Spark باستخدام البيانات في Amazon Redshift في ثوانٍ. يعمل هذا التكامل الجديد على تحسين أداء تطبيقات Apache Spark باستخدام بيانات Amazon Redshift.

تكامل Amazon Redshift لـ Apache Spark‏ (1:24)

المزايا

تحسين تحليلات Apache Spark باستخدام بيانات Amazon Redshift

توسيع نطاق مصادر البيانات التي يمكنك استخدامها في التحليلات الثرية وتطبيقات تعلم الآلة (ML) التي تعمل في Amazon EMR أو AWS Glue أو SageMaker من خلال قراءة البيانات من مستودع البيانات الخاص بك وكتابتها إليه.

الوصول إلى بيانات Amazon Redshift بأقل قدر من الإعداد

تبسيط العملية المرهقة والتي تكون في كثير من الأحيان يدوية لإعداد الموصلات غير المعتمدة وبرامج تشغيل JDBC، مما يقلل من وقت التحضير لمهام التحليلات والتعلم الآلي.

تحسين الأداء والأمان باستخدام موصل Amazon المعتمد

استخدام العديد من إمكانيات الدفع لأسفل مثل وظائف الفرز والتجميع والحد والانضمام والتدرج بحيث تُنقل البيانات ذات الصلة فقط من مستودع بيانات Amazon Redshift.

طريقة العمل

استخدام خدمات AWS لإنشاء تطبيقات Apache Spark التي تقرأ وتكتب في مستودع بيانات Amazon Redshift لديك.

حالات الاستخدام

بناء تطبيقات الاستخراج والانتقال والتحميل (ETL) وتعلّم الآلة (ML) والتطبيقات التفاعلية

إنشاء تطبيقات Apache Spark في Java وScala وPython باستخدام خدمات تحليلات AWS المستندة إلى Apache Spark.

الاتصال بمستودع بيانات Amazon Redshift الخاص بك

قراءة البيانات وكتابتها من Amazon Redshift وإليها باستخدام خدمات Amazon EMR وAWS Glue وSageMaker وAWS Analytics وML.

تشغيل الاستعلامات في غضون ثوانٍ

استخدام Amazon EMR أو AWS Glue لأخذ تعليمة إطار البيانات البرمجية من مهمة Apache Spark أو دفتر ملاحظات خاص بك والاتصال بـ Amazon Redshift.

موصل مُعتمد من AWS للاستخدام الفوري

تبسيط عمليتك بدون تثبيت أو اختبار، وتعزيز الأمان (بيانات الاعتماد المستندة إلى IAM) وعمليات الدفع التشغيلية وتنسيق ملف Parquet للأداء.

العملاء

إن Huron هي شركة خدمات مهنية عالمية تتعاون مع العملاء لتطبيق ما يمكن تطبيقه من خلال إنشاء الإستراتيجيات السليمة، وتحسين العمليات، وتسريع التحول الرقمي، وتمكين الشركات وأفرادها من الإمساك بزمام مستقبلهم.

"نحن نمكّن مهندسينا من بناء مسارات البيانات والتطبيقات الخاصة بهم مع Apache Spark باستخدام Python وScala." لقد أردنا حلاً مصممًا خصيصًا ليبسط العمليات ويقدم النتائج بشكل أسرع وأكثر كفاءة لعملائنا، وهذا ما نحصل عليه من خلال تكامل Amazon Redshift الجديد لـ Apache Spark.

كوري جونسون، مدير مهندس البيانات - Huron للاستشارات

شركة GE Aerospace هي مزود عالمي للمحركات النفاثة ومكونات الطائرات التجارية والعسكرية وأنظمتها. تقوم الشركة بتصميم المحركات النفاثة وتطويرها وتصنيعها منذ الحرب العالمية الأولى.

"تستخدم GE Aerospace تحليلات AWS وAmazon Redshift لتمكين رؤى الأعمال الحرجة التي تقود اتخاذ قرارات الأعمال المهمة. من خلال دعم النسخ التلقائي من Amazon S3، يمكننا إنشاء مسارات بيانات أبسط لنقل البيانات من Amazon S3 إلى Amazon Redshift. هذا يزيد من سرعة وقدرة فرق منتجات البيانات لدينا على الوصول إلى البيانات وتقديم رؤى للمستخدمين النهائيين. نمضي وقتًا أطول لإضافة القيمة من خلال البيانات، ووقتًا أقل في عمليات التكامل."

ألكوين ويدوس، مهندس البيانات الرئيسي - GE Aerospace

مجموعة Goldman Sachs المحدودة هي مؤسسة مالية عالمية رائدة تقدم نطاقًا واسعًا من الخدمات المالية تشمل الخدمات المصرفية الاستثمارية، والأوراق المالية، وإدارة الاستثمار، والخدمات المصرفية للأفراد، إلى قاعدة عملاء كبيرة ومتنوعة تضم الشركات والمؤسسات المالية والحكومات والأفراد.

"ينصب تركيزنا على توفير الخدمة الذاتية للوصول إلى البيانات لجميع مستخدمينا في Goldman Sachs. من خلال Legend، منصتنا مفتوحة المصدر لإدارة وحوكمة البيانات، نمكّن المستخدمين من تطوير تطبيقات تتمحور حول البيانات واشتقاق رؤى مستندة إلى البيانات، في الوقت الذي نتعاون فيه معهم في جميع جوانب صناعة الخدمات المالية. من خلال تكامل Amazon Redshift مع Apache Spark، سيتمكن فريق منصة البيانات لدينا من الوصول إلى بيانات Amazon Redshift بأقل عدد من الخطوات اليدوية - مما يسمح بالاستخراج والانتقال والتحميل (ETL) بلا تعليمات برمجية، الأمر الذي سيمكننا من التسهيل على المهندسين أن يصبوا كامل تركيزهم على تحسين سير عملهم أثناء قيامهم بجمع معلومات كاملة في الوقت المناسب. نتوقع أن نشهد تحسنًا في أداء التطبيقات وتحسين الأمان حيث يمكن لمستخدمينا الآن الوصول بسهولة إلى أحدث البيانات في Amazon Redshift."

نيما رافايل، كبير مسؤولي البيانات - Goldman Sachs