تضيف Amazon Redshift دعمًا لإنشاء وتحديث طرق العرض المادية لـ Apache Iceberg
تدعم Amazon Redshift الآن إنشاء وتحديث طرق العرض المادية لـ Apache Iceberg. تقوم طرق العرض المادية بحساب عمليات الانضمام والتجميعات المكلفة مسبقًا مرة واحدة وتخزين النتائج في جدول Apache Iceberg في حاويات تخزين Amazon S3 أو جدول Amazon S3، المسجلة في كتالوج بيانات AWS Glue. يتم إنشاء طرق العرض المادية باستخدام SQL المألوف — CREATE MATERIALIZED VIEW ... USING ICEBERG والنتائج يمكن الاستعلام عنها على الفور بواسطة أي محرك متوافق مع Iceberg، بما في ذلك Amazon Athena وApache Spark على Amazon EMR وAWS Glue ومحركات الطرف الثالث مثل Trino أو Snowflake. تبقيها Redshift محدّثة من خلال إعادة حساب ما تغير فقط مع التحديث التدريجي اليدوي، ولأن النتائج عبارة عن جداول Iceberg في كتالوج بيانات Glue، يتم التحكم فيها واكتشافها مثل أي جدول كتالوج آخر.
غالبًا ما تقوم فرق البيانات ببناء التحليلات على مراحل، حيث تقوم بتجميع محركات مختلفة لتنظيف البيانات الأولية وتحويلها قبل تقديمها. هذا يضيف نفقات تنسيق المسارات ويمكن أن يؤدي إلى اختلافات دلالية بين المحركات. تقدم طرق العرض المادية في Iceberg القيمة بطريقتين. أولاً، بدلاً من قيام مئات المستخدمين والفرق بإعادة تشغيل نفس عمليات الانضمام والتجميعات المكلفة، وإعادة مسح جداول المصدر في كل استعلام، يمكنك حساب النتيجة مرة واحدة ويقرأ الجميع الجدول المحسوب مسبقًا. ثانيًا، يمكنك تشغيل مسارًا شاملاً باستخدام محرك واحد مثل Apache Spark والآن Amazon Redshift، ويشارك كل مستهلك في المرحلة النهائية نفس النتيجة المفتوحة دون عبء تنسيق محركات متعددة. في كلتا الحالتين، يكون الإخراج عبارة عن جدول Iceberg مفتوح يمكن لأي محرك قراءته بدون نسخ أو تحويل. لا يزال بإمكانك تحميل هذه الجداول إلى Redshift Managed Storage (RMS) كطرق عرض أصلية لـ RMS للوحات المعلومات الأكثر حساسية للأداء.
يمكنك إنشاء طرق عرض Iceberg المادية في أي منطقة يتم فيها دعم مثيلات Redshift بلا خادم ومثيلات Graviton المتوفرة. لمعرفة المزيد، اطلع على طرق العرض المادية المخزنة كجداول Apache Iceberg في دليل مطوري قاعدة بيانات Amazon Redshift، ومرجع الأمر CREATE MATERIALIZED VIEW، إنشاء عرض مادي مرة واحدة والاستعلام في أي مكان على المدونة.