تعلن AWS عن دعمها لمتجهات الحذف ونسب الصفوف الخاصة بـ Apache Iceberg V3
تدعم الآن AWS متجهات الحذف ونسب الصفوف على النحو المحدد في مواصفات Apache Iceberg الإصدار 3 (V3). تتوفر هذه الميزات الجديدة مع Apache Spark على Amazon EMR 7.12 وAWS Glue وأجهزة الكمبيوتر المحمولة من Amazon SageMaker وجداول Amazon S3 وكتالوج بيانات AWS Glue.
تساعد إمكانات Iceberg V3 العملاء على إنشاء مستودعات بيانات مركزية بحجم البيتابايت مع أداء محسّن لتعديلات البيانات والوظائف لتتبع السجلات المتغيرة بسهولة. تقوم متجهات الحذف بكتابة ملفات حذف محسّنة تعمل على تسريع مسارات البيانات وتقليل تكاليف ضغط البيانات. يوفر نسب الصفوف حقول بيانات التعريف في كل سجل لتتبع التغييرات باستخدام استعلام SQL بسيط، مما يلغي المصاريف الحسابية للعثور على تغييرات صغيرة في الجداول الكبيرة.
ابدأ في إنشاء جداول V3 عن طريق تعيين خاصية الجدول إلى 'format-version = 3' في أمر CREATE TABLE في Spark أو دفتر ملاحظات SageMaker. لترقية الجداول الحالية، ما عليك سوى تحديث خاصية الجدول في البيانات الوصفية باستخدام إصدار التنسيق الجديد. عند القيام بذلك، ستبدأ محركات استعلام AWS التي تدعم V3 تلقائيًا في استخدام متجهات الحذف ونسب الصفوف.
تتوفر الآن متجهات حذف Iceberg V3 ونسب الصفوف في جميع مناطق AWS حيث يتم دعم كل خدمة/ميزة معنية — Amazon EMR وAWS Glue ودفاتر ملاحظات SageMaker وجداول S3 وكتالوج بيانات AWS Glue. لمعرفة المزيد حول دعم AWS لـ Iceberg V3، تفضل بزيارة Apache Iceberg V3 على AWS، واقرأ منشور المدونة.