يدعم كتالوج بيانات AWS Glue الآن تحسين التخزين لجداول Apache Iceberg
يدعم كتالوج بيانات AWS Glue الآن تحسين التخزين لجداول Apache Iceberg عن طريق إزالة ملفات البيانات التي لم تعد هناك حاجة إليها تلقائيًا. تؤدي كل عملية كتابة إلى جدول Iceberg إلى إنشاء لقطة جديدة أو نسخة جديدة من الجدول. بالإضافة إلى ذلك، ستؤدي أي حالات فشل أثناء الكتابة إلى جداول Iceberg إلى إنشاء ملفات بيانات لا تتم الإشارة إليها في اللقطات المعروفة باسم الملفات «اليتيمة» التي تزيد من تكاليف التخزين. ستساعدك تحسينات التخزين الجديدة في كتالوج AWS Glue إلى جانب الضغط الآلي على تقليل عبء البيانات الوصفية والتحكم في تكاليف التخزين وتحسين أداء الاستعلام.
مع هذا الإطلاق، يمكنك تمكين تحسين جدول كتالوج AWS Glue ليشمل إدارة اللقطات والبيانات اليتيمة. يمكنك تحسين تخطيط Amazon S3 من خلال توفير التكوين مثل فترة الاستبقاء الافتراضية والأيام للاحتفاظ بالملفات اليتيمة. بمجرد التمكين، يقوم كتالوج AWS Glue بمراقبة الجداول بشكل دوري وإزالة اللقطات من البيانات الوصفية للجدول وإزالة ملفات بيانات Amazon S3 والملفات اليتيمة التي لم تعد هناك حاجة إليها. يمكنك عرض محفوظات عدد البيانات والبيان وقوائم البيان والملفات اليتيمة المحذوفة من تبويب تحسين الجدول في وحدة تحكم كتالوج Glue.
بالإضافة إلى وحدة تحكم AWS، يمكن للعملاء أيضًا استخدام AWS CLI أو AWS SDKs لتمكين تحسين جدول جداول Apache Iceberg. يتوفر التحسين التلقائي لجداول Iceberg في 13 منطقة من مناطق AWS في شرق الولايات المتحدة (شمال فيرجينيا، أوهايو) وغرب الولايات المتحدة (أوريجون) وأوروبا (أيرلندا، لندن، فرانكفورت، ستوكهولم) وآسيا والمحيط الهادئ (طوكيو، سول، مومباي، سنغافورة، سيدني) وأمريكا الجنوبية (ساو باولو). لمعرفة المزيد، اقرأ المدونة وتفضل بزيارة وثائق كتالوج بيانات AWS Glue.