تدعم Amazon S3 الآن ضغط تنسيقات Apache Avro وORC لجداول Apache Iceberg
قامت Amazon S3 بتوسيع دعم الضغط ليشمل تنسيقات Apache Avro وORC لجداول Apache Iceberg، مما يُكمل إمكانات تنسيق Parquet الحالية. يعمل هذا التحسين عبر كل من جداول S3 وحاويات تخزين S3 للأغراض العامة باستخدام تحسين كتالوج بيانات AWS Glue.
في حين أن Parquet هو التنسيق الافتراضي لجداول Iceberg، يمكنك أيضًا كتابة البيانات بتنسيقات Avro أو ORC لأعباء عمل محددة. على سبيل المثال، يمكنك استخدام Avro لتحسين أداء الكتابة لاستيعاب البيانات وحالات استخدام البث مثل معاملات الشراء اليومية أو بث بيانات المستشعر أو جمع مرات ظهور الإعلان. تقوم جداول S3 تلقائيًا بضغط الملفات الصغيرة إلى ملفات أكبر لتقليل البيانات الممسوحة ضوئيًا وتحسين أداء الاستعلام وتقليل التكاليف. افتراضيًا، يقوم الضغط بتحويل ملفات Avro وORC إلى Parquet للحصول على أداء قراءة مثالي، ولكن يمكنك تحديد التنسيق المستهدف المفضل لديك في خصائص الجدول.
يتوفر دعم الضغط لتنسيقات Apache Avro وORC الآن في جميع مناطق AWS حيث تتوفر جداول S3 أو التحسين باستخدام كتالوج بيانات AWS Glue. لمعرفة المزيد حول ضغط جداول S3، اطلع على وثائق صيانة جداول S3. لتحسين حاوية التخزين للأغراض العامة، راجع وثائق تحسين كتالوج بيانات AWS Glue.