وسطاء Amazon MSK Express توفر الآن إمكانية تسليم البيانات إلى الجداول المتدفقة لـ Apache Iceberg
تقوم وسطاء Amazon MSK Express الآن بتسليم البيانات إلى الجداول المتدفقة لـ Apache Iceberg، وهي قدرة جديدة تقوم باستمرار بتحويل موضوعات Apache Kafka إلى جداول Apache Iceberg على جداول Amazon S3. يمكن أن يقلل تسليم بيانات Amazon MSK إلى الجداول المتدفقة من تكلفة استيعاب بيانات Apache Kafka وتسليمها إلى جداول Amazon S3 بنسبة تصل إلى 60٪ مقارنة بعمليات النشر المُدارة ذاتيًا ويقلل من تكاليف الاستعلامات اللاحقة بنسبة تصل إلى 30٪ مقارنة بعمليات نشر Apache Kafka المُدارة ذاتيًا.
يعتمد العملاء على Apache Kafka لاستيعاب البيانات في الوقت الفعلي لحالات الاستخدام مثل اكتشاف الاحتيال والتخصيص ويهتمون بشكل متزايد بدمج تلك البيانات مع جداول Apache Iceberg لإجراء تحليلات شبه فورية، ولكن دمج الاثنين يفرض عليهم تشغيل مسارات مخصصة معقدة وإدارة تحويلات التنسيق والتعامل مع مشكلة الملفات الصغيرة، حيث يؤدي الاستيعاب بكميات كبيرة إلى إنشاء العديد من ملفات parquet الصغيرة التي تبطئ الاستعلامات اللاحقة وتزيد التكاليف. باستخدام هذه الإمكانية، يعمل الضغط المضمن الذكي على التخلص من تأثير الملفات الصغيرة على الأداء والحفاظ على إمكانية التنبؤ بأداء الاستعلامات دون التضحية بحداثة البيانات، بينما يعمل التنسيق المدمج على معالجة تعارضات الكتابة المتزامنة بين المستهلكين ذوي الإنتاجية العالية. تدعم Amazon MSK معدل نقل يصل إلى 10 جيجابت/ثانية للتسليم إلى Apache Iceberg على جداول Amazon S3، ولأن هذه الإمكانية الأصلية لا تضيف أي معدل نقل للبيانات الصادرة من الوسيط، يتجنب العملاء تكاليف البنية التحتية الإضافية لتوسيع مسارات الموصلات ويقومون بمطابقة السعة مع الطلب الفعلي بدلاً من الذروة. يقوم العملاء بتسليم البيانات إلى الجداول المتدفقة والاستعلام عن البيانات أو تحويلها باستخدام أي محرك من اختيارهم، بما في ذلك Apache Spark أو Trino أو Apache Flink.
للبدء، يفتح العملاء وحدة تحكم Amazon MSK، ويحددون مجموعة Express، ويفعّلون الإمكانية ببضع نقرات، أو يستخدمون واجهات برمجة تطبيقات MSK أو خادم MCP. تسليم بيانات Amazon MSK إلى الجداول المتدفقة متاح اليوم في جميع مناطق AWS حيث يتم تقديم وسطاء Amazon MSK Express. للحصول على معلومات التسعير، تفضل بزيارة صفحة التسعير. لمعرفة المزيد، تفضل بزيارة دليل مطوري Amazon MSK ومهارات الذكاء الاصطناعي الخاصة بـ Amazon MSK.