توفر Amazon Data Firehose تدفقات البيانات في جداول بتنسيق Apache Iceberg في Amazon S3
يمكن الآن لـ Amazon Data Firehose (Firehose) توصيل تدفقات البيانات إلى جداول Apache Iceberg في Amazon S3.
تمكّن Firehose العملاء من الحصول على تدفقات البيانات وتحويلها وتسليمها إلى Amazon S3 وAmazon Redshift وOpenSearch وSplunk وSnowflake ووجهات أخرى للتحليلات. بفضل هذه الميزة الجديدة، يتكامل Firehose مع Apache Iceberg، بحيث يمكن للعملاء توصيل تدفقات البيانات مباشرة إلى جداول Apache Iceberg في مخزن بيانات Amazon S3 الخاص بهم. يمكن لـ Firehose الحصول على تدفقات البيانات من تدفق بيانات Kinesis أو Amazon MSK أو Direct PUT API، وهي مدمجة أيضًا للحصول على التدفقات من خدمات AWS مثل سجلات ACL على الويب AWS WAF، وسجلات Amazon CloudWatch، وسجلات تدفق Amazon VPC، وAWS IOT، وAmazon SNS، وسجلات AWS API Gateway Access، والعديد من السجلات الأخرى المدرجة هنا. يمكن للعملاء بث البيانات من أي من هذه المصادر مباشرةً إلى جداول Apache Iceberg في Amazon S3، وتجنب العمليات متعددة الخطوات. يتوفر Firehose بدون خادم، لذلك يمكن للعملاء ببساطة إعداد البث من خلال تكوين خصائص المصدر والوجهة، والدفع بناءً على وحدات البايت التي تمت معالجتها.
تتيح الميزة الجديدة أيضًا للعملاء توجيه السجلات في تدفق البيانات إلى جداول Apache Iceberg المختلفة استنادًا إلى محتوى السجل الوارد. لتوجيه السجلات إلى جداول مختلفة، يمكن للعملاء تكوين قواعد التوجيه باستخدام تعبيرات JSON. بالإضافة إلى ذلك، يمكن للعملاء تحديد ما إذا كان السجل الوارد يجب أن يطبق عملية تحديث أو حذف على مستوى الصف في جدول Apache Iceberg الوجهة، وأتمتة معالجة سيناريوهات تصحيح البيانات وحق النسيان.
للبدء، تفضل بزيارة وثائق Amazon Data Firehose والأسعار ووحدة التحكم.