Amazon MSK Ekspres komisyoncuları artık Apache Iceberg için akış tablolarına veri sunuyor
Amazon MSK Ekspres komisyoncuları artık Apache Kafka konularını Amazon S3 Tablolarındaki Apache Iceberg tabloları olarak sürekli olarak gerçekleştiren yeni Apache Iceberg özelliği için akış tablolarına veri aktarıyor. Akış tablolarına Amazon MSK veri teslimatı, Apache Kafka verilerini Amazon S3 Tabloları'na alma ve teslim etme maliyetini, kendi yönetimindeki Apache Kafka dağıtımlarına kıyasla %60'a kadar azaltabilir ve aşağı yönlü sorgu maliyetlerini %30'a kadar düşürür.
Müşteriler, dolandırıcılık tespiti ve kişiselleştirme gibi kullanım durumlarında gerçek zamanlı verileri almak için Apache Kafka'ya güveniyor ve bu verileri gerçek zamanlı analitik için Apache Iceberg tablolarıyla birleştirmek istiyor, ancak bu ikisini entegre etmek onları karmaşık özel işlem hatları çalıştırmaya, format dönüşümleri yönetmeye ve yüksek hacimli alımın aşağı yönlü sorguları yavaşlatan ve maliyetleri artıran birçok küçük parquet dosyası oluşturduğu küçük dosya sorunuyla mücadele etmeye zorluyor. Bu özellik sayesinde akıllı satır içi sıkıştırma, küçük dosyaların performans etkisini ortadan kaldırır ve veri tazeliğinden ödün vermeden sorgu performansını öngörülebilir tutarken, yerleşik koordinasyon, yüksek aktarım hızlı tüketiciler arasındaki zaman uyumlu yazar çakışmalarını çözer. Amazon MSK, Amazon S3 Tablolar üzerinde Apache Iceberg'e teslimat için 10 GB/s'ye kadar aktarım hızını destekler ve bu yerel özellik komisyoncu çıkış aktarım hızı sağlamadığından, müşteriler bağlayıcı işlem hatlarını ölçeklendirmenin artımlı altyapı maliyetlerinden kaçınır ve kapasiteyi en yüksek talep yerine gerçek talebe göre eşleştirir. Müşteriler, verileri akış tablolarına ulaştırır ve Apache Spark, Trino veya Apache Flink dahil olmak üzere müşterinin seçtiği herhangi bir motorla verileri sorgular veya dönüştürür.
Başlamak için müşteriler Amazon MSK konsolunu açar, Ekspres kümesini seçer ve özelliği birkaç tıklamayla etkinleştirir veya MSK API'lerini veya MCP sunucusunu kullanır. Akış tablolarına Amazon MSK veri teslimatı, bugün Amazon MSK Ekspres komisyoncularının sunulduğu her AWS Bölgesinde kullanılabilir. Fiyatlandırma bilgileri için fiyatlandırma sayfasını ziyaret edin. Daha fazla bilgi edinmek için Amazon MSK Geliştirici Kılavuzu ve Amazon MSK Yapay Zeka becerileri sayfalarını ziyaret edin.