Amazon Redshift menambahkan dukungan untuk membuat dan memperbarui tampilan terwujud Apache Iceberg
Amazon Redshift kini mendukung pembuatan dan pembaruan tampilan terwujud Apache Iceberg. Tampilan terwujud melakukan pra-komputasi penggabungan dan agregasi yang memakan banyak sumber daya sekali saja, kemudian menyimpan hasilnya dalam tabel Apache Iceberg di Amazon S3 atau bucket tabel Amazon S3, yang terdaftar di Katalog Data AWS Glue. Tampilan terwujud dibuat menggunakan SQL yang sudah familiar — BUAT TAMPILAN TERWUJUD ... Dengan menggunakan Iceberg, hasilnya dapat langsung dicari oleh mesin yang kompatibel dengan Iceberg, termasuk Amazon Athena, Apache Spark di Amazon EMR dan AWS Glue, serta mesin pihak ketiga seperti Trino, atau Snowflake. Redshift menjaga agar data tersebut selalu mutakhir dengan menghitung ulang hanya apa yang telah berubah melalui penyegaran inkremental manual, dan karena hasilnya berupa tabel Iceberg di Katalog Data Glue, data tersebut diatur dan ditemukan seperti tabel katalog lainnya.
Tim data sering membangun analitik secara bertahap, menggabungkan berbagai mesin untuk membersihkan dan mengubah data mentah sebelum menyajikannya. Hal ini menambah beban kerja orkestrasi pipeline dan dapat menimbulkan perbedaan semantik antar mesin. Tampilan terwujud Iceberg memberikan nilai dalam dua cara. Pertama, alih-alih ratusan pengguna dan tim menjalankan ulang operasi join dan agregasi yang mahal, serta memindai ulang tabel sumber pada setiap kueri, Anda menghitung hasilnya sekali dan semua orang membaca tabel yang telah dihitung sebelumnya. Kedua, Anda dapat menjalankan pipeline ujung-ke-ujung menggunakan satu mesin tunggal seperti Apache Spark dan sekarang Amazon Redshift, dan setiap konsumen hilir berbagi hasil terbuka yang sama tanpa beban tambahan dari pengkoordinasian beberapa mesin. Bagaimanapun caranya, output-nya adalah tabel Iceberg terbuka yang dapat dibaca oleh mesin apa pun tanpa perlu menyalin atau mengkonversi. Anda masih dapat memuat tabel-tabel ini ke dalam Redshift Managed Storage (RMS) sebagai tampilan terwujud RMS asli untuk dasbor Anda yang paling sensitif terhadap performa.
Anda dapat membuat Tampilan Terwujud Iceberg di region mana pun yang mendukung Redshift Nirserver dan instans Graviton yang diprovisi. Untuk mempelajari lebih lanjut, lihat Tampilan terwujud yang disimpan sebagai tabel Apache Iceberg di Panduan Pengembang Basis Data Amazon Redshift, referensi perintah BUAT TAMPILAN TERWUJUD, dan postingan blog Wujudkan sekali, kueri di mana saja.