- Penyimpanan›
- Amazon S3›
- Tabel Amazon S3
Tabel Amazon S3
Optimalkan performa kueri dan biaya saat skala danau data Anda makin besar
Simpan data yang tersusun di tabel dalam skala besar di S3
Tabel Amazon S3 menghadirkan penyimpanan objek cloud pertama dengan dukungan Apache Iceberg bawaan dan menyederhanakan penyimpanan data yang tersusun di tabel dalam skala besar. Optimisasi tabel berkelanjutan secara otomatis memindai dan menulis ulang data tabel di latar belakang, sehingga mencapai performa kueri hingga 3x lebih cepat dibandingkan dengan tabel Iceberg yang tidak terkelola. Optimisasi performa ini akan terus meningkat dari waktu ke waktu. Selain itu, Tabel S3 mencakup optimisasi khusus untuk beban kerja Iceberg yang memberikan transaksi per detik hingga 10x lebih tinggi dibandingkan dengan tabel Iceberg yang disimpan dalam bucket S3 tujuan umum. Untuk detail selengkapnya tentang peningkatan kinerja kueri Tabel S3, lihat posting blog.
Dengan dukungan Tabel S3 untuk standar Apache Iceberg, data tabular Anda dapat dengan mudah dikueri oleh AWS dan mesin kueri pihak ketiga yang populer. Gunakan Tabel S3 untuk menyimpan data yang disusun di tabel, seperti transaksi pembelian harian, data sensor streaming, atau tayangan iklan sebagai tabel Iceberg di S3, dan optimalkan performa dan biaya seiring berkembangnya data menggunakan pemeliharaan tabel otomatis. Baca posting blog untuk mempelajari lebih lanjut.
Keuntungan
Sederhanakan danau data dalam skala apa pun, baik Anda baru memulai atau mengelola ribuan tabel di lingkungan Iceberg Anda.
Dapatkan performa kueri hingga 3x lebih cepat melalui optimisasi tabel berkelanjutan dibandingkan dengan tabel Iceberg yang tidak terkelola, dan transaksi per detik hingga 10x lebih tinggi dibandingkan tabel Iceberg yang disimpan dalam bucket S3 tujuan umum.
Lakukan tugas pemeliharaan tabel terus-menerus, seperti pemadatan, manajemen snapshot, dan penghapusan file tanpa referensi untuk secara otomatis mengoptimalkan efisiensi kueri dan biaya dari waktu ke waktu.
Akses kemampuan analitik Iceberg tingkat lanjut dan lakukan kueri data menggunakan layanan AWS yang sudah dikenal, seperti Amazon Athena, Redshift, dan EMR melalui integrasi Tabel S3 dengan Amazon SageMaker Lakehouse. Anda juga dapat menggunakan aplikasi pihak ketiga yang kompatibel dengan Iceberg REST, seperti Apache Spark, Apache Flink, Trino, DuckDB, dan PyIceberg, untuk membaca dan menulis data ke dalam Tabel S3.
Buat tabel sebagai sumber daya AWS kelas satu dan terapkan izin untuk mengatur akses ke tabel dengan mudah.
Cara kerjanya
Tabel S3 menyediakan penyimpanan S3 yang dibuat khusus untuk menyimpan data terstruktur dalam format Apache Parquet, Avro, dan ORC. Dalam bucket tabel, Anda dapat membuat tabel sebagai sumber daya kelas satu langsung di S3. Tabel ini dapat dilindungi dengan izin tingkat tabel yang ditentukan dalam kebijakan berbasis identitas atau sumber daya dan dapat diakses oleh aplikasi atau alat yang mendukung standar Apache Iceberg. Saat Anda membuat tabel di bucket tabel Anda, data yang mendasarinya di S3 disimpan sebagai file Parquet, Avro, atau ORC. Kemudian, S3 mempertahankan metadata yang diperlukan untuk membuat data tersebut dapat dikueri oleh aplikasi Anda. Bucket tabel menyertakan pustaka klien yang digunakan oleh mesin kueri untuk menavigasi dan memperbarui metadata Iceberg tabel di bucket tabel Anda. Pustaka ini, bersama dengan API S3 yang diperbarui untuk operasi tabel, memungkinkan beberapa klien membaca dan menulis data dengan aman ke tabel Anda. Seiring waktu, S3 secara otomatis mengoptimalkan data Parquet, Avro, atau ORC yang mendasarinya dengan menulis ulang, atau “memadatkan” objek Anda. Pemadatan mengoptimalkan data Anda di S3 untuk meningkatkan kinerja kueri dan meminimalkan biaya. Baca panduan pengguna untuk mempelajari lebih lanjut.
Pelanggan
Genesys
Genesys adalah perusahaan layanan cloud global yang terdepan dalam Orkestrasi Pengalaman Bertenaga AI. Melalui kemampuan AI, digital, dan manajemen keterlibatan tenaga kerja yang canggih, Genesys membantu lebih dari 8.000 organisasi di lebih dari 100 negara untuk memberikan pengalaman pelanggan dan karyawan yang dipersonalisasi dan berempat sekaligus memanfaatkan peningkatan kelincahan dan hasil bisnis.
“Amazon S3 Tables akan menjadi tambahan transformatif untuk arsitektur data kami, terutama dengan dukungan Iceberg yang dikelola, yang secara efektif menciptakan lapisan tampilan terwujud untuk beragam kebutuhan analisis data. Penawaran ini berpotensi membantu Genesys menyederhanakan alur kerja data yang kompleks dengan menghilangkan lapisan tambahan manajemen tabel, dengan S3 menangani tugas-tugas pemeliharaan utama, seperti pemadatan, manajemen snapshot, dan pembersihan file tanpa referensi secara otomatis. Kemampuan membaca dan menulis Tabel Iceberg langsung dari S3 akan membantu kami meningkatkan kinerja dan menciptakan kemungkinan baru untuk mengintegrasikan data secara mulus di seluruh ekosistem analitik kami. Interoperabilitas ini, dikombinasikan dengan peningkatan kinerja, menempatkan Tabel S3 sebagai bagian penting dari strategi masa depan kami untuk memberikan wawasan data yang cepat, fleksibel, dan andal. “
Glenn Nethercutt, Chief Technology Officer - Genesys
Pendulum
Pendulum adalah platform Brand Intelligence yang memiliki cakupan paling komprehensif di dunia untuk konten video, audio, dan teks guna mengidentifikasi risiko dan peluang secara proaktif, sehingga memungkinkan pengambilan keputusan dan pemantauan analitik yang lebih baik di seluruh perusahaan.
“Di Pendulum Intelligence, kami menganalisis data dari ratusan juta saluran dan sumber sosial. Tabel Amazon S3 telah mengubah cara kami mengelola danau data, yang memproses ribuan jam konten video dan audio yang dianalisis sambil mengekstrak konteks dari gambar dan media lain mendekati waktu nyata dengan menggunakan alat machine learning eksklusif kami. Dengan menghilangkan beban pengelolaan tabel, termasuk pemadatan, snapshot, dan pembersihan file, tim kami dapat fokus pada hal yang paling penting: memperoleh wawasan yang dapat ditindaklanjuti dari set data yang besar. Integrasi mulus dengan tumpukan analitik kami—Amazon Athena, AWS Glue, dan Amazon EMR—telah secara signifikan meningkatkan kemampuan kami untuk memproses data kompleks dalam skala besar. “
Abdurrahman Elbuni, Cloud Big Data Architect - Pendulum
SnapLogic
SnapLogic adalah pelopor dalam integrasi yang dipandu AI. Platform SnapLogic untuk Integrasi Generatif mempercepat transformasi digital di seluruh perusahaan untuk mendesain, melakukan deployment, dan mengelola agen AI dan integrasi yang mengotomatiskan tugas, membuat keputusan waktu nyata, dan mengintegrasikan dengan mudah ke dalam alur kerja yang ada.
Amazon S3 Tables, dengan dukungan Apache Iceberg bawaan dan integrasi layanan AWS Analytics, membantu perusahaan mengoptimalkan biaya analisis data mereka sambil mengubah cara mereka menggunakan data bisnis untuk analisis, kepatuhan, dan inisiatif AI. Dengan mengotomatiskan tugas manajemen data yang kompleks dan menyediakan jejak audit lengkap dari perubahan data, tim dapat langsung menganalisis data historis, mempertahankan kepatuhan terhadap peraturan, dan mempercepat wawasan bisnis sambil mengurangi biaya teknologi mereka secara signifikan. “
Dominic Wellington, Enterprise Architect - SnapLogic
Zus Health
Zus adalah platform data kesehatan bersama yang dirancang untuk mempercepat interoperabilitas data layanan kesehatan dengan menyediakan data pasien yang mudah digunakan melalui API, komponen tertanam, dan integrasi EHR langsung.
“Sebagai perusahaan perawatan kesehatan yang menangani sejumlah besar data pasien yang sering berubah, kami memutuskan untuk berinvestasi di Apache Iceberg karena memecahkan banyak masalah dengan Apache Hive seputar partisi dan otomatisasi, dengan manfaat tambahan dari interoperabilitas yang lebih luas. Salah satu tantangan terbesar kami dengan Iceberg adalah memahami dan mengelola pengoptimalan tabel. Inilah sebabnya kami senang menyambut Tabel S3 dan kemampuan pengoptimalan terkelola. Mampu menurunkan overhead pengembang dari pemeliharaan tabel akan memungkinkan kami untuk lebih fokus untuk membawa data berkualitas tinggi dan wawasan berharga kepada pelanggan kami. “
Sonya Huang, Consulting Software Engineer - Zus Health
Partner dan integrasi
Daft
Daft adalah mesin terpadu untuk rekayasa data, analitik, dan ML/AI, yang mengekspos antarmuka SQL dan Python DataFrame sebagai perangkat kelas satu dan ditulis dalam Rust. Daft memberikan pengalaman interaktif lokal yang tajam dan menyenangkan, sekaligus juga menskalakan beban kerja terdistribusi berskala petabyte dengan lancar.
“Amazon S3 Tables adalah pelengkap sempurna untuk dukungan Daft untuk Apache Iceberg. Dengan memanfaatkan integrasinya dengan AWS Lake Formation dan AWS Glue, kami dapat dengan mudah memperluas kemampuan baca dan tulis Iceberg kami yang ada ke Tabel S3, sekaligus memanfaatkan performanya yang telah dioptimalkan. Kami menantikan evolusi layanan baru ini, dan kami sangat senang untuk memberikan dukungan Tabel S3 terbaik di kelasnya untuk ekosistem Rekayasa Data Python & ML/AI. “
Sammy Sidhu, CEO & Co-Founder - Daft
Dremio
Dremio adalah platform lakehouse cerdas, yang mempercepat AI dan analitik dengan menawarkan mesin SQL yang terdepan di pasar, katalog data yang terbuka dan memiliki interoperabilitas, serta platform yang aman, dapat diskalakan, dan mudah digunakan. Kepemimpinan kami di komunitas Apache Iceberg, Apache Polaris (inkubasi), dan Apache Arrow memberdayakan organisasi untuk membangun arsitektur lakehouse yang sepenuhnya terbuka dan mempunyai performa tinggi dengan tetap mempertahankan fleksibilitas dan kontrol—sehingga menghilangkan keterikatan dengan vendor.
“Dremio dengan senang hati mendukung ketersediaan umum Amazon S3 Tables. Dengan mendukung spesifikasi Apache Iceberg REST Catalog (IRC), Tabel S3 memastikan interoperabilitas yang lancar dengan Dremio, sehingga pengguna dapat memperoleh manfaat dari mesin SQL performa tinggi yang mampu mengkueri tabel Apache Iceberg yang dikelola dalam bucket tabel S3 yang dioptimalkan. Kolaborasi ini memperkuat pentingnya standar terbuka dalam ekosistem lakehouse, dengan menghilangkan kompleksitas integrasi dan mempercepat adopsi pelanggan. Dengan Amazon S3 Tables dan dukungan IRC, organisasi mendapatkan fleksibilitas dan pilihan yang dibutuhkan untuk membangun arsitektur rumah danau terpadu di era AI. “
James Rowland-Jones, VP, Product - Dremio
DuckDB Labs
DuckDB Labs adalah perusahaan yang didirikan oleh pencipta DuckDB, alat perapihan data universal yang populer. Perusahaan ini menggunakan kontributor inti untuk sistem DuckDB. DuckDB adalah perangkat lunak Gratis dan Sumber Terbuka di bawah lisensi MIT dan diatur oleh DuckDB Foundation yang merupakan organisasi nirlaba independen. Proyek DuckDB menjadikan pemrosesan analitis cepat tersedia untuk khalayak luas melalui kemudahan penggunaan dan portabilitasnya.
Blog Penyimpanan AWS: Merampingkan akses ke kumpulan data tabular yang disimpan di Tabel Amazon S3 dengan DuckDB
“Amazon S3 Tables selaras sempurna dengan visi DuckDB untuk mendemokratisasikan analitik data menggunakan format file terbuka. Kolaborasi antara AWS dan DuckDB Labs memungkinkan kami untuk lebih memperluas dukungan Iceberg di DuckDB dan mengembangkan integrasi secara lancar dengan Tabel S3. Kami percaya mentalitas DuckDB dan S3 Tables yang disertakan dengan baterai bersama digabungkan menjadi tumpukan analitik yang kuat yang dapat menangani berbagai beban kerja sambil mempertahankan penghalang masuk yang sangat rendah. “
Hannes Mühleisen, Direktur Utama - DuckDB Labs
HighByte
HighByte adalah perusahaan perangkat lunak industri yang menangani arsitektur data dan tantangan integrasi yang dihadapi oleh produsen global saat mereka bertransformasi secara digital. HighByte Intelligence Hub, perangkat lunak Industrial DataOps yang telah terbukti milik perusahaan tersebut, menyediakan data yang sudah dimodelkan dan siap digunakan di layanan cloud AWS dengan menggunakan antarmuka tanpa kode untuk mempercepat waktu integrasi dan mempercepat analitik.
Amazon S3 Tables adalah fitur baru yang kuat yang mengoptimalkan manajemen, kinerja, dan penyimpanan data tabular untuk beban kerja analitik. Integrasi langsung HighByte Intelligence Hub dengan Tabel Amazon S3 memudahkan manufaktur global untuk membangun danau data transaksional yang terbuka untuk data industri mereka. Tabel S3 memungkinkan pelanggan mengueri data Parquet mentah secara instan, sehingga mereka dapat mengirim informasi kontekstual dari edge ke cloud untuk langsung digunakan tanpa perlu pemrosesan atau transformasi tambahan. Ini memiliki dampak besar pada kinerja dan pengoptimalan biaya untuk pelanggan bersama kami. “
Aron Semle, Chief Technology Officer - HighByte
PuppyGraph
PuppyGraph adalah mesin kueri grafik nol-ETL waktu nyata yang pertama, sehingga tim data dapat mengkueri lakehouse yang ada sebagai grafik dalam hitungan menit, tanpa migrasi atau pemeliharaan yang mahal. PuppyGraph menskalakan ke set data berukuran petabyte dan mengeksekusi kueri multi-hop yang kompleks dalam hitungan detik, sehingga mendukung berbagai kasus penggunaan mulai dari deteksi penipuan hingga keamanan siber dan wawasan berbasis AI.
“Amazon S3 telah lama menjadi fondasi infrastruktur data modern, dan peluncuran S3 Tables menandai tonggak utama — membawa Apache Iceberg lebih dekat untuk menjadi standar universal untuk data dan AI. Inovasi ini memungkinkan organisasi untuk memanfaatkan format tabel terbuka performa tinggi di S3, yang memungkinkan analitik multimesin tanpa duplikasi data. Untuk pelanggan PuppyGraph, hal ini berarti bahwa mereka sekarang dapat menjalankan kueri grafik waktu nyata secara langsung pada data S3 mereka, dengan tetap mempertahankan wawasan yang segar dan dapat diskalakan tanpa overhead ETL yang kompleks. Kami senang menjadi bagian dari evolusi ini, membuat analisis grafik semulus data itu sendiri. “
Weimo Liu, Co-founder & CEO - PuppyGraph
Gelombang Meningkat
RisingWave Labs, didirikan pada tahun 2021 di San Francisco, mengembangkan RisingWave, database streaming SQL native cloud yang menyederhanakan pemrosesan data real-time. Teknologi perusahaan menggabungkan kompatibilitas PostgreSQL dengan arsitektur streaming modern, ditawarkan baik sebagai solusi sumber terbuka dan sebagai RisingWave Cloud, platform yang dikelola sepenuhnya.
Integrasi RisingWave dengan Amazon S3 Tables memberdayakan organisasi untuk secara mulus memanfaatkan tabel Apache Iceberg di Amazon S3, meningkatkan kemampuan pipeline data streaming mereka. Baik Anda menelan data mentah, mengubahnya secara real time, atau menulis hasil kembali ke S3, RisingWave memudahkan untuk bekerja dengan tabel Iceberg sebagai perpanjangan alami alur kerja Anda. Integrasi ini menyederhanakan manajemen data, mengurangi kompleksitas operasional, dan memungkinkan interoperabilitas yang lancar bagi tim yang bekerja dengan analitik streaming. “
Rayees Pasha, CPO - RisingWave Labs
Snowflake
Snowflake membuat AI korporasi jadi mudah, terhubung, dan tepercaya. Ribuan perusahaan di seluruh dunia, termasuk ratusan perusahaan terbesar di dunia, menggunakan Cloud Data AI Snowflake untuk berbagi data, membangun aplikasi, dan menggerakkan bisnis mereka dengan AI.
Blog Penyimpanan AWS: Hubungkan Snowflake ke Tabel S3 menggunakan titik akhir REST SageMaker Lakehouse Iceberg
“Kami sangat antusias untuk membawa keajaiban Snowflake ke Amazon S3 Tables. Kolaborasi ini memungkinkan pelanggan Snowflake untuk membaca dan memproses data yang disimpan di Tabel S3 dengan lancar menggunakan pengaturan Snowflake yang sudah ada, sehingga tidak membutuhkan migrasi atau duplikasi data yang kompleks. Dengan menggabungkan kemampuan analisis kinerja kelas dunia Snowflake dengan penyimpanan tabel Apache Iceberg Amazon S3 Tables yang efisien, organisasi dapat dengan mudah menanyakan dan menganalisis data tabular yang disimpan di Amazon S3. “
Rithesh Makkena, Global Director of Partner Solutions Engineering - Snowflake
Starburst
Starburst mendukung arsitektur data dasar yang dibutuhkan oleh analitik, AI, dan aplikasi data. Starburst menggunakan lakehouse data hibrida yang didukung oleh Apache Iceberg untuk memberikan akses, kolaborasi, dan tata kelola dalam skala besar.
Blog Penyimpanan AWS: Buat danau data Apache Iceberg yang dikelola menggunakan Tabel Starburst dan Amazon S3
“Kami sangat senang melihat Amazon S3 memperkenalkan dukungan bawaan untuk Apache Iceberg dengan S3 Tables, memajukan ekosistem Iceberg Open Data Lakehouse. Dengan bucket tabel S3, kami berharap dapat berkolaborasi dengan AWS untuk membantu pelanggan bersama kami menghadirkan kekuatan Open Lakehouse, didukung oleh Trino yang dioptimalkan — mesin MPP SQL sumber terbuka terkemuka, di berbagai analisis dan kasus penggunaan AI ke data di Amazon S3. “
Matt Fuller, Vice President, Product - Starburst
StreamNative
StreamNative adalah platform perpesanan dan streaming yang mendukung AI dan analitik dengan penyerapan data performa tinggi yang hemat biaya. Mesin StreamNative Ursa memungkinkan perusahaan mengurangi total biaya kepemilikan (TCO) hingga 90% dengan kompatibilitas Kafka, arsitektur tanpa pemimpin, dan penyimpanan asli danau, membuat data siap AI dapat diakses dalam skala besar..
Blog AWS Storage: Streaming lancar ke Tabel Amazon S3 dengan StreamNative Ursa Engine
“Integrasi kami dengan Amazon S3 Tables membuat data real-time dan siap AI menjadi lebih terbuka dan dapat diakses dari sebelumnya. Arsitektur tanpa pemimpin Ursa di S3 sudah mengurangi biaya penyimpanan, dan integrasi langsung dengan Tabel S3 makin meningkatkan performa dan efisiensi. Dalam dunia yang digerakkan oleh AI, tata kelola data sangat penting. Di StreamNative, kami berkomitmen untuk membantu bisnis mengurangi TCO hingga 90% sambil membuatnya mudah dan terjangkau untuk membangun aplikasi yang didukung AI dengan data real-time yang diatur. “
Sijie Guo, CEO & Co-Founder - StreamNative
