FAQ Amazon Redshift

Amazon Redshift Nirserver adalah opsi nirserver dari Amazon Redshift yang membuat menjalankan dan menskalakan analitik lebih efisien dalam hitungan detik tanpa perlu menyiapkan dan mengelola infrastruktur gudang data. Dengan Redshift Nirserver, setiap pengguna—termasuk analis data, developer, profesional bisnis, dan ilmuwan data—bisa mendapatkan wawasan dari data hanya dengan memuat dan membuat kueri data di gudang data.

Dengan hanya beberapa langkah dalam Konsol Manajemen AWS, Anda dapat memilih “konfigurasikan Amazon Redshift Nirserver” dan mulai mengkueri data. Anda dapat memanfaatkan contoh set data yang sudah dimuat, seperti data cuaca, data sensus, dan set data tolok ukur, sekaligus contoh kueri untuk segera memulai analitik. Anda dapat membuat basis data, skema, tabel, dan memuat data dari Amazon S3, pembagian data Amazon Redshift, atau memulihkan dari snapshot klaster yang disediakan Redshift yang sudah ada. Anda juga dapat langsung mengkueri data dalam format terbuka (seperti Parquet atau ORC) dalam danau data Amazon S3, atau data kueri dalam basis data operasional, seperti Amazon Aurora dan Amazon RDS PostgreSQL dan MySQL. Lihat Panduan Memulai.

Jika Anda tidak berpengalaman dalam manajemen gudang data, Anda tidak perlu khawatir untuk menyiapkan, mengatur konfigurasi, mengelola klaster, atau menyetel gudang. Anda bisa fokus ke menarik wawasan bermakna dari data Anda atau memberikan hasil bisnis inti Anda melalui data. Anda hanya membayar untuk apa yang Anda gunakan, sehingga biaya tetap terkendali. Anda terus mendapatkan manfaat dari semua performa terbaik Amazon Redshift, fitur-fitur SQL kaya, integrasi tanpa kendala dengan danau data dan gudang data operasional, dan analitik prediktif bawaan serta kemampuan berbagi data. Jika Anda perlu mengendalikan secara rinci gudang data Anda, Anda dapat menyediakan klaster Redshift.

Anda dapat terus menggunakan semua fungsionalitas analitik yang kaya dari Amazon Redshift, seperti penggabungan kompleks, kueri langsung ke data di danau data dan basis data operasional Amazon S3, tampilan terwujud, prosedur tersimpan, dukungan data semi-terstruktur, dan ML, serta sebagai performa tinggi dalam skala besar. Semua layanan terkait yang terintegrasi dengan Amazon Redshift (seperti Amazon Kinesis, AWS Lambda, Amazon QuickSight, Amazon SageMaker, Amazon EMR, AWS Lake Formation, dan AWS Glue) terus bekerja dengan Amazon Redshift Nirserver.

Anda tetap dapat menjalankan semua kasus penggunaan analitik. Dengan alur kerja memulai yang sederhana, penskalaan otomatis, dan kemampuan untuk membayar sesuai penggunaan, pengalaman Amazon Redshift Nirserver sekarang membuatnya lebih efisien dan hemat untuk menjalankan lingkungan pengembangan dan pengujian yang harus dimulai cepat, analitik bisnis ad-hoc, beban kerja dengan kebutuhan komputasi yang berbeda dan tidak terprediksi, serta beban kerja intermiten atau sporadis.

Anda dapat memuat data ke Amazon Redshift dari berbagai sumber data termasuk Amazon S3, Amazon RDS, Amazon DynamoDB, Amazon EMR, AWS Glue, AWS Data Pipeline, dan atau host apa pun yang mendukung SSH pada Amazon EC2 atau on-premise. Amazon Redshift mencoba memuat data Anda secara paralel ke setiap simpul komputasi guna memaksimalkan tingkat di mana Anda dapat menyerap data ke dalam klaster gudang data Anda. Klien dapat tersambung ke Amazon Redshift menggunakan ODBC atau JDBC serta mengeluarkan perintah SQL ‘insert’ untuk menyisipkan data. Perlu diperhatikan bahwa ini lebih lambat dibanding menggunakan S3 atau DynamoDB karena metode tersebut memuat data secara paralel ke tiap simpul komputasi, sementara pernyataan insert SQL memuat data melalui simpul induk tunggal. Untuk detail selengkapnya tentang pemuatan data ke Amazon Redshift, baca panduan Memulai kami.

Salin otomatis Redshift memberikan kemampuan untuk menyalin pernyataan secara otomatis dengan memantau folder Amazon S3 dan menyerap file baru tanpa intervensi pelanggan. Tanpa salin otomatis, pernyataan salin langsung memulai proses penyerapan file untuk file yang ada. Salin otomatis memperpanjang perintah menyalin yang ada dan memberikan kemampuan untuk 1/ proses penyerapan file otomatis dengan memantau jalur Amazon S3 tertentu untuk file baru, 2/ menggunakan kembali konfigurasi yang disalin, mengurangi keperluan untuk membuat dan menjalankan perintah menyalin baru untuk tugas penyerapan data berulang dan 3/ mengingat file yang dimuat untuk menghindari duplikasi data.

Untuk memulai, pelanggan harus memiliki folder Amazon S3 yang dapat diakses dengan klaster Redshift/titik akhir nirserver mereka menggunakan IAM role yang terkait, dan membuat tabel Redshift untuk digunakan sebagai target. Setelah jalur Amazon S3 dan tabel Redshift sudah siap, pelanggan dapat membuat salinan pekerjaan dengan menggunakan perintah salin. Setelah salinan pekerjaan dibuat, Redshift akan mulai memantau jalur Amazon S3 yang ditentukan di belakang layar dan memulai perintah menyalin yang ditentukan pengguna untuk menyalin file baru ke tabel target secara otomatis.

Kasus penggunaan utamanya meliputi: 1/ Pelanggan menggunakan Amazon EMR dan AWS Glue untuk menjalankan pekerjaan di Apache Spark yang mengakses dan memuat data ke Amazon Redshift sebagai bagian dari penyerapan data dan pipeline transformasi (batch dan streaming) 2/ Pelanggan menggunakan Amazon SageMaker untuk menjalankan machine learning menggunakan Apache Spark dan harus mengakses data yang disimpan di Amazon Redshift untuk rekayasa fitur dan transformasi. 3/Pelanggan Amazon Athena menggunakan Apache Spark untuk menjalankan analisis interaktif pada data di Amazon Redshift.

Baikal memberikan keuntungan berikut:

• Kemudahan penggunaan untuk memulai dan menjalankan aplikasi Apache Spark pada data di Amazon Redshift tanpa perlu khawatir tentang langkah-langkah manual yang terlibat untuk menyiapkan serta memelihara versi Spark yang tidak bersertifikat
• Kenyamanan dalam menggunakan Apache Spark dari berbagai layanan AWS seperti Amazon EMR, AWS Glue, Amazon Athena, dan Amazon SageMaker dengan Amazon Redshift dengan konfigurasi minimal
• Peningkatan peforma saat menjalankan aplikasi Apache Spark di Amazon Redshift

Zero-ETL Amazon Aurora ke Amazon Redshift memungkinkan pelanggan Amazon Aurora dan Amazon Redshift untuk menjalankan analitik mendekati waktu nyata dan machine learning dalam petabita data transaksional dengan menawarkan solusi yang dikelola sepenuhnya untuk membuat data transaksional dari Amazon Aurora yang tersedia di Amazon Redshift dalam beberapa detik saat ditulis. Dengan Zero-ETL Amazon Aurora ke Amazon Redshift, pelanggan dapat dengan mudah memilih tabel Amazon Aurora yang memiliki data yang diinginkan untuk menganalisis Amazon Redshift, dan fitur mereplika skema dan data ke dalam Amazon Redshift dengan mulus. Hal ini mengurangi keharusan pelanggan untuk membuat dan mengatur pipeline data kompleks, sehingga mereka dapat fokus pada pengembangan aplikasi mereka. Dengan Zero-ETL Amazon Aurora ke Amazon Redshift, pelanggan dapat mereplikasi data dari beberapa klaster basis data Amazon Aurora ke instans Amazon Redshift yang sama untuk mendapatkan wawasan yang komprehensif di beberapa aplikasi, sekaligus menggabungkan inti aset analitik, yang menghemat banyak biaya dan efisiensi operasional. Dengan Zero-ETL Amazon Aurora ke Amazon Redshift, pelanggan juga dapat mengakses kemampuan analitik inti dan machine learning dari Amazon Redshift seperti tampilan terwujud, berbagi data, dan akses gabungan ke berbagai penyimpanan data dan danau data. Hal ini memungkinkan pelanggan untuk menggabungkan analitik mendekati waktu nyata dan inti untuk mendapatkan wawasan yang sensitif terhadap waktu yang memberi informasi keputusan bisnis secara efektif. Terlebih, pelanggan menggunakan Amazon Aurora untuk transaksi dan Amazon Redshift untuk analitik, jadi mereka tidak membagikan sumber daya komputasi, menghasilkan solusi yang berperforma baik dan stabil secara operasional.

Integrasi Nol-ETL Amazon Aurora dengan Amazon Redshift menawarkan integrasi yang lancar antara kedua layanan untuk analitik transaksional.

Data streaming berbeda dengan tabel basis data tradisional di saat Anda membuat kueri stream, Anda menangkap evolusi relasi variasi waktu. Tabel, di sisi lain, menangkap snapshot titik waktu dari relasi variasi waktu. Pelanggan Amazon Redshift sudah terbiasa mengoperasikan tabel biasa dan menjalankan pemrosesan downstream (seperti transformasi) data menggunakan model batch tradisional, misalnya “ELT”. Kami menyediakan metode menggunakan Tampilan Terwujud (MV) Redshift sehingga pelanggan dapat dengan mudah mewujudkan titik waktu dari stream, seperti yang diakumulasikan saat dikuerikan, secepat mungkin untuk mendukung alur kerja ELT.

Kasus penggunaan utama meliputi:

• Klaster ETL pusat berbagi data dengan banyak BI/klaster analitik untuk menyediakan isolasi beban kerja baca dan kemampuan penagihan opsional.
• Penyedia data berbagi data ke konsumen eksternal.
• Berbagi set data umum seperti pelanggan dan produk di beberapa grup bisnis berbeda dan berkolaborasi untuk analitik luas dan ilmu data.
• Desentralisasi gudang data untuk menyederhanakan manajemen.
• Berbagi data antara lingkungan pengembangan, pengujian, dan produksi.
• Mengakses data Redshift dari layanan analitik AWS lain.

Dengan kueri basis data silang, Anda dapat dengan lancar membuat kueri dan menggabungkan data dari basis data Redshift mana pun yang aksesnya Anda miliki, terlepas dari basis data mana yang terhubung dengan Anda. Ini dapat termasuk lokal basis data pada kluster dan juga set data bersama yang dibuat tersedia dari kluster jarak jauh. Kueri basis data silang memberi Anda fleksibilitas untuk menyusun basis data terpisah guna mendukung konfigurasi multi-penyewa.

AWS Data Exchange membuat pertukaran dan penggunaan data pihak ketiga di AWS menjadi lebih efisien bagi pelanggan AWS. Analis data, manajer produk, manajer portfolio, ilmuwan data, analis kuantitatif, teknisi percobaan klinis, dan developer di hampir setiap industri menginginkan akses ke lebih banyak data untuk mendorong analitik, melatih model ML, dan membuat keputusan yang berdasarkan data. Namun, tidak ada satu tempat untuk menemukan data dari beberapa penyedia dan tidak ada konsistensi terkait cara penyedia memberikan data, sehingga mereka terpaksa menggunakan media fisik yang terpisah, kredensial FTP, dan panggilan API yang dipesan. Sebaliknya, banyak organisasi ingin membuat data mereka tersedia untuk tujuan penelitian atau komersial, namun terlalu sulit dan mahal untuk membangun dan mempertahankan pengiriman data, hak, dan teknologi penagihan, yang semakin menekan suplai data berharga.

Amazon Redshift Nirserver secara otomatis menyediakan kapasitas gudang data dan menskalakan sumber daya yang mendasarinya secara cerdas. Amazon Redshift Nirserver menyesuaikan kapasitas dalam hitungan detik untuk memberikan performa tinggi secara konsisten dan menyederhanakan operasi bahkan untuk beban kerja yang paling berat dan fluktuatif sekalipun. Dengan fitur Penskalaan Konkurensi, Anda dapat mendukung pengguna konkuren dan kueri konkuren yang tidak terbatas, dengan performa kueri yang cepat secara konsisten. Saat penskalaan konkurensi diaktifkan, Amazon Redshift secara otomatis menambahkan kapasitas klaster saat klaster Anda mengalami peningkatan dalam antrean kueri.

Untuk penskalaan manual, jika ingin meningkatkan performa kueri atau merespons penggunaan CPU, memori, atau I/O berlebih, Anda dapat meningkatkan jumlah simpul di dalam klaster gudang data menggunakan Elastic Resize melalui Konsol Manajemen AWS atau API ModifyCluster. Saat Anda mengubah klaster gudang data, perubahan yang Anda minta akan segera diterapkan. Metrik untuk pemanfaatan komputasi, pemanfaatan penyimpanan, dan lalu lintas baca/tulis ke klaster gudang data Redshift Anda tersedia secara gratis melalui Konsol Manajemen AWS atau API Amazon CloudWatch. Anda juga dapat menambahkan metrik yang ditentukan pengguna melalui fungsi metrik kustom Amazon CloudWatch.

Dengan Amazon Redshift Spectrum, Anda dapat menjalankan beberapa klaster Redshift yang mengakses data yang sama dalam Amazon S3. Anda dapat menggunakan klaster berbeda untuk kasus penggunaan berbeda. Misalnya, Anda dapat menggunakan satu klaster untuk pelaporan standar dan klaster lain untuk kueri ilmu data. Tim pemasaran Anda dapat menggunakan klaster mereka sendiri yang berbeda dari tim operasi Anda. Redshift Spectrum secara otomatis mendistribusikan eksekusi kueri ke beberapa pekerja Redshift Spectrum dari kumpulan sumber daya bersama untuk membaca dan memproses data dari Amazon S3, lalu mengembalikan hasilnya ke klaster Redshift untuk pemrosesan yang tersisa.

Tergantung. Saat Anda menggunakan fitur Penskalaan Konkurensi, klaster tersedia sepenuhnya untuk baca dan tulis selama penskalaan konkurensi. Dengan Pengubahan ukuran elastis, klaster tidak tersedia selama empat hingga delapan menit dari waktu pengubahan ukuran. Dengan elastisitas penyimpanan RA3 Redshift dalam penyimpanan terkelola, klaster tersedia sepenuhnya dan data dipindahkan secara otomatis antara penyimpanan terkelola dan simpul komputasi.

Perubahan Ukuran Elastis menambahkan atau menghapus simpul dari klaster Redshift tunggal dalam hitungan menit untuk mengelola throughput kuerinya. Misalnya, beban kerja ETL untuk beberapa jam tertentu dalam sehari atau pelaporan akhir bulan mungkin memerlukan sumber daya Amazon Redshift tambahan untuk diselesaikan tepat waktu. Penskalaan Konkurensi menambahkan sumber daya klaster tambahan untuk meningkatkan keseluruhan konkurensi kueri.

Tidak. Penskalaan Konkurensi merupakan kumpulan besar sumber daya Amazon Redshift yang dapat diskalakan dan pelanggan tidak memiliki akses langsung.

Amazon Redshift mendukung keamanan yang terkemuka di industri dengan manajemen dan federasi identitas untuk masuk tunggal (SSO), autentikasi multi-faktor, kontrol akses tingkat kolom, keamanan tingkat baris, kontrol akses berbasis peran, dan Amazon Virtual Private Cloud (Amazon VPC) bawaan. Dengan Amazon Redshift, data Anda dienkripsi dengan diam dan bergerak. Semua fitur keamanan Amazon Redshift ditawarkan secara unik tanpa biaya tambahan untuk memenuhi persyaratan keamanan, privasi, dan kepatuhan. Anda mendapatkan manfaat AWS yang mendukung lebih banyak standar keamanan dan sertifikasi kepatuhan dibandingkan penyedia lainnya, termasuk ISO 27001, SOC, HIPAA/HITECH, dan FedRAMP.

Ya, Amazon Redshift menyediakan dukungan bagi kontrol akses berbasis peran. Kontrol akses tingkat baris memungkinkan Anda untuk menetapkan satu atau beberapa peran ke pengguna, dan menetapkan izin sistem dan objek berdasarkan peran. Anda dapat menggunakan peran sistem unik–pengguna root, dba, operator, dan admin keamanan, atau membuat peran Anda sendiri.

Fungsi AWS Lambda yang ditetapkan pengguna (UDF) memungkinkan Anda menggunakan fungsi AWS Lambda sebagai UDF di Amazon Redshift dan memanggilnya dari kueri Redshift SQL. Fungsi ini memungkinkan Anda menulis ekstensi kustom untuk kueri SQL Anda guna mencapai integrasi yang lebih erat dengan layanan atau produk pihak ketiga lainnya. Anda dapat menulis Lambda UDF untuk mengaktifkan tokenisasi eksternal, masking data, identifikasi atau deidentifikasi data melalui integrasi dengan vendor seperti Protegrity, dan melindungi atau tidak melindungi data sensitif berdasarkan izin dan grup pengguna, dalam waktu kueri.

Dengan dukungan untuk masking data dinamis, pelanggan dapat dengan mudah melindungi data sensitif dan akses granular mereka dengan mengelola kebijakan Masking Data. Anggaplah Anda memiliki aplikasi yang memiliki banyak pengguna dan objek dengan data sensitif yang tidak dapat diekspos ke semua pengguna. Anda memiliki persyaratan untuk memberikan tingkat keamanan granular berbeda yang ingin Anda berikan kepada grup pengguna yang berbeda. Masking Data Dinamis Redshift dapat dikonfigurasi untuk memungkinkan pelanggan menentukan nilai data yang di-masking yang konsisten, mempertahankan format, dan tidak dapat diubah. Setelah fiturnya menjadi GA, Anda segera mulai menggunakannya. Admin keamanan dapat membuat dan menerapkan kebijakan hanya dengan beberapa perintah.

Ya. Pelanggan yang ingin menggunakan penyedia identitas perusahaan mereka seperti Microsoft Azure Active Directory, Active Directory Federation Services, Okta, Ping Federate, atau penyedia identitas lainnya yang tunduk pada SAML dapat mengonfigurasi Amazon Redshift untuk menyediakan masuk tunggal. Anda dapat masuk ke klaster Amazon Redshift dengan identitas Microsoft Azure Active Directory (AD). Tindakan ini memungkinkan Anda untuk masuk ke Redshift tanpa menduplikasi identitas Azure Active Directory di Redshift.

Ya. Anda dapat menggunakan autentikasi multi-faktor (MFA) untuk keamanan tambahan saat melakukan autentikasi ke klaster Amazon Redshift.

Amazon Redshift secara otomatis akan mendeteksi dan mengganti simpul yang gagal dalam klaster gudang data Anda. Pada klaster Komputasi Padat (DC) dan Penyimpanan Padat (DS2), data disimpan pada simpul komputasi untuk memastikan ketahanan data tinggi. Saat suatu simpul diganti, data disegarkan dari salinannya di simpul lain. Klaster RA3 dan Redshift nirserver tidak terdampak dengan cara yang sama karena data disimpan dalam Amazon S3 dan drive lokal hanya digunakan sebagai cache data. Klaster gudang data tidak akan tersedia untuk kueri dan pembaruan hingga simpul pengganti disediakan dan ditambahkan ke DB. Amazon Redshift segera menyediakan simpul pengganti Anda dan memuat data Anda yang paling sering diakses dari Amazon S3 terlebih dahulu agar memungkinkan Anda melanjutkan kueri data secepat mungkin. Klaster simpul tunggal tidak mendukung replikasi data. Jika terjadi kegagalan drive, Anda harus memulihkan klaster dari snapshot di S3. Kami menyarankan penggunaan setidaknya dua simpul untuk produksi.

Jika gudang data Amazon Redshift Anda adalah deployment AZ tunggal dan Zona Ketersediaan klaster menjadi tidak tersedia, maka Amazon Redshift akan secara otomatis memindahkan klaster Anda ke Zona Ketersediaan (AZ) AWS lainnya tanpa kehilangan data atau mengubah aplikasi. Untuk mengaktifkan ini, Anda harus mengaktifkan kemampuan relokasi di pengaturan konfigurasi klaster Anda.

Tidak seperti deployment AZ tunggal, pelanggan kini dapat meningkatkan ketersediaan Redshift dengan menjalankan gudang data mereka dalam deployment multi-AZ. Deployment multi-AZ memungkinkan Anda menjalankan gudang data Anda di beberapa Zona Ketersediaan (AZ) AWS secara bersamaan dan terus beroperasi dalam skenario kegagalan yang tidak terduga. Tidak diperlukan perubahan aplikasi untuk mempertahankan kelangsungan bisnis karena deployment Multi-AZ dikelola sebagai gudang data tunggal dengan satu titik akhir. Deployment multi-AZ mengurangi waktu pemulihan dengan menjamin kapasitas pulih secara otomatis dan ditujukan untuk pelanggan dengan aplikasi analitik penting bisnis yang memerlukan tingkat ketersediaan dan ketahanan tertinggi terhadap kegagalan AZ. Hal ini juga memungkinkan pelanggan menerapkan solusi yang lebih sesuai dengan rekomendasi Pilar Keandalan dari Kerangka Kerja AWS Well-Architected. Untuk mempelajari selengkapnya tentang Multi-AZ Amazon Redshift, lihat di sini.

RPO adalah singkatan dari Sasaran Titik Pemulihan (RPO) dan merupakan istilah untuk menggambarkan jaminan kebaruan data jika terjadi kegagalan. RPO adalah jumlah waktu maksimum yang dapat diterima sejak titik pemulihan data terakhir. Hal ini menentukan apa yang dianggap sebagai kehilangan data yang dapat diterima antara titik pemulihan terakhir dan gangguan layanan. Multi-AZ Redshift mendukung RPO = 0, yang berarti data dijamin terkini dan terbaru jika terjadi kegagalan. Pengujian pra-peluncuran kami menemukan bahwa RTO dengan deployment Multi-AZ Amazon Redshift berdurasi kurang dari 60 detik atau kurang jika terjadi kegagalan AZ.

Relokasi Redshift diaktifkan secara default di semua klaster RA3 baru dan titik akhir nirserver, yang memungkinkan gudang data dimulai ulang di AZ lain jika terjadi pemahaman skala besar, tanpa kehilangan data atau biaya tambahan. Meskipun penggunaan Relokasi gratis, batasannya adalah bahwa ini merupakan upaya pendekatan terbaik yang tunduk pada ketersediaan sumber daya di AZ yang sedang dipulihkan dan Sasaran Waktu Pemulihan (RTO) dapat dipengaruhi oleh masalah lain yang terkait dengan memulai klaster baru. Hal ini dapat mengakibatkan waktu pemulihan antara 10 hingga 60 menit. Multi-AZ Redshift mendukung persyaratan ketersediaan tinggi dengan memberikan RTO yang diukur dalam hitungan detik dan menawarkan jaminan pengoperasian yang berkelanjutan karena tidak akan tunduk pada batasan kapasitas atau potensi masalah lain dalam membuat klaster baru.

Ya, Amazon Redshift menggunakan SQL standar industri dan diakses menggunakan driver JDBC dan ODBC standar. Anda dapat mengunduh driver JDBC dan ODBC kustom Amazon Redshift dari tab Connect Client dari Konsol Redshift. Kami telah memvalidasi integrasi dengan vendor BI dan ETL populer, beberapa di antaranya menawarkan uji coba gratis untuk membantu Anda mulai memuat dan menganalisis data. Anda juga dapat membuka AWS Marketplace untuk melakukan deployment dan mengonfigurasi solusi yang didesain untuk bekerja dengan Amazon Redshift dalam hitungan menit.

Amazon Redshift Spectrum mendukung semua alat klien Amazon Redshift. Alat klien dapat terus terhubung ke endpoint klaster Amazon Redshift menggunakan koneksi ODBC dan JDBC. Tidak ada perubahan yang diperlukan.

Anda menggunakan sintaksis kueri yang benar-benar sama dan memiliki kemampuan kueri yang sama untuk mengakses tabel di Redshift Spectrum seperti Anda miliki untuk tabel dalam penyimpanan lokal klaster Redshift Anda. Tabel eksternal direferensikan menggunakan nama skema yang ditentukan dalam perintah CREATE EXTERNAL SCHEMA di mana tabel tersebut terdaftar.

Amazon Redshift Spectrum saat ini mendukung banyak format data sumber terbuka, termasuk Avro, CSV, Grok, Amazon Ion, JSON, ORC, Parquet, RCFile, RegexSerDe, Sequence, Text, dan TSV.<br>Amazon Redshift Spectrum saat ini mendukung kompresi Gzip serta Snappy.

Sama seperti tabel lokal, Anda dapat menggunakan nama skema untuk memilih tabel yang Anda maksud dengan menggunakan schema_name.table_name di dalam kueri Anda.

Ya. Perintah CREATE EXTERNAL SCHEMA mendukung Hive Metastore. Kami saat ini belum mendukung DDL terhadap Hive Metastore.

Anda dapat membuat kueri tabel sistem SVV_EXTERNAL_TABLES untuk memperoleh informasi tersebut.

Ya, fitur Amazon Redshift ML memudahkan pengguna SQL membuat, melatih, dan men-deploy model machine learning (ML) menggunakan perintah SQL yang lazim. Amazon Redshift ML memungkinkan Anda untuk memanfaatkan data di Amazon Redshift dengan Amazon SageMaker, layanan machine learning yang dikelola sepenuhnya. Amazon Redshift mendukung pembelajaran yang tidak diawasi (K-Means) dan pembelajaran yang diawasi (algoritma Autopilot, XGBoost, MLP). Anda juga dapat menggunakan layanan AI Bahasa AWS untuk menerjemahkan, menyusun, dan menganalisis bidang teks di kueri SQL dengan fungsi Lambda UDF yang sudah dibangun sebelumnya - lihat postingan blog.

Amazon Redshift menyediakan API Data yang dapat Anda gunakan untuk mengakses data dengan mudah dari Amazon Redshift dengan semua tipe aplikasi berbasis layanan web nirserver dan didorong peristiwa yang bersifat tradisional, cloud-native, serta dalam kontainer. API Data menyederhanakan akses ke Amazon Redshift karena Anda tidak perlu mengatur konfigurasi driver dan mengelola koneksi basis data. Sebagai gantinya, Anda dapat menjalankan perintah SQL ke klaster Amazon Redshift dengan cukup memanggil endpoint API aman yang disediakan oleh API Data. API Data menangani pengelolaan koneksi basis data dan buffering data. API Data bersifat asinkron, sehingga Anda dapat mengambil hasilnya nanti. Hasil kueri Anda disimpan selama 24 jam.

API Data mendukung kredensial IAM dan menggunakan kunci rahasia dari AWS Secrets Manager. API Data menggabungkan kredensial AWS Identity and Access Management (IAM) agar Anda dapat menggunakan penyedia identitas seperti Okta atau Azure Active Directory atau kredensial basis data yang disimpan di Secrets Manager tanpa meneruskan kredensial basis data di panggilan API.

Ya, Anda dapat menggunakan API Data dari AWS CLI dengan menggunakan opsi perintah aws redshift-data.

Anda dapat menggunakan API Data dari layanan lainnya seperti AWS Lambda, AWS Cloud9, AWS AppSync, dan Amazon EventBridge.

Tidak, tidak ada biaya terpisah untuk menggunakan API Data.

Anda harus menggunakan integrasi nol-ETL Aurora dengan Amazon Redshift ketika membutuhkan akses mendekati waktu nyata ke data transaksional. Integrasi ini memungkinkan Anda untuk memanfaatkan Amazon Redshift ML dengan perintah SQL langsung.

Integrasi nol-ETL Aurora dengan Amazon Redshift tersedia di Aurora MySQL-Compatible Edition untuk Aurora MySQL versi 3.05 (kompatibel dengan MySQL 8.0.32) dan yang lebih tinggi di Wilayah AS Timur (Ohio), AS Timur (Virginia Utara), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Eropa (Frankfurt), Eropa (Irlandia), dan Eropa (Stockholm). Integrasi nol-ETL Aurora dengan Amazon Redshift tersedia di Aurora PostgreSQL-Compatible Edition untuk Aurora PostgreSQL 15.4 di Wilayah AS Timur (Ohio).

Dengan integrasi nol-ETL Aurora dengan Amazon Redshift, Anda tidak perlu membangun dan memelihara pipeline data yang kompleks. Anda dapat mengonsolidasikan data dari satu atau banyak klaster basis data Aurora ke satu klaster basis data Amazon Redshift dan menjalankan analitik serta ML mendekati waktu nyata menggunakan Amazon Redshift pada sekian petabita data transaksi dari Amazon Aurora.

Integrasi nol-ETL Aurora dengan Amazon Redshift kompatibel dengan Amazon Redshift Nirserver dan Amazon Aurora Nirserver v2. Saat menggunakan Aurora Nirserver v2 dan Amazon Redshift Nirserver, Anda dapat menghasilkan analitik mendekati waktu nyata pada data transaksional tanpa harus mengelola infrastruktur apa pun untuk pipeline data.

Anda dapat memulai dengan menggunakan konsol Amazon RDS untuk membuat integrasi nol-ETL dengan menentukan sumber Aurora dan tujuan Amazon Redshift. Setelah integrasi dibuat, basis data Aurora akan direplikasi ke Amazon Redshift, dan Anda dapat mulai mengueri data setelah penyemaian awal selesai. Untuk informasi selengkapnya, baca panduan memulai untuk integrasi nol-ETL Aurora dengan Amazon Redshift.

Integrasi nol-ETL Aurora ke Amazon Redshift mereplikasi transaksi secara atom untuk memastikan konsistensi data antara basis data Aurora sumber dan klaster Amazon Redshift target.
Berikut adalah beberapa poin penting tentang atomisitas transaksi dengan integrasi ini:

• Hanya transaksi yang dilakukan di Aurora yang direplikasi ke Amazon Redshift. Transaksi yang tidak konsisten atau dibatalkan tidak diterapkan.
• Integrasi ini menggunakan proses commit dua fase untuk menerapkan setiap transaksi secara atom ke Amazon Redshift. Entah semua perubahan data dalam transaksi diterapkan, atau jika terjadi kesalahan tidak ada yang diterapkan.
• Konsistensi transaksi antara sumber dan target tetap terjaga. Setelah replikasi, data untuk transaksi tertentu akan konsisten di Aurora dan Amazon Redshift.
• Perubahan skema melalui DDL atau DML juga diterapkan secara atom untuk menjaga integritas.
• Penerapan transaksi secara atom memastikan tidak ada transaksi parsial atau status data yang tidak konsisten yang dapat terjadi di antara basis data.

Integrasi nol-ETL Aurora dengan Amazon Redshift menjaga konsistensi transaksional penuh antara basis data Aurora sumber dan klaster Amazon Redshift target.

Berikut adalah beberapa poin penting tentang cara menangani perubahan skema:

• Pernyataan DDL seperti CREATE TABLE, ALTER TABLE, DROP TABLE, dan seterusnya secara otomatis direplikasi dari Aurora ke Amazon Redshift.
• Integrasi ini melakukan pemeriksaan dan penyesuaian yang diperlukan dalam tabel Amazon Redshift untuk perubahan skema yang direplikasi. Misalnya, menambahkan kolom di Aurora akan menambahkan kolom di Amazon Redshift.
• Replikasi dan sinkronisasi skema secara otomatis terjadi secara waktu nyata dengan jeda minimal antara basis data sumber dan target.
• Konsistensi skema dipertahankan bahkan ketika perubahan DML terjadi secara paralel dengan perubahan DDL.

Anda dapat membuat tampilan terwujud di basis data Amazon Redshift lokal Anda untuk mentransformasikan data yang direplikasi melalui integrasi nol-ETL. Hubungkan ke basis data lokal Anda dan gunakan kueri lintas basis data untuk mengakses basis data tujuan. Anda dapat menggunakan nama objek yang sepenuhnya memenuhi syarat dengan notasi tiga bagian (destination-database-name.schema-name.table-name) atau membuat skema eksternal yang mereferensikan basis data tujuan dan pasangan skema dan menggunakan notasi dua bagian (external-schema-name.table-name).

Nol-ETL dan pemrosesan perubahan data yang berkelanjutan ditawarkan tanpa biaya tambahan. Anda membayar sumber daya Amazon RDS dan Amazon Redshift yang ada yang digunakan untuk membuat serta memproses data perubahan yang dibuat sebagai bagian dari integrasi nol-ETL. Sumber daya ini dapat mencakup:

• I/O dan penyimpanan tambahan yang digunakan dengan mengaktifkan binlog yang ditingkatkan
• Biaya ekspor snapshot untuk ekspor data awal guna menempatkan basis data Amazon Redshift Anda
• Penyimpanan Amazon Redshift tambahan untuk menyimpan data yang direplikasi
• Biaya transfer data lintas AZ untuk memindahkan data dari sumber ke target

Untuk informasi selengkapnya, kunjungi halaman harga Aurora.

Klaster Amazon Redshift RA3 dan Amazon Redshift Nirserver menggunakan Penyimpanan Terkelola Redshift, yang selalu memiliki salinan terbaru data yang tersedia. Klaster DS2 dan DC2 membuat salinan data pada klaster untuk memastikan salinan terbaru tersedia jika terjadi kegagalan. Cadangan otomatis dibuat pada semua tipe klaster Redshift serta dipertahankan selama 24 jam, dan pada nirserver disediakan titik pemulihan untuk 24 jam terakhir

Anda juga dapat membuat cadangan Anda sendiri yang dapat dipertahankan selamanya. Cadangan ini dapat dibuat kapan saja, dan cadangan otomatis Amazon Redshift atau titik pemulihan Amazon Redshift Nirserver dapat dikonversikan ke dalam cadangan pengguna untuk retensi yang lebih lama.

Amazon Redshift dapat juga mereplika snapshot Anda secara tidak sinkron ke Amazon S3 dalam Wilayah lain untuk pemulihan bencana.

Pada klasyer DS2 atau DC2, penyimpanan cadangan gratis terbatas pada total ukuran penyimpanan di simpul dalam klaster gudang data dan hanya berlaku untuk klaster gudang data aktif.

Misalnya, jika Anda memiliki total penyimpanan gudang data sebesar 8 TB, kami akan memberikan paling banyak 8 TB penyimpanan cadangan tanpa biaya tambahan. Jika ingin memperpanjang periode retensi cadangan lebih dari satu hari, Anda dapat melakukannya menggunakan Konsol Manajemen AWS atau API Amazon Redshift. Untuk informasi selengkapnya tentang snapshot otomatis, silakan baca Panduan Pengelolaan Amazon Redshift.

Amazon Redshift hanya mencadangkan data yang berubah, sehingga sebagian besar snapshot hanya menggunakan sedikit ruang penyimpanan cadangan yang tersisa. Saat Anda perlu memulihkan cadangan, Anda memiliki akses ke semua cadangan otomatis dalam periode retensi cadangan Anda. Setelah Anda memilih dari cadangan mana Anda memulihkan, kami akan menyediakan klaster gudang data baru dan kemudian memulihkan data Anda ke dalamnya.

Anda dapat menggunakan Konsol Manajemen AWS atau API ModifyCluster untuk mengelola periode waktu pencadangan otomatis dipertahankan dengan memodifikasi parameter RetentionPeriod. Jika Anda ingin menonaktifkan pencadangan otomatis seluruhnya, Anda dapat mengatur periode retensi ke 0 (tidak disarankan).

Saat Anda menghapus klaster gudang data, Anda memiliki kemampuan untuk menentukan apakah snapshot akhir dibuat saat penghapusan. Hal ini memungkinkan pemulihan klaster gudang data yang telah dihapus di kemudian hari. Semua snapshot manual yang dibuat sebelumnya dari klaster gudang data Anda akan dipertahankan dan dikenai tarif Amazon S3 standar, kecuali jika Anda memilih untuk menghapusnya.

Metrik untuk pemanfaatan komputasi, pemanfaatan penyimpanan, dan lalu lintas baca/tulis ke klaster gudang data Amazon Redshift Anda tersedia secara gratis melalui Konsol Manajemen AWS atau API Amazon CloudWatch. Anda juga dapat menambahkan metrik tambahan yang ditentukan pengguna melalui fungsi metrik kustom Amazon CloudWatch. Konsol Manajemen AWS menyediakan dasbor pemantauan yang membantu Anda memantau status dan performa seluruh klaster Anda. Amazon Redshift juga menyediakan informasi mengenai kueri dan kinerja klaster melalui Konsol Manajemen AWS. Informasi ini memungkinkan Anda melihat pengguna dan kueri mana yang paling banyak menggunakan sumber daya sistem untuk mendiagnosis masalah kinerja dengan melihat statistik rencana serta eksekusi kueri. Selain itu, Anda dapat melihat pemanfaatan sumber daya pada tiap simpul komputasi untuk memastikan bahwa Anda memiliki data dan kueri yang seimbang di semua simpul.

Amazon Redshift secara periodik melakukan pemeliharaan untuk menerapkan perbaikan, peningkatan, dan fitur baru pada klaster Anda. Anda dapat mengubah periode pemeliharaan terjadwal dengan mengubah klaster, baik secara terprogram atau dengan menggunakan Konsol Redshift. Selama periode pemeliharaan ini, klaster Amazon Redshift Anda tidak akan tersedia untuk operasi normal. Untuk informasi selengkapnya mengenai periode pemeliharaan dan jadwal berdasarkan Wilayah, baca Periode Pemeliharaan dalam Panduan Pengelolaan Amazon Redshift.