Integrasi Amazon DynamoDB

Dengan Amazon DynamoDB, Anda dapat dengan mudah mengintegrasikan beban kerja dengan Amazon DynamoDB Accelerator (DAX) untuk peningkatan performa hingga 10 kali lipat, Amazon OpenSearch Service untuk mengaktifkan kemampuan pencarian dan analitik waktu nyata, serta berbagai layanan AWS lainnya. DynamoDB memberi Anda fleksibilitas untuk berintegrasi dengan berbagai layanan AWS yang memenuhi persyaratan kasus penggunaan Anda.

Amazon DynamoDB Accelerator (DAX) adalah layanan caching yang terkelola penuh dengan ketersediaan yang sangat tinggi dan dibuat untuk Amazon DynamoDB. DAX memberikan peningkatan performa hingga 10 kali lipat—dari hitungan milidetik menjadi mikrodetik—bahkan pada jutaan permintaan per detik. DAX mengelola semua pembatalan cache dan populasi data untuk menambahkan akselerasi dalam memori ke tabel DynamoDB Anda. DAX adalah cache sebaris sehingga jika item yang di-cache tidak ada atau sudah usang, DAX akan secara otomatis melewati tabel yang mendasarinya.

Sekarang Anda dapat fokus membangun aplikasi besar untuk pelanggan Anda tanpa mengkhawatirkan performa dalam skala besar. Karena DAX kompatibel dengan pemanggilan API DynamoDB yang ada, tidak diperlukan perubahan aplikasi agar memudahkan untuk memulai. 

Integrasi nol-ETL Amazon DynamoDB dengan Amazon OpenSearch Service menyediakan jalur ETL tanpa kode yang terkelola penuh dengan replikasi yang mendekati waktu nyata dari DynamoDB ke OpenSearch Service. Integrasi nol-ETL ini memungkinkan pelanggan menyinkronkan data mereka dengan lancar dari DynamoDB ke OpenSearch Service dalam hitungan detik, menghilangkan kebutuhan menulis kode kustom untuk membangun dan memelihara jalur data yang rumit untuk operasi extract, transform, and load (ETL). Integrasi ini mengurangi beban operasional dan biaya yang diperlukan untuk menjaga sinkronisasi data antara basis data transaksional dan pencarian, agar memungkinkan pelanggan untuk fokus pada masalah bisnis inti mereka. 

Anda dapat membuat jalur pertama Anda dengan cepat dari tab Integrasi di konsol DynamoDB. Integrasi memanfaatkan jalur Amazon OpenSearch Ingestion untuk menentukan dan memproses transformasi, perutean, serta pemetaan data DynamoDB Anda ke indeks OpenSearch Service tertentu.

Integrasi nol-ETL ini memudahkan pembuatan indeks untuk melakukan pencarian teks lengkap, pencarian geo-spasial, pencarian vektor, dan lainnya. Pencarian dan agregasi OpenSearch Service bekerja sama dengan kueri DynamoDB untuk mengaktifkan aplikasi yang interaktif serta beperforma tinggi. Pelanggan DynamoDB sekarang dapat memanfaatkan kemampuan pencarian luas dan machine learning OpenSearch Service yang menawarkan pengalaman baru dan meningkatkan keterlibatan pengguna serta meningkatkan kepuasan terhadap aplikasi mereka. Pelajari selengkapnya dalam tutorial nol-ETL ini.

Pemicu AWS Lambda untuk Amazon DynamoDB memungkinkan Anda mengatur logika kustom dengan mudah untuk dijalankan sebagai respons terhadap setiap perubahan pada item di DynamoDB. Anda dapat dengan cepat membuat pemicu pertama dari tab Ekspor dan Aliran di konsol DynamoDB, setelah mengaktifkan Aliran DynamoDB. Setelah mengonfigurasi pemicu Anda, kode Lambda dapat terpicu dalam hitungan detik dari setiap perubahan pada data di tabel Anda.

Dengan pemicu AWS Lambda untuk DynamoDB, Anda dapat dengan mudah membangun pemicu basis data untuk memvalidasi dan memperkaya data, berintegrasi dengan layanan lain dengan mereplikasi data, atau membangun seluruh arsitektur yang didorong peristiwa, seperti pemenuhan pesanan atau pemrosesan media, yang bereaksi terhadap perubahan data di tabel DynamoDB. Fungsi Lambda dapat melakukan tindakan apa pun yang Anda tentukan, seperti mengirim notifikasi atau memulai alur kerja.  

Integrasi nol-ETL DynamoDB dengan OpenSearch Service menghilangkan kerumitan operasional dalam mengatur replikasi data dari penyimpanan data transaksional ke penyimpanan data pencarian. Jalur data yang digunakan untuk menjaga agar penyimpanan data transaksional dan pencarian tetap sinkron dapat menjadi tantangan dan mahal untuk dibangun serta dikelola, dan mengalami kesalahan intermiten yang sulit dilacak. 

Integrasi ini memungkinkan pelanggan Amazon DynamoDB memperoleh hasil pencarian yang mendekati waktu nyata dari data transaksional mereka dengan menawarkan solusi yang terkelola penuh untuk membuat data transaksional dari DynamoDB yang tersedia di OpenSearch Service dalam hitungan detik setelah ditulis. Pelanggan cukup memilih tabel DynamoDB yang berisi data yang ingin mereka analisis dengan OpenSearch Service, serta integrasi nol-ETL ini mereplikasi skema dan data dengan lancar ke OpenSearch Service menggunakan jalur OpenSearch Ingestion. Pelanggan dapat mereplikasi data dari beberapa tabel DynamoDB ke dalam satu domain yang dikelola OpenSearch Service atau kumpulan nirserver untuk mendapatkan wawasan holistik di beberapa aplikasi, sambil juga mengonsolidasikan aset analitik inti mereka, agar memperoleh penghematan biaya dan efisiensi operasional yang signifikan. 

Pelanggan dapat mulai menggunakan Konsol Manajemen AWS untuk DynamoDB, OpenSearch Service, AWS CLI, atau AWS SDK, atau AWS CloudFormation. Untuk mengaktifkan integrasi, pelanggan terlebih dahulu memilih tabel DynamoDB yang datanya perlu direplikasi. Pelanggan kemudian memilih Aliran DynamoDB untuk replikasi yang mendekati waktu nyata atau Ekspor Inkremental DynamoDB untuk replikasi tertunda sebagai mekanisme CDC guna menjaga data antara kedua sistem tetap sinkron. 

Integrasi nol-ETL ini mengatur jalur OpenSearch Ingestion di akun pelanggan yang menangani replikasi data ke klaster yang dikelola OpenSearch Service atau kumpulan nirserver. OpenSearch Ingestion memahami struktur tabel DynamoDB lalu membuat domain yang dikelola OpenSearch Service atau kumpulan nirserver yang setara dan melakukan bootstrap tujuan dengan data yang ada dari tabel DynamoDB. Secara opsional, pelanggan dapat menentukan skema untuk indeks yang akan dibuat di OpenSearch Service. 

Integrasi nol-ETL ini memberi Anda dasbor tempat Anda dapat memantau status integrasi end-to-end dengan metrik dan log waktu nyata Amazon CloudWatch. Anda dapat mengatur pemberitahuan jika terjadi pelanggaran ambang batas yang ditentukan pengguna. Integrasi ini juga terus memantau status tabel DynamoDB dan indeks OpenSearch Service serta segera memberi tahu pengguna jika terjadi regresi dengan salah satu entitas ini.

Untuk memastikan bahwa OpenSearch Ingestion memiliki izin yang diperlukan untuk mereplikasi data di kedua sistem ini, integrasi nol-ETL DynamoDB dengan OpenSearch Service membuat peran IAM dengan izin yang diperlukan untuk membaca data dari tabel DynamoDB dan menulis ke domain atau koleksi OpenSearch. Peran ini kemudian diambil oleh jalur OpenSearch Ingestion untuk memastikan bahwa postur keamanan yang tepat selalu terjaga saat memindahkan data dari sumber ke tujuan.

Integrasi nol-ETL ini menggunakan kemampuan transformasional data native dari jalur OpenSearch Ingestion untuk menggabungkan dan memfilter data saat data sedang bergerak. Saat memindahkan data dari tabel DynamoDB, pelanggan mungkin ingin menghapus beberapa bidang atau membuat bidang baru berdasarkan agregasi di seluruh bidang yang ada. 

Secara opsional, pelanggan juga dapat menulis logika kustom untuk OpenSearch Ingestion guna mencapai kemampuan transformasional yang dipesan lebih dahulu. Bagi pengguna lain, yang hanya ingin memindahkan seluruh datanya dari sumber ke sink, integrasi nol-ETL ini akan menyediakan cetak biru OpenSearch Ingestion yang luar biasa agar mereka dapat melakukan integrasi hanya dengan beberapa klik tombol.

Integrasi nol-ETL ini memberikan opsi kepada pelanggan untuk menentukan skema data kustom mereka bersama dengan pemetaan indeks yang digunakan oleh OpenSearch Ingestion saat menulis data dari DynamoDB ke OpenSearch Service. Pengalaman ini ditambahkan ke konsol UI dalam DynamoDB agar pelanggan memiliki kontrol penuh pada format indeks yang dibuat di OpenSearch Service.

Tidak ada biaya tambahan untuk menggunakan integrasi nol-ETL DynamoDB dengan OpenSearch Service selain biaya komponen dasar yang ada. Integrasi nol-ETL ini menggunakan Amazon OpenSearch Ingestion untuk membaca data dalam tabel DynamoDB dan mereplikasi ke OpenSearch Service. Biaya yang diperlukan dalam penggunaan integrasi nol-ETL DynamoDB dengan OpenSearch Service adalah biaya Unit Komputasi OpenSearch (OCU) yang diperlukan OpenSearch Ingestion untuk mereplikasi data di seluruh sistem. Selain itu, pelanggan memiliki opsi untuk memilih aliran DynamoDB atau ekspor inkremental sebagai pilihan CDC. Untuk ekspor inkremental, terdapat biaya yang terkait dengan penulisan data ke bucket S3. Untuk aliran DynamoDB, pelanggan akan dikenai biaya standar untuk penggunaan aliran DynamoDB.

Integrasi nol-ETL DynamoDB dengan OpenSearch Service memungkinkan penyerapan data lintas akun. Pengguna akan dapat membaca data dari tabel DynamoDB dalam satu akun dan menulis ke domain OpenSearch Service atau kumpulan nirserver di akun lain. OpenSearch Ingestion sudah memungkinkan penyerapan lintas akun dengan sumber lain yang datanya dibaca seperti bucket Amazon S3 dan klaster Amazon MSK, serta akan mengaktifkan akses lintas akun untuk tabel Amazon DynamoDB menggunakan paradigma IAM yang sama.

Integrasi nol-ETL DynamoDB dengan Amazon OpenSearch Service tersedia di semua wilayah tempat OpenSearch Ingestion tersedia saat ini.