Apa itu Data Mesh?
Data mesh adalah kerangka kerja arsitektur yang menyelesaikan tantangan keamanan data lanjutan melalui kepemilikan yang terdistribusi dan terdesentralisasi. Organisasi memiliki banyak sumber data dari berbagai lini bisnis yang harus diintegrasikan untuk analitik. Arsitektur data mesh secara efektif menyatukan sumber data yang berbeda dan menghubungkannya bersama melalui pedoman berbagi dan tata kelola data yang dikelola secara terpusat. Fungsi bisnis dapat mempertahankan kontrol terhadap bagaimana data bersama diakses, siapa yang mengaksesnya, dan dalam format apa data tersebut diakses. Data mesh tidak hanya menambah kompleksitas pada arsitektur, tetapi juga menghadirkan efisiensi dengan meningkatkan akses, keamanan, dan skalabilitas data.
Tantangan apa yang diselesaikan oleh data mesh?
Meskipun organisasi memiliki akses ke volume data yang terus meningkat, mereka harus mengurutkan, memfilter, memproses, dan menganalisis data untuk memperoleh manfaat praktis. Organisasi sering menggunakan tim teknisi dan ilmuwan pusat untuk mengelola data. Tim tersebut menggunakan platform data terpusat untuk tujuan berikut:
- Menyerap data dari semua unit bisnis (atau domain bisnis) yang berbeda.
- Mengubah data menjadi format yang konsisten, dapat dipercaya, dan bermanfaat. Misalnya, tim dapat memastikan semua tanggal dalam sistem menggunakan format umum atau meringkas laporan harian.
- Mempersiapkan data untuk konsumen data, seperti dengan membuat laporan untuk manusia atau menyiapkan file XML untuk aplikasi. Baca mengenai XML »
Saat volume data meningkat, organisasi menghadapi peningkatan biaya untuk mempertahankan ketangkasan seperti sebelumnya. Sistem monolitik sulit untuk diukur karena alasan berikut.
Tim data silo
Tim data pusat memiliki ilmuwan dan teknisi data spesialis dengan pengetahuan bisnis dan domain yang terbatas. Namun, mereka masih harus menyediakan data untuk beragam kebutuhan operasional dan analitis tanpa pemahaman motivasi yang jelas.
Lambat dalam merespons perubahan
Teknisi data biasanya mengimplementasikan alur yang menyerap data dan mengubahnya menjadi beberapa langkah sebelum menyimpannya di danau data pusat. Setiap perubahan yang diminta memerlukan modifikasi pada seluruh alur. Tim pusat harus melakukan perubahan ini sembari mengelola prioritas yang bertentangan dan dengan pengetahuan domain bisnis yang terbatas.
Berkurangnya tingkat akurasi
Unit bisnis tidak terhubung dengan konsumen data dan tim data pusat. Akibatnya, mereka kekurangan dorongan untuk memberikan data yang berarti, benar, dan berguna.
Apa saja manfaat data mesh?
Seiring berjalannya waktu, arsitektur platform data dapat mengakibatkan konsumen data frustrasi, produsen data tidak terhubung, dan tim manajemen data kelebihan beban. Arsitektur data mesh berupaya menyelesaikan tantangan ini dengan memberdayakan unit bisnis agar memiliki otonomi dan kepemilikan yang tinggi atas domain data mereka. Manfaat dari arsitektur data mesh disajikan di bawah ini.
Pemrosesan data demokratis
Data mesh mentransfer kontrol data ke ahli domain yang membuat produk data yang berarti dalam kerangka kerja tata kelola yang terdesentralisasi. Konsumen data juga meminta akses ke produk data dan meminta persetujuan atau perubahan langsung dari pemilik data. Akibatnya, semua orang mendapatkan akses lebih cepat ke data yang relevan, dan akses yang lebih cepat meningkatkan ketangkasan bisnis.
Fleksibilitas yang meningkat
Infrastruktur data terpusat lebih kompleks dan memerlukan kolaborasi untuk memelihara dan mengubah. Sebaliknya, data mesh mengatur ulang implementasi teknis dari sistem pusat ke domain bisnis. Tindakan ini menghilangkan alur data pusat dan mengurangi kemacetan operasional serta tekanan teknis pada sistem.
Hemat biaya
Arsitektur data terdistribusi beralih dari pemrosesan batch, sebagai gantinya mempromosikan adopsi streaming data waktu nyata. Anda meningkatkan visibilitas ke dalam alokasi sumber daya dan biaya penyimpanan, menghasilkan penganggaran yang lebih baik dan pengurangan biaya.
Peningkatan penemuan data
Model data mesh mencegah silo data terbentuk di sekitar tim teknik pusat. Hal ini juga mengurangi risiko aset data terkunci dalam sistem domain bisnis yang berbeda. Sebaliknya, kerangka kerja manajemen data pusat mengatur dan mencatat data yang tersedia di organisasi. Misalnya, tim domain secara otomatis mendaftarkan data mereka di registri pusat.
Memperkuat keamanan dan kepatuhan
Arsitektur data mesh memberlakukan kebijakan keamanan data baik di dalam atau pun di antara domain. Mereka menyediakan pemantauan dan audit terpusat dari proses berbagi data. Misalnya, Anda dapat menerapkan persyaratan data log dan pelacakan di semua domain. Auditor Anda dapat mengamati penggunaan dan frekuensi akses data.
Apa saja kasus penggunaan data mesh?
Data mesh dapat mendukung semua jenis kasus penggunaan big data. Kami memberikan beberapa contoh di bawah.
Analitik data
Berbagai fungsi bisnis menyediakan data tepercaya dan berkualitas tinggi untuk beban kerja analitik data Anda. Tim Anda dapat menggunakan data tersebut untuk membuat dasbor kecerdasan bisnis yang disesuaikan yang menampilkan performa proyek, hasil pemasaran, dan data operasional. Ilmuwan data dapat mempercepat proyek machine learning untuk mendapatkan manfaat penuh dari otomatisasi.
Layanan pelanggan
Data mesh memberikan pandangan komprehensif mengenai pelanggan untuk tim dukungan dan pemasaran. Misalnya, tim dukungan dapat mengambil data yang relevan dan mengurangi waktu penanganan rata-rata, dan tim pemasaran dapat memastikan bahwa mereka menargetkan demografi pelanggan yang tepat dalam kampanye mereka.
Pelaporan regulasi
Kebutuhan akan volume, ketepatan waktu, dan akurasi data yang memenuhi tujuan regulasi menimbulkan tantangan, baik bagi regulator maupun perusahaan yang diregulasi. Semua pihak dapat memanfaatkan penerapan teknologi data mesh. Misalnya, organisasi dapat memasukkan data pelaporan ke dalam data mesh yang diatur secara terpusat oleh regulator.
Data pihak ketiga
Anda dapat menerapkan teknologi data mesh untuk kasus penggunaan yang memerlukan set data pihak ketiga dan publik. Anda dapat memperlakukan data eksternal sebagai domain terpisah dan menerapkannya di mesh untuk memastikan konsistensi dengan set data internal.
Apa saja prinsip dari arsitektur data mesh?
Organisasi Anda harus mengimplementasikan empat prinsip berikut untuk mengadopsi paradigma data mesh.
Arsitektur berbasis domain terdistribusi
Pendekatan data mesh mengusulkan bahwa tanggung jawab manajemen data diatur di sekitar fungsi atau domain bisnis. Tim domain bertanggung jawab untuk mengumpulkan, mengubah, dan menyediakan data yang terkait atau dibuat oleh fungsi bisnis mereka. Alih-alih data domain yang mengalir dari sumber data ke platform data pusat, tim tertentu meng-hosting dan menyajikan set datanya dengan cara yang mudah dikonsumsi. Misalnya, pengecer dapat memiliki domain pakaian dengan data mengenai produk pakaian mereka dan domain perilaku situs web yang berisi analitik perilaku pengunjung situs.
Data sebagai produk
Agar implementasi data mesh berhasil, setiap tim domain perlu menerapkan pemikiran produk ke set data yang mereka sediakan. Mereka harus menganggap aset data mereka sebagai produk mereka, dan tim bisnis serta data organisasi lainnya sebagai pelanggan mereka.
Untuk pengalaman pengguna terbaik, produk data domain harus memiliki kualitas dasar berikut.
Dapat ditemukan
Setiap produk data mendaftarkan diri dengan katalog data terpusat agar mudah ditemukan.
Beralamat
Setiap produk data harus memiliki alamat unik yang membantu konsumen data mengaksesnya secara terprogram. Alamat biasanya mengikuti standar penamaan yang diputuskan secara terpusat dalam organisasi.
Dapat dipercaya
Produk data menentukan tujuan tingkat layanan yang dapat diterima terkait seberapa dekat data mencerminkan realitas peristiwa yang didokumentasikannya. Misalnya, domain pesanan dapat memublikasikan data setelah memverifikasi alamat dan nomor telepon pelanggan.
Mendeskripsikan diri
Semua produk data memiliki sintaksis dan semantik yang dijelaskan dengan baik dan mengikuti konvensi penamaan standar yang ditentukan oleh organisasi.
Infrastruktur data layanan mandiri
Arsitektur data terdistribusi mengharuskan setiap domain menyiapkan alur datanya sendiri untuk membersihkan, memfilter, dan memuat produk datanya sendiri. Data mesh memperkenalkan konsep platform data layanan mandiri untuk menghindari duplikasi upaya. Teknisi data menyiapkan teknologi sehingga semua unit bisnis dapat memproses dan menyimpan produk data mereka. Dengan demikian, infrastruktur layanan mandiri memungkinkan pembagian tanggung jawab. Tim teknik data mengelola teknologi sementara tim bisnis mengelola data.
Tata kelola data gabungan
Arsitektur data mesh menerapkan keamanan sebagai tanggung jawab bersama di dalam organisasi. Kepemimpinan menentukan standar dan kebijakan global yang dapat Anda terapkan di seluruh domain. Pada saat yang sama, arsitektur data terdesentralisasi memungkinkan tingkat otonomi yang besar pada standar dan implementasi kebijakan dalam domain.
Bagaimana Anda dapat membangun data mesh di organisasi Anda?
Data mesh adalah konsep baru yang baru saja mendapatkan daya tarik pascapandemi. Organisasi sedang bereksperimen dengan teknologi yang berbeda saat mereka mencoba membangun data mesh untuk kasus penggunaan tertentu. Namun, adopsi data mesh korporasi di seluruh organisasi masih jarang. Tidak ada jalur yang jelas untuk implementasi data mesh, tetapi ada beberapa saran sebagai berikut.
Analisis data Anda yang sudah ada
Sebelum membuat data mesh, Anda harus membuat katalog data yang sudah ada dan mengidentifikasi domain bisnis yang relevan. Mengikuti aturan harmonisasi tertentu adalah kunci untuk korelasi data yang efektif di antara domain. Misalnya, Anda perlu menentukan standar global untuk pemformatan tipe bidang, bidang metadata, dan konvensi alamat produk data.
Implementasikan kebijakan tata kelola data global
Tata kelola data gabungan mengharuskan tim IT pusat Anda untuk mengidentifikasi standar pelaporan, autentikasi, dan kepatuhan untuk data mesh. Anda juga dapat menentukan kontrol akses terperinci yang diterapkan oleh pemilik produk data saat meng-hosting set data mereka. Sementara produsen data menentukan dan mengukur kualitas data, kebijakan tata kelola pusat membantu memandu keputusan mereka.
Bangun platform data layanan mandiri Anda
Platform data layanan mandiri Anda harus generik sehingga siapa pun dapat membuat produk data domain baru di atasnya. Platform data tersebut juga harus menyembunyikan kompleksitas teknis yang mendasarinya dan menyediakan komponen infrastruktur dengan layanan mandiri. Berikut adalah beberapa kemampuan yang disertakan:
- Enkripsi data
- Skema produk data
- Kontrol tata kelola dan akses
- Penemuan produk data, seperti pendaftaran atau penerbitan katalog
- Pemantauan dan pencatatan produk data
- Caching untuk peningkatan performa
Untuk mengurangi waktu tunggu pembuatan produk data, Anda juga dapat membuat otomatisasi, seperti konfigurasi dan skrip.
Pilih teknologi yang tepat
Sistem penyimpanan tradisional Anda yang sudah ada, seperti gudang data dan danau data, juga dapat mendukung data mesh Anda. Anda hanya perlu mengalihkan penggunaannya dari sistem monolitik ke beberapa repositori data terdesentralisasi. Data mesh juga memungkinkan adopsi platform cloud dan teknologi yang berpusat pada cloud. Infrastruktur cloud mengurangi biaya operasional dan upaya yang diperlukan untuk membangun data mesh. Anda harus memilih penyedia cloud dengan layanan manajemen data yang kaya untuk mendukung arsitektur data mesh Anda. Anda juga perlu mempertimbangkan persyaratan integrasi data dengan sistem warisan.
Mulai peralihan budaya di seluruh organisasi
Saat ini kami memiliki teknologi dan alat yang diperlukan untuk dengan mudah membangun data mesh dengan beberapa produk data. Peralihan menuju penyatuan batch dan streaming kini lebih mudah dari sebelumnya dengan alat seperti Amazon EMR. Namun, menskalakan data mesh Anda di luar proyek kecil memerlukan peralihan paradigma dari arsitektur data terpusat di masa lalu. Ini membutuhkan bahasa baru yang menekankan hal-hal berikut:
- Penemuan dan penggunaan data selama ekstraksi dan pemuatan
- Pemrosesan data waktu nyata melalui pemrosesan batch volume tinggi di kemudian hari
- Kepemilikan produk data terdistribusi melalui arsitektur platform data pusat
Saat ini, teknologi data seringkali mendorong keputusan arsitektural. Data mesh membalikkan aliran ini, menempatkan produk data domain di pusat sehingga mereka mendorong keputusan teknologi sebagai gantinya.
Apa saja perbedaan antara data mesh dan danau data?
Danau data adalah repositori tempat Anda dapat menyimpan semua data terstruktur dan tidak terstruktur tanpa prapemrosesan dan dalam skala apa pun. Dalam platform data terpusat, danau data adalah teknologi inti untuk menyimpan data dari semua sumber yang memungkinkan.
Data mesh adalah paradigma manajemen data yang menggunakan danau data secara berbeda. Danau data tidak lagi menjadi inti dari keseluruhan arsitektur. Sebagai gantinya, Anda dapat menggunakannya untuk mengimplementasikan produk data atau sebagai bagian dari infrastruktur layanan mandiri.
Apa saja perbedaan antara data mesh dan struktur data?
Struktur data adalah arsitektur modern lain yang menggunakan machine learning dan otomatisasi untuk integrasi menyeluruh dari berbagai lingkungan cloud dan alur data. Anda dapat menganggapnya sebagai lapisan teknologi di atas infrastruktur dasar Anda yang secara kohesif mengintegrasikan dan menyajikan data kepada pengguna nonteknis. Misalnya, pembuat keputusan menggunakan struktur data untuk melihat semua data mereka di satu tempat dan membuat koneksi antara set data yang berbeda.
Struktur data dan data mesh memiliki tujuan yang sama, yaitu manajemen data yang terpadu dan efektif. Misalnya, Anda memiliki pusat danau data dan menggunakan layanan AWS untuk penyerapan data. Pada saat yang sama, Anda memiliki infrastruktur warisan untuk transformasi data. Struktur data Anda mengintegrasikan kedua sistem dan menyajikan tampilan terpadu tanpa mengubah alur yang ada.
Dengan demikian, struktur data menggunakan teknologi untuk bekerja dengan infrastruktur Anda yang sudah ada. Di sisi lain, implementasi data mesh mengharuskan Anda mengubah infrastruktur dasarnya sendiri. Anda harus mengubah model push dan serap manajemen data menjadi model layani dan pull di seluruh domain bisnis Anda.
Bagaimana AWS dapat mendukung arsitektur data mesh Anda?
Arsitektur Data Modern di AWS mencantumkan beberapa layanan yang dapat Anda gunakan untuk mengimplementasikan data mesh dan arsitektur data modern lainnya di organisasi Anda. Anda dapat dengan cepat membangun produk data dan infrastruktur data mesh dengan biaya rendah tanpa mengorbankan performa.
Berikut adalah contoh layanan AWS yang dapat Anda gunakan:
- Gunakan AWS Lake Formation untuk membangun pola data mesh dalam skala besar dengan kontrol akses berbasis tanda
- Gunakan AWS Data Exchange untuk mengintegrasikan data pihak ketiga ke dalam data mesh Anda
- Gunakan AWS Glue untuk berbagi, meng-hosting, dan membuat katalog produk data
Mulai jala data Anda di AWS dengan membuat akun gratis sekarang juga.
