Arsitektur Data Modern di AWS
Arsitektur data modern — cara kerjanya
Arsitektur data modern mendukung ide menggunakan pendekatan satu ukuran untuk semua untuk analitik yang pada akhirnya mengarah ke kompromi. Ini bukan hanya tentang mengintegrasikan danau data dengan gudang data, tetapi tentang mengintegrasikan danau data, gudang data, dan penyimpanan yang dibuat khusus, memungkinkan tata kelola terpadu, dan perpindahan data yang mudah. Dengan arsitektur data modern di AWS, pelanggan dapat dengan cepat membangun danau data yang dapat diskalakan, menggunakan kumpulan layanan data yang dibuat khusus yang luas dan mendalam, memastikan kepatuhan melalui akses data terpadu, keamanan, dan tata kelola, menskalakan performa, dan dengan mudah berbagi data di seluruh batas organisasi, memungkinkan mereka untuk membuat keputusan dengan kecepatan dan ketangkasan dalam skala besar.
Alasan Anda memerlukan arsitektur data modern
Volume data meningkat dengan kecepatan yang belum pernah terjadi sebelumnya, meningkat dari terabita ke petabita, dan terkadang eksabita. Pendekatan analitik data on-premise tradisional tidak dapat menangani volume data ini karena pendekatan ini tidak menskalakan dengan cukup baik dan terlalu mahal. Banyak perusahaan mengambil semua datanya dari berbagai silo dan menggabungkan semua data tersebut dalam satu lokasi, yang banyak disebut dengan danau data, untuk melakukan analitik dan ML langsung selain data tersebut. Di lain waktu, perusahaan yang sama ini menyimpan data lain di penyimpanan data yang dibuat khusus untuk menganalisis dan mendapatkan wawasan cepat dari data terstruktur dan tidak terstruktur. Perpindahan data ini dapat dari “dalam-luar”, “luar-dalam”, “di sekitar perimeter”, atau “berbagi”, karena data memiliki gravitasi.
-
Dalam-luar
-
Luar-dalam
-
Di sekitar perimeter
-
Berbagi
-
Gravitasi data
-
Dalam-luar
-
Perpindahan data dalam-luar
Pelanggan menyimpan data di danau data dan memindahkan bagian dari data ke penyimpanan data yang dibuat khusus untuk melakukan machine learning atau analitik tambahan.
Misalnya: Data aliran klik dari aplikasi web dapat dikumpulkan secara langsung di danau data, dan sebagian dari data tersebut dapat dipindahkan ke gudang data untuk pelaporan harian. Kami menganggap konsep ini sebagai perpindahan data dalam-luar
-
Luar-dalam
-
Perpindahan data luar-dalam
Pelanggan menyimpan data di penyimpanan data yang dibuat khusus seperti gudang data atau basis data dan memindahkan data tersebut ke danau data untuk menjalankan analisis pada data tersebut.
Contoh: Pelanggan menyalin hasil kueri penjualan produk pada wilayah yang ditentukan dari gudang data mereka ke danau data mereka untuk menjalankan algoritme rekomendasi terhadap set data yang lebih besar menggunakan ML.
-
Di sekitar perimeter
-
Perpindahan data di sekitar perimeter
Integrasikan dengan mudah danau data, gudang data, dan penyimpanan data Anda yang dibuat khusus.
Contoh: Pelanggan dapat menyalin data katalog produk yang disimpan di basis data mereka ke layanan pencarian mereka untuk mempermudah pencarian melalui katalog produk dan memindahkan beban kueri pencarian dari basis data.
-
Berbagi
-
Perpindahan data berbagi
Pelanggan menggunakan arsitektur data modern untuk memfasilitasi tata kelola dan berbagi data di seluruh batas tata kelola logis atau fisik untuk menciptakan Domain Data yang selaras dengan lini bisnis.
-
Gravitasi data
-
Gravitasi data
Dengan data di danau data dan penyimpanan yang dibuat khusus yang terus berkembang, akan menjadi lebih sulit untuk memindahkan semua data ini karena data memiliki gravitasi. Hal ini sama pentingnya untuk memastikan bahwa data dapat dengan mudah diperoleh di mana pun dibutuhkan, dengan kontrol yang tepat, untuk memungkinkan analisis dan wawasan.
Pilar arsitektur data modern
Organisasi mengambil data mereka dari berbagai silo dan menggabungkan semua data tersebut dalam satu lokasi untuk melakukan analitik dan machine learning selain data tersebut. Untuk mendapatkan nilai yang maksimal, mereka perlu memanfaatkan arsitektur data modern yang memungkinkan mereka memindahkan data antara danau data dan penyimpanan data yang dibuat khusus dengan mudah. Cara perancangan modern ini memerlukan:
-
Danau data yang dapat diskalakan
Puluhan ribu pelanggan menjalankan danau data di AWS.
Menyiapkan dan mengelola danau data kini melibatkan banyak tugas manual yang rumit dan memakan waktu. AWS Lake Formation mengotomatiskan tugas ini agar Anda dapat membangun dan mengamankan danau data Anda dalam hitungan hari, bukan bulan. Untuk penyimpanan danau data, Amazon S3 adalah tempat terbaik untuk membangun danau data karena 99,99% daya tahan yang tidak tertandingi dan 99,99% ketersediaan; keamanan, kepatuhan, dan kemampuan audit terbaik dengan pencatatan audit dan kontrol akses tingkat objek; fleksibilitas tertinggi dengan lima tingkatan penyimpanan; dan biaya terendah dengan harga mulai kurang dari 1 USD per TB per bulan.
-
Layanan Analitik yang Dibuat Khusus
AWS memberi Anda portofolio layanan analitik terluas dan terdalam yang dibuat khusus dan dioptimalkan untuk kasus penggunaan analitik unik Anda.
Semua layanan ini dirancang sebagai yang terbaik di kelasnya, yang berarti Anda tidak perlu berkompromi dengan performa, skala, atau biaya saat menggunakannya. Misalnya, Amazon Redshift menjadi 3x lebih cepat dan setidaknya 50% lebih murah dari semua gudang data cloud lainnya. Spark di Amazon EMR berjalan 1,7x lebih cepat dari Apache Spark 3.0 standar dan Anda dapat menjalankan analisis skala Petabita dengan kurang dari separuh biaya solusi tradisional on-premise.
-
Akses data terpadu
Karena data di danau data dan penyimpanan data yang dibuat khusus milik Anda terus bertambah, sering kali sebagian dari data tersebut harus dapat dipindahkan dengan mudah dari satu ke penyimpanan data lainnya.
AWS memudahkan Anda menggabungkan, memindahkan, dan mereplikasi data lintas penyimpanan data dan danau data Anda. Misalnya, AWS Glue menyediakan kemampuan integrasi data komprehensif untuk kemudahan menemukan, mempersiapkan, dan menggabungkan data untuk analitik, machine learning, dan pengembangan aplikasi, sedangkan Amazon Redshift dapat dengan mudah melakukan kueri data di data lake S3 Anda. Tidak ada penyedia analitik lain yang memudahkan Anda memindahkan data dalam skala besar, ke tempat yang paling Anda butuhkan.
-
Tata kelola terpadu
Salah satu bagian terpenting dari arsitektur analitik modern adalah kemampuan pelanggan dalam mengotorisasi, mengelola, dan mengaudit akses ke data.
Ini kadang tidak mudah, karena pengelolaan keamanan, kontrol akses, dan jejak audit di seluruh penyimpanan data di organisasi Anda tentu rumit, memakan waktu, dan rawan terjadi kesalahan. AWS memberikan Anda kemampuan tata kelola untuk mengelola akses ke semua data Anda di seluruh danau data dan penyimpanan data yang dibuat khusus dari satu tempat. AWS Lake Formation memungkinkan Anda untuk menentukan dan mengelola kebijakan keamanan, tata kelola, dan audit secara terpusat, sehingga menghasilkan kontrol akses yang seragam untuk berbagi data di seluruh perusahaan.
-
Berperforma baik dan hemat biaya
AWS berkomitmen memberikan performa terbaik dengan biaya terendah di semua layanan analitik dan terus berinovasi untuk meningkatkan performa harga layanan kami.
Selain performa harga terdepan di industri untuk layanan analitik, S3 intelligent tiering menghemat biaya penyimpanan pelanggan hingga 70% untuk data yang disimpan di danau data Anda, dan Amazon EC2 menyediakan akses ke pilihan teratas di industri, yaitu lebih dari 200 tipe instans, hingga bandwidth jaringan 100 Gbps, dan ketersediaan pilihan antara instans sesuai permintaan, terpesan, dan instans spot.
Lebih banyak pelanggan yang memanfaatkan arsitektur data modern di AWS dibandingkan di tempat lain
-
BMW Group
-
Baca studi kasusUntuk mempercepat inovasi dan mendemokratisasi penggunaan data dalam skala besar, BMW Group memigrasikan danau data on-premise mereka ke tempat didukung oleh Amazon S3. BMW kini memproses TB data telemetri dari jutaan kendaraan setiap hari dan menyelesaikan masalah sebelum berdampak pada pelanggan.
-
Nielsen
-
Baca studi kasusNielsen, perusahaan pengukuran dan analitik global, secara drastis meningkatkan jumlah data yang dapat diserap, diproses, dan melaporkannya ke klien setiap hari dengan memanfaatkan teknologi cloud modern. Perusahaan ini mencatat peningkatan pengukuran dari 40.000 rumah tangga per hari hingga kini lebih dari 30 juta.
-
Engie
-
Baca studi kasusENGIE adalah salah satu perusahaan utilitas terbesar di Prancis dengan 160.000 karyawan dan 40 unit bisnis yang beroperasi di 70 negara. Danau data Common Data Hub mereka yang hampir 100 TB telah menggunakan layanan AWS untuk memenuhi kebutuhan bisnis dalam ilmu data, pemasaran, dan operasi.
Partner
Pelajari cara Partner kami membantu organisasi membangun arsitektur data modern di AWS.
Cloudera
Menjalankan Cloudera Enterprise di AWS menyediakan platform manajemen data kepada IT dan pengguna bisnis yang dapat bertindak sebagai landasan untuk pemrosesan dan analitik data modern.
/Informatica_icon_solutionspace.b413aef928d0d5cb73d65ffe147b99059a187b46.png "Informatica Cloud"){kind=icon}
Informatica Cloud
Informatica Cloud menyediakan pengoptimalan integrasi ke layanan data AWS dengan konektivitas native ke lebih dari 100 aplikasi.
Dataguise
Dataguise adalah pemimpin dalam pelaksanaan bisnis yang aman, memberikan solusi keamanan yang berpusat pada data, yang mendeteksi dan melindungi data sensitif perusahaan—di mana pun data berada atau siapa pun yang perlu memanfaatkannya.
Orkestrasi Data Alluxio
Orkestrasi Data Alluxio memungkinkan pelanggan memanfaatkan berbagai layanan AWS penting dengan lebih baik, seperti EMR dan S3 untuk beban kerja Analitik dan AI.
Memulai
AWS Data-Driven Everything
Dalam program AWS Data-Driven EVERYTHING (D2E), AWS akan bermitra dengan para pelanggan kami untuk bergerak lebih cepat, dengan presisi lebih tinggi, dan cakupan yang jauh lebih ambisius untuk memulai data flywheel Anda sendiri.
Pelajari selengkapnya »
AWS Data Lab
AWS Data Lab menawarkan keterlibatan rekayasa bersama yang dipercepat antara pelanggan dan sumber daya teknis AWS untuk memberikan hasil nyata yang mempercepat inisiatif modernisasi data dan analitik.
Analitik AWS & arsitektur referensi big data
Pelajari praktik arsitektur terbaik untuk analisis data cloud, pergudangan data, dan manajemen data di AWS.