AWS Lake Formation

Bangun data lake yang aman dalam hitungan hari

AWS Lake Formation merupakan layanan yang memudahkan penyiapan danau data yang aman dalam hitungan hari. Danau data adalah repositori terpusat, terkurasi, dan aman, yang menyimpan semua data Anda, baik dalam bentuk aslinya maupun yang disiapkan untuk analisis. Danau data memungkinkan Anda menguraikan silo data dan menggabungkan berbagai jenis analitik untuk mendapatkan wawasan dan memandu keputusan bisnis yang lebih baik.

Menyiapkan dan mengelola danau data saat ini membutuhkan banyak sekali tugas manual, rumit, dan memakan waktu. Pekerjaan itu termasuk memuat data dari sumber yang beragam, memantau aliran data tersebut, menyiapkan partisi, mengaktifkan enkripsi dan mengelola kunci, menetapkan tugas transformasi serta memantau operasionalnya, mengelola kembali data ke dalam format kolom, menghapus data duplikat yang berlebihan, dan mencocokkan catatan yang tertaut. Setelah data telah dimuat ke dalam danau data, Anda perlu memberikan akses mendetail ke set data, dan mengaudit akses dari waktu ke waktu pada seluruh alat dan layanan analitik serta machine learning (ML).

Membuat danau data dengan Lake Formation sesederhana menetapkan sumber data dan akses data serta kebijakan keamanan apa yang ingin Anda terapkan. Lake Formation kemudian akan membantu Anda mengumpulkan dan membuat katalog data dari basis data dan penyimpanan objek, memindahkan data ke danau data Amazon Simple Storage Service (S3) baru Anda, membersihkan dan mengklasifikasikan data Anda menggunakan algoritma machine learning (ML), serta melindungi akses ke data sensitif Anda menggunakan kontrol terperinci dalam tingkat kolom, baris, dan sel. Pengguna Anda dapat mengakses katalog data terpusat yang menguraikan set data yang tersedia dan penggunaan yang tepat dari set data tersebut. Mereka kemudian menggunakan set data ini dengan pilihan layanan analitik dan ML mereka, seperti Amazon Redshift, Amazon Athena, Amazon EMR untuk Apache Spark, dan Amazon QuickSight. Lake Formation dibangun berdasarkan kemampuan yang tersedia di AWS Glue.

AWS re:Invent 2018 - Mengumumkan AWS Lake Formation (2:44)

Keuntungan

Membangun data lake dengan cepat

Dengan menggunakan Lake Formation, Anda dapat memindahkan, menyimpan, membuat katalog, dan membersihkan data Anda dengan lebih cepat. Anda cukup mengarahkan Lake Formation pada sumber data Anda, dan Lake Formation akan melakukan crawl sumber data itu dan memindahkan data tersebut ke danau data Amazon S3 baru Anda. Lake Formation akan mengatur data di dalam S3 pada seputar syarat-syarat kueri yang sering digunakan dan menjadi bagian-bagian yang berukuran tepat untuk meningkatkan efisiensi. Lake Formation juga akan mengubah data menjadi format-format seperti Apache Parquet dan ORC untuk analitik yang lebih cepat. Selain itu, Lake Formation juga memiliki machine learning (ML) bawaan untuk menghapus duplikat data dan menemukan catatan yang cocok (dua entri yang merujuk pada hal yang sama) untuk meningkatkan kualitas data.

Sederhanakan manajemen keamanan

Lake Formation menyediakan satu tempat untuk menetapkan dan menerapkan kontrol akses yang beroperasi dalam tingkat tabel, kolom, baris, dan sel untuk semua pengguna dan layanan yang mengakses data Anda. Kebijakan Anda secara konsisten diimplementasikan, meniadakan kebutuhan untuk secara manual mengonfigurasikannya pada seluruh layanan keamanan seperti AWS Identity and Access Management (IAM) dan AWS Key Management Service (KMS), layanan penyimpanan seperti S3, serta layanan analitik maupun layanan ML seperti Redshift, Athena, AWS Glue, dan EMR untuk Apache Spark. Ini akan mengurangi pekerjaan dalam mengonfigurasikan kebijakan pada seluruh layanan dan menyediakan pemberlakuan dan kepatuhan yang konsisten.

Sediakan akses mandiri ke data

Dengan Lake Formation, Anda membangun sebuah katalog data yang menguraikan berbagai set data yang tersedia, beserta grup pengguna mana yang memiliki akses terhadap setiap set data tersebut. Ini akan membuat pengguna Anda lebih produktif dengan membantu mereka menemukan set data yang tepat untuk dianalisis. Dengan menyediakan katalog data dengan pemberlakuan keamanan yang konsisten, Lake Formation akan mempermudah analis dan ilmuwan data Anda untuk menggunakan layanan analitik pilihan mereka. Mereka dapat menggunakan EMR untuk Apache Spark, Redshift, Athena, AWS Glue, dan Amazon QuickSight pada berbagai set data yang kini disimpan dalam satu danau data. Pengguna juga dapat menggabungkan berbagai layanan ini tanpa perlu memindahkan data antar silo.

Cara kerja

Cara Kerja

Lake Formation membantu untuk membangun, melindungi, dan mengelola danau data Anda. Pertama, identifikasi penyimpanan data yang sudah ada di database S3 atau database relasional dan NoSQL, serta pindahkan data ke data lake. Kemudian lakukan crawl, buat katalog, dan persiapkan data untuk analitik. Selanjutnya, berikan akses mandiri layanan yang aman untuk pengguna Anda terhadap data menggunakan pilihan layanan analitik mereka. Layanan AWS dan aplikasi pihak ketiga lainnya juga dapat mengakses data melalui layanan yang ditunjukkan. Lake Formation mengelola semua tugas yang ditunjukkan di dalam kotak oranye dan terintegrasi dengan penyimpanan data dan layanan yang ditunjukkan di dalam kotak biru.

Kasus penggunaan

Bangun data lake dengan cepat

Gunakan cetak biru di Lake Formation untuk memindahkan, menyimpan, membuat katalog, membersihkan, dan mengatur data Anda dengan lebih cepat. Konversi data ke dalam format-format seperti Parket dan ORC untuk analitik yang lebih cepat, dan gunakan ML bawaan untuk menghapus duplikat dan menemukan catatan yang cocok. Sederhanakan cara Anda menyimpan dan memelihara data Anda menggunakan Tabel Diatur, tabel Amazon S3 tipe baru. Tabel Diatur menggunakan transaksi ACID (bersifat atom, konsisten, terisolasi, dan tahan lama) yang secara otomatis menyelesaikan konflik dan memastikan tampilan data uang konsisten untuk seluruh pengguna. Tabel Diatur juga memantau dan mengoptimalkan data Anda secara otomatis untuk meningkatkan kinerja mesin saat melakukan kueri Tabel Diatur.

Tetapkan dan kelola kontrol akses secara terpusat

Lake Formation menyediakan satu tempat untuk menetapkan, mengklasifikasikan, menandai, dan mengelola izin terperinci untuk data yang ada di dalam Amazon S3. Anda dapat menentukan daftar hierarkis tanda, menetapkan tanda pada basis data, tabel dan kolom, serta mengonfigurasi keamanan dalam tingkat kolom dan sel.

Berlakukan klasifikasi data dan akses terperinci data

Lake Formation memberlakukan kebijakan tanpa harus mengonfigurasi kontrol akses data pada setiap layanan yang digunakan. Lake Formation secara otomatis memfilter data dan memberikan data yang diizinkan oleh kebijakan yang telah ditentukan hanya kepada pengguna yang sah, tanpa harus melakukan duplikasi data.

Aktifkan manajemen data berkelanjutan, perjalanan waktu, dan optimasi penyimpanan

Tingkatkan keandalan dan kepercayaan danau data untuk memperbarui data batch dan streaming. Lakukan kueri versi data historis dan mengaudit data yang diubah. Ringkas otomatis file kecil dan aktifkan filter push-down untuk mengurangi pemindaian data dan meningkatkan performa kueri.

Aktifkan data lake gabungan berbagi lintas-akun

Berikan produk data berorientasi domain yang terdesentralisasi di seluruh organisasi Anda menggunakan berbagi data yang diatur dengan baik, dengan pergerakan data yang minimal atau tanpa pergerakan sama sekali.

Lihat “Apa itu danau data?” untuk informasi selengkapnya.

Pelanggan

Nu Skin

Nu Skin Enterprises merupakan sebuah perusahaan penjualan langsung yang mendistribusikan lebih dari 200 produk anti penuaan berkualitas premium dalam kategori perawatan personal dan suplemen nutrisi.

"Kami menghadapi tantangan dalam memperluas kemampuan dan menskalakan throughput sistem analitik yang sudah ada. Data kami didistribusikan dalam berbagai database dan solusi SaaS yang tidak saling terhubung, yang menyulitkan dalam menganalisis data sesuai skala sembari membatasi akses ke data yang sensitif. Untuk mengatasi tantangan ini, kami membangun solusi danau data di AWS. Solusi ini memungkinkan kami mengumpulkan data dari berbagai silo data ke dalam, Amazon S3, tempat kami membuat katalog dan melindungi semua data menggunakan AWS Lake Formation. Tanpa AWS Lake Formation, mustahil mencapai tujuan lapisan keamanan yang dapat diskalakan dan mudah digunakan untuk semua data yang ada di dalam Amazon S3. Ini mudah untuk diatur dan dapat menerapkan kontrol akses terperinci berdasarkan persona pengguna."

Joe Sueper, VP Enterprise Architecture, Layanan Teknologi Global – Nu Skin Enterprises

Panasonic

Panasonic Avionics Corporation merupakan pemasok sistem hiburan dan komunikasi dalam penerbangan terkemuka di dunia.

“Kami ingin membuat platform data dengan kemampuan untuk mengelola pengaturan keamanan untuk semua aplikasi berbeda dalam lingkungan kami. Dengan AWS Lake Formation, kini kami dapat menentukan kebijakan satu kali dan memberlakukannya dengan cara yang sama, di mana saja, untuk beberapa layanan yang kami gunakan, termasuk AWS Glue dan Amazon Athena. Penyempurnaan tingkat kontrol ini memberi kami akses yang aman terhadap data dan metadata kolom dan tabel, bukan hanya untuk objek massal, yang merupakan bagian penting dari standar keamanan dan tata kelola data kami."

Anand Desikan, Direktur Layanan Cloud dan Data (Director of Cloud and Data Services) – Panasonic Avionics

Accenture

Accenture adalah perusahaan layanan profesional global terkemuka, yang menyediakan berbagai layanan dan solusi dalam hal strategi, konsultasi, digital, teknologi, dan operasional.

“Saya berfokus pada membantu klien dalam perjalanan ‘Data di Cloud’ mereka. Dalam kaitannya dengan hal tersebut, kami telah melihat banyak organisasi menghadapi ketiadaan data tepercaya saat mereka perlu menjalankan analitik pada data yang berasal dari beberapa sumber. Pembersihan data merupakan langkah yang sangat penting dalam analitik data dapat sangat berpengaruh terhadap hasil dan pengambilan keputusan bisnis. Fitur baru dalam AWS Lake Formation telah sangat menguntungkan dalam menangani tantangan akurasi dan melindungi akses ke data lake. Bagi kami ini sangat berguna dalam memanfaatkan teknik machine learning lanjutan untuk penyiapan data untuk menemukan catatan yang sesuai, membersihkan, dan menghapus data duplikat dari berbagai sumber data. Hal ini dapat membantu mengurangi waktu, pekerjaan, dan biaya, sembari meningkatkan kualitas dan akurasi data dalam danau data pelanggan."

Namrata Maheshwary, Arsitek Senior Grup Bisnis Data (Senior Architect for the Data Business Group) - Accenture

Zalando

Zalando merupakan platform untuk fesyen dan gaya hidup terkemuka di Eropa.

“Sebagai perusahaan teknologi paling bergaya di Eropa, kami bekerja keras untuk menemukan solusi digital bagi setiap aspek perjalanan fesyen. AWS Lake Formation memberi kami titik kontrol sentral untuk akses data melalui Amazon Redshift yang tidak hanya menyederhanakan proses, tetapi meningkatkannya melalui kontrol granular mengenai bagaimana data digunakan. Sekarang kami dapat menemukan, mengakses, dan menganalisis data di data lake dengan alat yang kami sukai, dan memanfaatkannya untuk kecerdasan bisnis dan ilmu data. Alur kerja yang efisien ini membantu eksekutif kami mengambil keputusan yang tepat secara tepat waktu, dan mendukung inovasi dengan machine learning."

Alberto Miorin, Kepala Rekayasa (Engineering Lead) - Zalando SE

Life360

Life360 merupakan layanan ketenteraman batin untuk keluarga yang terkemuka di dunia. Aplikasi Life360 mendekatkan keluarga dengan fitur cerdas yang dirancang untuk melindungi dan menghubungkan orang-orang terpenting.

"Kami ingin menggunakan AWS Lake Formation untuk membangun danau data kami agar mendukung data deret waktu yang berbasis lokasi, dan memudahkan pemuatan data. Cetak biru yang dirancang sebelumnya membantu memasukkan data ke danau data tanpa mengharuskan tim rekayasa data kami untuk menulis kode dari scratch, sehingga mereka dapat fokus pada pengoperasian penyerapan, bukan menghabiskan waktu untuk sesuatu yang sudah diketahui. Dengan AWS Lake Formation, kami dapat dengan cepat membuka data yang tersedia di Amazon S3, dan membuatnya tersedia untuk dianalisis pada seluruh spektrum layanan data AWS yang luas. Data tersebut tetap berada di Amazon S3, kami dapat menganalisisnya dalam banyak cara yang berbeda, dan kami memelihara kontrol penuh terhadap data tersebut."

Richard Chennault, Kepala Layanan Cloud dan Data (Head of Cloud and Data Services) – Life360, Inc.

Change Healthcare

Change Healthcare merupakan perusahaan teknologi layanan kesehatan independen yang menyediakan solusi yang didukung data dan analitik, yang menjangkau sekitar 2.100 koneksi pembayar pemerintahan dan komersial, 5.500 rumah sakit, 900.000 dokter, dan 33.000 farmasi.

Kami menangani data dari jutaan transaksi setiap harinya sembari mempertahankan kepatuhan terhadap peraturan industri layanan kesehatan, termasuk HIPAA. Kami sangat bersemangat dengan peluncuran AWS Lake Formation, yang menyediakan titik kontrol terpusat untuk memuat, membersihkan, melindungi, dan membuat katalog data dari ribuan klien ke danau data berbasis AWS kami dengan mudah, yang secara dramatis mengurangi beban operasional kami. Kontrol akses data di Lake Formation akan memudahkan kami menentukan kebijakan kami suatu waktu dan memberlakukannya di seluruh layanan analitik dan machine learning yang kami gunakan, dengan log audit yang menunjukkan kepatuhan."

Aaron Symanski, CTO - Change Healthcare

Fender Digital

Fender Digital adalah bagian dari Fender, sebuah merek gitar ikonik, yang membuat aplikasi, situs web, platform, serta peralatan untuk melengkapi perlengkapan gitar, amplifier, dan audio yang dibuat oleh Fender.

"Kami menghasilkan data pengguna dan data penggunaan dalam jumlah yang luar biasa besar dari aplikasi dan perangkat digital kami. Kami berencana membangun danau data di AWS untuk beroperasi berdampingan dengan gudang data berbasis Amazon Redshift kami. Saya tidak sabar melihat tim saya mencoba AWS Lake Formation secara langsung. Lake Formation akan memudahkan kami memuat, mentransformasikan, dan membuat katalog data kami, serta membuatnya tersedia dengan aman dalam organisasi, pada portofolio layanan AWS kami yang luas. Dengan opsi yang siap digunakan oleh perusahaan seperti Lake Formation, kami akan dapat menggunakan lebih banyak waktu untuk memperoleh nilai dari data kami, bukan untuk melakukan angkat berat dalam penyiapan dan pengelolaan danau data secara manual."

Joshua Couch, VP Engineering – Fender Digital

Cloudreach

Dilengkapi dengan platform perangkat lunak migrasi dan manajemen Cloudamize, Cloudreach menghadirkan kesederhanaan dan keyakinan penuh dalam pengambilan keputusan berdasarkan data.

"AWS Lake Formation mendemokrasikan danau data dan membuat titik percepatan untuk strategi data korporasi. AWS Lake Formation memusatkan keamanan dan tata kelola layanan, menyederhanakan manajemen, dan mengurangi overhead keamanan. Dengan mempercepat proses integrasi data pada seluruh korporasi, inisiatif data yang lain, seperti machine learning, mulai mendorong nilai bisnis yang lebih besar."

Kevin Davis, CTO Praktik AWS (CTO AWS Practice) – Cloudreach

Amgen

Amgen merupakan perusahaan bioteknologi independen terbesar di dunia.

"Di Amgen, kami telah menjadi pengguna berat klaster Amazon Redshift dan Amazon EMR selama lebih dari tiga tahun. Mempersiapkan kontrol keamanan dan akses untuk setiap akun, layanan, pengguna, dan set data AWS pada tingkatan detail yang diperlukan mungkin terasa merepotkan. AWS Lake Formation akan menyederhanakan proses tersebut dengan satu titik kontrol terpusat sembari memungkinkan kami mengelola siapa yang menggunakan data kami, dan bagaimana caranya, dengan detail selengkapnya. AWS Lake Formation memungkinkan kami mengelola izin pada objek Amazon S3, seperti kami mengelola izin pada data dalam database. Pengguna kami akan dapat menemukan, mengakses, dan menganalisis data yang mereka butuhkan dengan alat yang mereka sukai. Alur kerja baru ini dapat membuat semua orang lebih produktif saat menggunakan data Amgen."

Kerby Johnson, Pemilik Produk Danau Data Perusahaan (Enterprise Data Lake Product Owner) – Amgen

Alcon

Alcon merupakan pemimpin dalam inovasi dan pengembangan produk penglihatan dan perawatan mata yang mengubah kehidupan.

"Seperti perusahaan kebanyakan, kami memulai inisiatif danau data untuk menghindari tidak dapat diaksesnya silo data. Dengan AWS Lake Formation, kami dapat dengan cepat menambahkan akses ke bucket Amazon S3 yang sudah ada dan menetapkan apa yang ada di dalamnya, serta bagaimana akses tersebut dapat digunakan. Data tersebut tetap berada di S3, tetapi kami memiliki kontrol penuh atas data tersebut untuk penggunaan lain."

Srinivas Ravilisetty, Kepala Analitik IT (IT Analytics Lead) - Alcon

Quantiphi

Quantiphi merupakan perusahaan perangkat lunak dan layanan kecerdasan buatan dan big data yang didorong oleh keinginan untuk mengatasi masalah bisnis yang kompleks. Quantiphi mengkhususkan diri dalam membangun solusi danau data dan AI bagi pelanggan untuk menghadirkan nilai yang dapat diukur.

"AWS Lake Formation mengizinkan kami untuk memberikan danau data aman dengan akses terhadap data yang relevan dalam hitungan hari. Kini kami memiliki kemampuan untuk memberikan yang terbaik dari kedua dunianya kepada pelanggan kami—keamanan penuh, plus akses yang disederhanakan terhadap data yang relevan bagi pengguna mereka untuk mengambil keputusan dengan mudah. Pelanggan kami dapat fokus pada pengambilan keputusan bisnis yang lebih cerdas dan berdasarkan analisis dengan memanfaatkan sumber data terpusat yang kuat."

Arnav Gupta, Kepala Praktik AWS (AWS Practice Lead) - Quantiphi

Curvo Labs

Curvo merupakan perusahaan perangkat lunak sebagai layanan yang berfokus khusus pada rantai pasokan pelayanan kesehatan. Dengan keahlian domain yang mendalam dan praktik pengembangan agile, mereka membangun analitik, alur kerja, dan otomatisasi untuk membuat manajemen pembelanjaan di pelayanan kesehatan menjadi semakin cepat dan semakin mudah.

"Normalisasi data merupakan langkah yang sangat penting dalam menyediakan hasil pasien yang lebih baik dengan menghadirkan transparansi ke dalam data harga tolok ukur produk klinis dan medis. Menggunakan Transformasi ML dalam AWS Lake Formation, kini kami memproses set data dalam waktu empat jam, dari sebelumnya satu minggu, dan tingkat akurasi kami meningkat ke hampir 100%. Kecepatan dan akurasi ini mengizinkan para pelanggan pelayanan kesehatan kami merespons dengan cepat terhadap perubahan pasar, yang pada akhirnya akan menghadirkan layanan yang lebih terjangkau tanpa mengorbankan hasil yang didapat pasien. Kami memberikan kepada mereka dalam satu hari, sedangkan kompetitor kami membutuhkan waktu 4-6 minggu."

Nic Sagez, CTO – Curvo

Yang Baru

tanggal
  • tanggal
1
Pelajari selengkapnya tentang fitur AWS Lake Formation

Pelajari selengkapnya tentang fitur AWS Lake Formation dengan mengunjungi halaman fitur.

Pelajari selengkapnya 
Daftarkan akun

Dapatkan akses cepat ke AWS Tingkat Gratis. 

Daftar 
Mulai membangun dalam konsol

Mulai membangun dengan AWS Lake Formation di AWS Management Console.

Masuk