AWS Lake Formation

Bangun data lake yang aman dalam hitungan hari

AWS Lake Formation merupakan layanan yang memudahkan penyiapan data lake yang aman dalam hitungan hari. Data lake adalah repositori tersentralisasi, terkurasi, dan aman, yang menyimpan semua data Anda, dalam bentuk aslinya maupun yang disiapkan untuk analisis. Data lake memungkinkan Anda menguraikan silo data dan menggabungkan berbagai jenis analitik untuk mendapatkan wawasan dan memandu keputusan bisnis yang lebih baik.

Meski demikian, menyiapkan dan mengelola data lake saat ini melibatkan banyak tugas manual yang rumit dan memakan waktu. Pekerjaan ini meliputi pemuatan data dari sumber yang beragam, pemantauan alur data tersebut, penyiapan partisi, penyetelan enkripsi dan pengelolaan kunci, penentuan tugas transformasi dan pemantauan operasionalnya, pengaturan kembali data ke dalam format kolom, pengonfigurasian pengaturan kontrol akses, penghapusan duplikat data redundan, penyesuaian catatan tertaut, pemberian akses ke set data, dan audit akses dari waktu ke waktu.

Membuat data lake dengan Lake Formation sesederhana menentukan sumber data dan akses data serta kebijakan keamanan apa yang ingin Anda terapkan. Lake Formation kemudian akan membantu Anda mengumpulkan dan membuat katalog data dari database dan penyimpanan objek, memindahkan data ke lake data Amazon S3 baru, membersihkan dan mengklasifikasikan algoritme machine learning, serta melindungi akses ke data sensitif Anda. Pengguna Anda dapat mengakses katalog data tersentralisasi, yang menguraikan set data yang tersedia dan penggunaannya yang tepat. Pengguna Anda kemudian dapat memanfaatkan set data tersebut dengan layanan analitik dan machine learning pilihan mereka, seperti Amazon Redshift, Amazon Athena, dan (dalam beta) Amazon EMR untuk Apache Spark. Lake Formation dibangun menggunakan kapabilitas yang tersedia di AWS Glue.

AWS re:Invent 2018 - Mengumumkan AWS Lake Formation (2:44)

Keuntungan

Membangun data lake dengan cepat

Dengan Lake Formation, Anda dapat memindahkan, menyimpan, membuat katalog, dan membersihkan data Anda lebih cepat. Cukup arahkan Lake Formation pada sumber data Anda, dan Lake Formation akan mengunjungi sumber tersebut dan memindahkan data ke data lake Amazon S3 baru Anda. Lake Formation akan mengatur data dalam S3 seputar istilah kueri yang sering digunakan dan ke dalam bagian-bagian berukuran tepat untuk meningkatkan efisiensi. Lake Formation juga mengubah data ke dalam format seperti Apache Parquet dan ORC untuk analitik yang lebih cepat. Selain itu, Lake Formation juga memiliki machine learning bawaan untuk menghapus duplikat dan menemukan catatan yang sesuai (dua entri yang merujuk pada hal yang sama) untuk meningkatkan kualitas data.

Menyederhanakan manajemen keamanan

Anda dapat menggunakan Lake Formation untuk menentukan kebijakan keamanan, tata kelola, dan audit secara sentral di satu tempat, dibandingkan melakukan tugas-tugas tersebut per layanan, kemudian memberlakukan kebijakan tersebut untuk pengguna Anda di seluruh aplikasi analitik mereka. Kebijakan Anda secara konsisten diimplementasikan, menghilangkan kebutuhan untuk secara manual mengonfigurasikannya di seluruh layanan keamanan, seperti AWS Identity and Access Management dan AWS Key Management Service, layanan penyimpanan seperti S3, dan layanan analitik serta machine learning seperti Redshift, Athena, dan EMR (dalam beta) untuk Apache Spark. Ini akan mengurangi pekerjaan dalam mengonfigurasikan kebijakan di seluruh layanan dan menyediakan pemberlakuan dan kepatuhan yang konsisten.

Menyediakan akses layanan mandiri ke data

Dengan Lake Formation, Anda membangun sebuah katalog data yang menguraikan set data berbeda yang tersedia untuk grup pengguna yang memiliki akses ke setiap set tersebut. Ini akan membuat pengguna Anda lebih produktif dengan membantu mereka menemukan set data yang tepat untuk dianalisis. Dengan menyediakan katalog data dengan pemberlakuan keamanan yang konsisten, Lake Formation akan mempermudah analis dan ilmuwan data Anda menggunakan layanan analitik pilihan mereka.
Mereka dapat menggunakan EMR untuk Apache Spark (dalam beta), Redshift, atau Athena pada set data yang beragam dan kini berada dalam satu lake data. Pengguna juga dapat menggabungkan berbagai layanan ini tanpa perlu memindahkan data di antara silo.

Cara kerjanya

Cara Kerja AWS Lake Formation

Lake Formation membantu dalam membangun, melindungi, dan mengelola data lake Anda. Pertama, identifikasi penyimpanan data yang sudah ada di database S3 atau database relasional dan NoSQL, serta pindahkan data ke data lake. Kemudian kunjungi, buat katalog, dan persiapkan data untuk analitik. Selanjutnya, beri pengguna Anda akses layanan mandiri yang aman ke data melalui pilihan layanan analitik mereka. Layanan dan aplikasi pihak ketiga AWS lainnya juga dapat mengakses data melalui layanan yang ditampilkan. Lake Formation mengelola semua tugas dalam kotak oranye dan terintegrasi dengan penyimpanan data dan layanan yang ditampilkan dalam kotak biru.

Kasus penggunaan

Baca selengkapnya mengenai "Apa itu Data Lake?" dan kasus penggunaan.

Pelanggan

Nu Skin

Nu Skin Enterprises merupakan sebuah perusahaan penjualan langsung yang mendistribusikan lebih dari 200 produk antipenuaan berkualitas premium dalam kategori perawatan pribadi dan suplemen nutrisi.

“Kami menghadapi tantangan dalam memperluas kapabilitas dan menskalakan throughput sistem analitik yang sudah ada. Data kami didistribusikan dalam berbagai database dan solusi SaaS yang tidak saling terhubung, yang menyulitkan dalam menganalisis data sesuai skala sembari membatasi akses ke data yang sensitif. Untuk mengatasi tantangan ini, kami membangun solusi data lake di AWS. Ini memungkinkan kami mengagregatkan data dari berbagai silo data ke Amazon S3, tempat kami membuat katalog dan melindungi semua data menggunakan AWS Lake Formation. Tanpa AWS Lake Formation, mustahil mencapai sasaran lapisan keamanan yang dapat diskalakan dan mudah digunakan untuk semua data di Amazon S3. Menyiapkan dan menerapkan kontrol akses fine-grained berdasarkan persona pengguna tidaklah sulit."

Joe Sueper, VP Enterprise Architecture, Global Technology - Nu Skin Enterprises

Panasonic

Panasonic Avionics Corporation merupakan pemasok sistem hiburan dan komunikasi dalam penerbangan terkemuka di dunia.

“Kami ingin membuat platform data dengan kemampuan untuk mengelola pengaturan keamanan untuk semua aplikasi berbeda dalam lingkungan kami. Dengan AWS Lake Formation, kini kami dapat menentukan kebijakan satu kali dan memberlakukannya dengan cara yang sama, di mana saja, untuk beberapa layanan yang kami gunakan, termasuk AWS Glue dan Amazon Athena. Penyempurnaan tingkat kontrol ini memberi kami akses aman ke data dan metadata untuk kolom dan tabel, bukan hanya untuk objek massal, yang merupakan bagian penting dari standar keamanan dan tata kelola data kami.”

Anand Desikan, Director of Cloud and Data Services - Panasonic Avionics

Accenture

Accenture adalah perusahaan layanan profesional global terkemuka, yang menyediakan berbagai layanan dan solusi dalam hal strategi, konsultasi, digital, teknologi, dan operasional.

“Saya berfokus pada membantu klien dalam perjalanan ‘Data di Cloud’ mereka. Dalam kaitannya dengan hal tersebut, kami telah melihat banyak organisasi menghadapi ketiadaan data tepercaya saat mereka perlu menjalankan analitik pada data yang berasal dari beberapa sumber. Pembersihan data merupakan langkah yang sangat penting dalam analitik data dapat sangat berpengaruh terhadap hasil dan pengambilan keputusan bisnis. Fitur baru dalam AWS Lake Formation telah sangat menguntungkan dalam menangani tantangan akurasi dan melindungi akses ke data lake. Bagi kami ini sangat berguna dalam memanfaatkan teknik machine learning lanjutan untuk penyiapan data untuk menemukan catatan yang sesuai, membersihkan, dan menghapus data duplikat dari berbagai sumber data. Ini akan membantu mengurangi waktu, upaya, dan biaya, sembari meningkatkan kualitas dan akurasi data dalam data lake pelanggan.

Namrata Maheshwary, Senior Architect untuk Data Business Group - Accenture

Zalando

Zalando merupakan platform untuk fesyen dan gaya hidup terkemuka di Eropa.

“Sebagai perusahaan teknologi paling bergaya di Eropa, kami bekerja keras untuk menemukan solusi digital bagi setiap aspek perjalanan fesyen. AWS Lake Formation memberi kami titik kontrol sentral untuk akses data melalui Amazon Redshift yang tidak hanya menyederhanakan proses, tetapi meningkatkannya melalui kontrol granular mengenai bagaimana data digunakan. Sekarang kami dapat menemukan, mengakses, dan menganalisis data di data lake dengan alat yang kami sukai, dan memanfaatkannya untuk kecerdasan bisnis dan ilmu data. Alur kerja yang disederhanakan ini membantu para eksekutif mengambil keputusan yang tepat secara tepat waktu, dan mendukung inovasi melalui machine learning.”

Alberto Miorin, Engineering Lead - Zalando SE

Life360

Life360 merupakan layanan ketenteraman batin untuk keluarga yang terkemuka di dunia. Aplikasi Life360 mendekatkan keluarga dengan fitur cerdas yang dirancang untuk melindungi dan menghubungkan orang-orang terpenting.

“Kami ingin menggunakan AWS Lake Formation untuk membangun data lake untuk mendukung data rangkaian waktu berbasis lokasi, dan semakin memudahkan dalam pemuatan data. Cetak biru yang dirancang sebelumnya membantu memasukkan data ke data lake tanpa mengharuskan tim teknisi data kami menuliskan kode dari awal, sehingga mereka dapat berfokus pada mengoperasikan penyerapan, bukan menghabiskan waktu mengulang dari awal. Dengan AWS Lake Formation, kami dapat dengan cepat membuka data yang tersedia dalam Amazon S3, dan membuatnya tersedia untuk dianalisis di spektrum layanan data AWS yang luas. Data akan tetap berada di Amazon S3, kami dapat menganalisisnya dalam banyak cara, dan kami tetap memiliki kontrol penuh terhadap data tersebut.

Richard Chennault, Head of Cloud and Data Services - Life360, Inc.

Change Healthcare

Change Healthcare merupakan perusahaan teknologi layanan kesehatan independen yang menyediakan solusi yang didukung data dan analitik, yang menjangkau sekitar 2.100 koneksi pembayar pemerintahan dan komersial, 5.500 rumah sakit, 900.000 dokter, dan 33.000 farmasi.

Kami menangani data dari jutaan transaksi setiap harinya sembari mempertahankan kepatuhan terhadap peraturan industri layanan kesehatan, termasuk HIPAA. Kami sangat bersemangat dengan peluncuran AWS Lake Formation, yang menyediakan titik kontrol sentral untuk dengan mudah memuat, membersihkan, melindungi, dan membuat katalog data dari ribuan klien ke data lake berbasis AWS kami, yang secara dramatis mengurangi beban operasional kami. Kontrol akses data di AWS Lake Formation akan memudahkan kami menentukan kebijakan kami satu kali dan memberlakukannya di seluruh layanan analitik dan machine learning yang kami gunakan, dengan log audit untuk menunjukkan kepatuhan.”

Aaron Symanski, CTO - Change Healthcare 

Fender Digital

Fender Digital adalah bagian dari Fender, sebuah merek gitar ikonik, yang membuat aplikasi, situs web, platform, dan alat untuk melengkapi gitar, amplifier, dan perlengkapan audio yang dibuat oleh Fender.

“Kami menghasilkan data pengguna dan penggunaan dalam jumlah yang luar biasa besar dari aplikasi dan perangkat digital kami. Kami berencana membangun data lake di AWS untuk beroperasi berdampingan dengan gudang data berbasis Amazon Redshift kami. Saya tidak sabar melihat tim saya menggunakan AWS Lake Formation secara langsung. Lake Formation akan memudahkan kami memuat, mentransformasikan, dan membuat katalog data kami, serta membuatnya tersedia dengan aman dalam organisasi, pada portofolio layanan AWS kami yang luas. Dengan opsi yang siap digunakan oleh perusahaan, seperti Lake Formation, kami akan dapat menghabiskan lebih banyak waktu untuk menarik nilai dari data, bukan mengangkat beban berat yang terkait dengan penyiapan dan pengelolaan data lake secara manual.”

Joshua Couch, VP Engineering - Fender Digital

Cloudreach

Didukung oleh platform perangkat lunak migrasi dan manajemen, Cloudamize, Cloudreach membawa kesederhanaan dan keyakinan penuh ke pengambilan keputusan yang didukung data.

“AWS Lake Formation mendemokratisasi data lake dan membuat titik percepatan untuk strategi data perusahaan. AWS Lake Formation memusatkan keamanan dan tata kelola layanan, menyederhanakan manajemen, dan mengurangi overhead keamanan. Dengan mempercepat proses de-silo data di seluruh perusahaan, inisiatif data lainnya, seperti machine learning, mulai mendorong nilai bisnis yang lebih besar.”

Kevin Davis, CTO AWS Practice - Cloudreach

Amgen

Amgen merupakan perusahaan bioteknologi independen terbesar di dunia.

“Di Amgen, kami sudah menggunakan klaster Amazon Redshift dan Amazon EMR dalam skala besar selama lebih dari tiga tahun. Menyiapkan kontrol keamanan dan akses untuk setiap akun, layanan, pengguna, dan data AWS yang diatur pada tingkat detail yang diperlukan dapat terasa merepotkan. AWS Lake Formation akan menyederhanakan proses tersebut dengan satu titik kontrol sentral sembari memungkinkan kami mengelola siapa yang menggunakan data kami, dan bagaimana caranya, dengan detail selengkapnya. AWS Lake Formation memungkinkan kami mengelola izin pada objek Amazon S3, seperti kami mengelola izin pada data dalam database. Pengguna kami akan dapat menemukan, mengakses, dan menganalisis data yang mereka butuhkan dengan alat yang mereka sukai. Alur kerja baru ini dapat membuat semua orang lebih produktif saat menggunakan data Amgen.”

Kerby Johnson, Enterprise Data Lake Product Owner - Amgen

Alcon

Alcon merupakan pemimpin dalam inovasi dan pengembangan produk penglihatan dan perawatan mata yang mengubah kehidupan.

“Seperti banyak perusahaan, kami memulai inisiatif data lake untuk menghindari perlunya mengakses silo data yang tidak dapat diakses. Dengan AWS Lake Formation, kami dapat dengan mudah menambahkan akses ke bucket Amazon S3 yang sudah ada dan menentukan apa yang ada di dalamnya dan bagaimana hal tersebut dapat digunakan. Data akan tetap berada di S3, tetapi kami memiliki kontrol penuh atas data tersebut untuk penggunaan lain.”

Srinivas Ravilisetty, IT Analytics Lead - Alcon

Quantiphi

Quantiphi merupakan perusahaan perangkat lunak dan layanan Kecerdasan Buatan dan Big Data yang didukung oleh keinginan untuk mengatasi masalah bisnis yang kompleks. Quantiphi mengkhususkan diri dalam membangun solusi data lake dan AI bagi pelanggan untuk menghadirkan nilai yang dapat diukur.

“AWS Lake Formation memungkinkan kami menghadirkan data lake aman dengan akses ke data yang relevan dalam hitungan hari. Kini kami memiliki kemampuan untuk menghadirkan yang terbaik dari dua dunia ini kepada pelanggan kami – keamanan penuh, serta akses yang disederhanakan ke data yang relevan untuk pengguna mereka mengambil keputusan dengan mudah. Pelanggan kami dapat berfokus pada mengambil keputusan bisnis yang lebih cerdas dan didukung analisis dengan memanfaatkan sumber data andal dan tersentralisasi.”

Arnav Gupta, AWS Practice Lead - Quantiphi

Curvo

Curvo merupakan perusahaan Perangkat Lunak sebagai Layanan yang memiliki fokus khusus pada rantai pasokan layanan kesehatan. Dengan keahlian domain mendalam dan praktik pengembangan yang tangkas, Curvo membangun analitik, alur kerja, dan otomatisasi untuk membuat manajemen pembelanjaan dalam layanan kesehatan semakin cepat dan semakin mudah.

“Normalisasi data merupakan langkah yang sangat penting dalam menyediakan hasil yang lebih baik dengan membawa transparansi ke data harga tolok ukur untuk produk klinis dan medis. Dengan menggunakan Transformasi ML dalam AWS Lake Formation, kini kami memproses set data dalam waktu empat jam, dari sebelumnya satu minggu, dan derajat akurasi kami meningkat ke hampir 100%. Kecepatan dan akurasi ini memungkinkan para pelanggan layanan kesehatan kami merespons dengan cepat perubahan pasar, yang pada akhirnya akan menghadirkan layanan yang lebih terjangkau tanpa mengorbankan hasil yang didapat pasien. Kami menghadirkannya kepada mereka dalam satu hari, sedangkan kompetitor kami memerlukan waktu 4-6 minggu.”

Nic Sagez, CTO - Curvo

Apa yang Baru

tanggal
  • tanggal
1
AWS Lake Formation
Pelajari selengkapnya tentang fitur AWS Lake Formation

Pelajari selengkapnya tentang fitur AWS Lake Formation dengan mengunjungi halaman fitur.

Pelajari selengkapnya 
Daftar akun AWS
Daftar akun

Dapatkan akses cepat ke AWS Tingkat Gratis.

Daftar 
Mulai membangun di konsol
Mulai membangun di konsol

Mulai membangun dengan AWS Lake Formation di AWS Management Console.

Masuk