DiscoverLogo-new-2020@2x

Discover Mempercepat Analitik dan Time-to-Insight Menggunakan AWS

2020

Discover Financial Services menyediakan produk perbankan dan kredit untuk membantu nasabah meraih tujuan keuangan mereka, seperti membangun kredit yang baik, membayar biaya kuliah, dan mengonsolidasi utang. Perusahaan sangat mengandalkan data dan analitik secara internal serta eksternal untuk memenuhi janji tersebut juga membuat perusahaan lebih menonjol dalam industri yang sangat kompetitif. “Kami memiliki banyak data pelanggan,” ungkap Brandon Harris, Direktur Teknologi Ilmu Data di Discover Financial Services. “Kami harus menggunakan data tersebut sebagai pembeda untuk terus memberikan pengalaman yang lebih baik kepada pelanggan.”

Selama bertahun-tahun, praktik analitik individu bermunculan dalam tim dan unit bisnis Discover. Secara keseluruhan, ada sekitar 8–10 set alat di 12 tim. Tiap praktik memerlukan set keterampilan dan alat yang berbeda. Tim kepemimpinan Discover percaya bahwa menyatukan praktik dan tim dapat meningkatkan analitik serta menciptakan alat yang konsisten di seluruh organisasi.

Tim teknologi Discover biasanya membangun solusi baru secara internal, lebih memilih untuk mengontrol teknologi secara menyeluruh dan mengelola pusat data mereka sendiri. Harris dan timnya diberi tugas untuk membuat platform terpusat yang akan memungkinkan ilmuwan data perusahaan untuk berkolaborasi dalam lingkungan bersama, meja kerja ilmuwan data internal yang disebut Air9.

Discover Financial Services Menciptakan Lingkungan Tempat Ilmuwan Data Dapat Berkolaborasi
kr_quotemark

Amazon EFS sangat sesuai dari sisi skalabilitas serta biaya, dan berkat kerja yang hebat dari komunitas Kubernetes, kemampuan kelas penyimpanan sudah tersedia di layanan."

Brandon Harris
Direktur Teknologi Ilmu Data, Discover Financial Services

Membangun Platform Ilmu Data Cloud-Native

Salah satu prinsip desain pertama yang disetujui tim Harris untuk Air9 adalah kekuatan dalam keragaman. “Tidak hanya keragaman tim dan pengalaman mereka, tetapi juga keragaman pendekatan serta alat,” jelas Harris. “Kami tidak akan menyajikan pendekatan satu untuk semua ke ilmu data bagi komunitas analitik yang kuat.”

Tim Harris yakin bahwa Kubernetes sangat cocok untuk meng-host Air9 karena banyak alat ilmu data yang sudah digunakan perusahaan biasanya akan berujung pada kontainerisasi. Memiliki kontainer khusus akan menciptakan beban kerja terisolasi dan memungkinkan pelanggan menginstal paket kustom serta membuat perubahan pada lingkungan mereka yang akan menyulitkan pengelolaan dalam lingkungan multipenyewa. Karena Discover merupakan pelanggan lama Amazon Web Services (AWS) dan pengguna Amazon Simple Storage Service (Amazon S3), tim juga memilih untuk men-deploy instans Amazon Elastic Compute Cloud (Amazon EC2). Dengan pendekatan ini, sekitar 883 ilmuwan data di beberapa negara kini dapat memilih ukuran, tipe, dan kuantitas instans Amazon EC2 mereka serta membuat aplikasi memasang instans tersebut secara otomatis untuk set data.

Meningkatkan Skalabilitas, Penyimpanan, dan Penghematan Biaya dengan AWS

Kemampuan penyimpanan bersama dengan penyimpanan file cloud-native yang terkelola penuh merupakan komponen penting lainnya dari Air9. “Jika Anda menjalankan seluruh lingkungan yang berbeda, haruslah ada cara umum untuk menyimpan data dan berkolaborasi,” jelas Harris.

Namun, proyek terhambat ketika tim Discover mulai mendesain lapisan penyimpanan. “Tim analitik kami memiliki set data yang sangat besar di dalam gudang data cloud kami, tetapi kami berencana memberikan mereka penyimpanan data lokal untuk pekerjaan mereka, serta mekanisme untuk berbagi data di antara dan ke seluruh tim,” ungkap Harris. “Lapisan penyimpanan ini juga haruslah tangguh dan mendukung pertumbuhan yang signifikan dari waktu ke waktu.”

Harris dan timnya bersiap untuk memanfaatkan solusi penyimpanan tersedistribusi sumber terbuka sebagai lapisan penyimpanan platform ilmu data, tetapi menjalankan dan mengelolanya akan menghabiskan banyak waktu dan biaya. “Saat kami melihat biaya bulanan terkait menjalankan platform penyimpanan kami sendiri melampaui biaya komputasi, kami tahu pasti ada hal yang salah,” Harris berujar. “Tentu saja, biaya berlebih diakibatkan oleh faktor replikasi untuk penyimpanan terdistribusi, tetapi kompromi untuk mengurangi biaya—menurunkan faktor replikasi—bukanlah hal yang kami inginkan.”

Berkat keberhasilan tim dengan Amazon EC2 di sisi komputasi platform, tim meninjau AWS Managed Services untuk penyimpanan dan memilih untuk men-deploy Amazon Elastic File System (Amazon EFS). Harris berkata, “Amazon EFS sangat sesuai dari sisi skalabilitas serta biaya, dan berkat kerja yang hebat dari komunitas Kubernetes, kemampuan kelas penyimpanan sudah tersedia di layanan. AWS juga memungkinkan kami menggunakan lingkungan yang berbeda untuk tipe data yang berbeda, sehingga kami dapat melindungi tipe data sensitif secara lebih baik.”

Sebelumnya, setiap tim direktori utama dan direktori tim. Dengan memanfaatkan Amazon EFS, perusahaan dapat dengan mudah memberikan akses bersama ke seluruh alat, proyek, dan set data ilmu data untuk kolaborasi yang lebih mulus. Kemampuan pengarsipan data jangka panjang digabungkan dengan biaya overhead Amazon S3 yang rendah berarti Discover dapat mengustomisasi proses pencadangan agar data memiliki salinan kedua untuk disimpan.

Harris berujar, “Kami menggunakan Amazon EFS sebagai lapisan kolaborasi, dan kami juga memiliki lapisan arsip serta historis untuk berbagai set data atau untuk tujuan manajemen siklus hidup.” “Kami harus menyimpan set data tertentu selama beberapa tahun. Amazon S3 dan kelas penyimpanan Amazon S3 Glacier sangat membantu dalam memastikan kami dapat menghemat biaya saat menyimpan semua data yang dibuat dan digunakan oleh ilmuwan data kami.”

Meningkatkan Kolaborasi dan Time-to-Insight

Saat ini, Air9 meningkatkan produktivitas dan efisiensi ilmuwan data Discover dengan memungkinkan mereka menjalankan aplikasi analitik dalam satu lokasi terpusat di AWS, berkolaborasi dalam lingkungan penyimpanan bersama, memanfaatkan sumber data terstruktur dan tidak terstruktur, serta memproses dan menyimpan data dari beberapa sumber. Ini memungkinkan ilmuwan data Discover menganalisis data untuk wawasan secara lebih cepat dan mudah.

Peningkatan platform data sebelumnya memerlukan waktu berminggu-minggu, utamanya disebabkan batasan penyimpanan serta kebutuhan untuk mengubah ukuran dan memperbesar klaster penyimpanan lama ketika penyimpanan tambahan diperlukan. Karena Amazon EFS melakukan semua hal tersebut dari balik layar, kini tim dapat meningkatkan platform data dalam hitungan jam. Platform ini juga memungkinkan layanan mandiri, membantu ilmuwan data tetap produktif tanpa mengganggu pengalaman kolega mereka. “Dengan lingkungan on-premise sebelumnya, tidak ada mekanisme untuk memfasilitasi percakapan dan interaksi antara ilmuwan data kami,” tutur Harris.

Menggunakan solusi AWS, Harris memperkirakan timnya berhasil mengurangi jumlah waktu yang dihabiskan untuk mengelola penyimpanan sebesar 90 persen. Dan dengan mengandalkan AWS untuk mengelola layanan serta menyediakan kemampuan redundansi dibandingkan dengan merancang dan membangunnya secara internal, Discover berhasil mengurangi biaya sebesar 50–60 persen.

Perubahan ini juga membantu mempercepat seluruh upaya transformasi digital Discover. “Dulu kami memerlukan waktu berminggu-minggu untuk memberikan alat yang diperlukan pengguna agar mereka dapat bekerja,” ungkap Harris. “Kini kami dapat melakukannya dalam hitungan jam, sehingga pengguna dapat mulai mengumpulkan dan menyampaikan nilai untuk pelanggan secepat mungkin.”

Untuk mempelajari selengkapnya, kunjungi aws.amazon.com/efs.

Arsitektur referensi

DFS_Architecture-300px-wide

Arsitektur referensi

DFS_Architecture2-300px-wide

Tentang Discover Financial Services

Discover Financial Services adalah perusahaan layanan perbankan dan pembayaran digital. Didirikan pada tahun 1985 dan bermarkas di utara Chicago, perusahaan ini memiliki misi untuk membantu orang-orang menggunakan uang mereka secara lebih cerdas, mengelola utang dengan lebih baik, dan menghemat lebih banyak.

Manfaat AWS

  • Memangkas waktu manajemen penyimpanan sebanyak 90% dan biaya sebesar 50–60%
  • Menskalakan komputasi dan penyimpanan sesuai permintaan
  • Penyimpanan bersama memungkinkan ilmuwan data untuk lebih banyak berkolaborasi
  • Proses pencadangan kustom berkat penyimpanan tak terbatas
  • Memperbarui platform data dalam hitungan jam, bukan minggu
  • Ilmuwan data dapat berfokus pada wawasan, bukan teknologi

Layanan AWS yang Digunakan

Amazon Elastic File System

Amazon Elastic File System (Amazon EFS) memberikan sistem file NFS elastis yang sederhana, dapat diskalakan, dan terkelola penuh untuk digunakan dengan layanan AWS Cloud dan sumber daya on-premise. Amazon EFS dibuat untuk menyesuaikan skala ke petabyte sesuai permintaan tanpa mengganggu aplikasi, mengembang dan menyusut secara otomatis saat Anda menambahkan dan menghapus file, menghilangkan kebutuhan penyediaan dan mengelola kapasitas untuk mengakomodasi pertumbuhan.

Pelajari selengkapnya »

Amazon S3

Amazon Simple Storage Service (Amazon S3) adalah layanan penyimpanan objek yang menawarkan skalabilitas, ketersediaan data, keamanan, dan performa terdepan dalam industri.

Pelajari selengkapnya »

Amazon S3 Glacier & S3 Glacier Deep Archive

Amazon S3 Glacier dan S3 Glacier Deep Archive adalah kelas penyimpanan cloud Amazon S3 yang aman, tahan lama, serta sangat hemat biaya untuk pengarsipan data dan pencadangan jangka panjang.

Pelajari selengkapnya »

Amazon EC2

Amazon Elastic Compute Cloud (Amazon EC2) adalah layanan web yang memberikan kapasitas komputasi yang aman dan berukuran fleksibel di cloud. Amazon EC2 dirancang untuk membuat komputasi cloud berskala web lebih mudah bagi pengembang. Antarmuka layanan web sederhana Amazon EC2 memungkinkan Anda mendapatkan dan mengonfigurasi kapasitas dengan friksi minimal.

Pelajari selengkapnya »


Memulai

Organisasi dari semua ukuran di semua industri mengubah dan menjalankan misi mereka setiap hari menggunakan AWS. Hubungi ahli kami dan mulai perjalanan AWS Cloud Anda sekarang juga.