Autodesk Mengurangi Biaya Pemrosesan Big Data Sebesar 90% Menggunakan AWS

Autodesk adalah penyedia perangkat lunak terkemuka dalam desain 3D untuk arsitektur, rekayasa, manufaktur, media, dan industri hiburan. Lebih dari 100 juta orang di seluruh dunia menggunakan produk Autodesk, yang mencakup perangkat lunak Desain Berbantuan Komputer dan Pemodelan Informasi Bangunan.

Untuk mengimbangi basis pengguna yang terus berkembang, Autodesk memulai perjalanan dengan Amazon Web Services (AWS) untuk merombak Autodesk Data Platform (ADP), yaitu gudang data yang menghasilkan wawasan dan analitik mendetail tentang penggunaan produk. Autodesk mengandalkan metrik yang diambil oleh ADP, seperti pengguna aktif, adopsi pengguna, versi produk, dan banyak lagi, untuk meningkatkan performa produk dan mengidentifikasi peluang baru agar dapat melayani pelanggan mereka dengan lebih baik.

Pada bulan Agustus 2019, ADP menerima data dengan kecepatan sekitar 150 GB per jam, 50 GB lebih banyak dari yang bisa mereka tangani. Autodesk mengantisipasi volume data yang berkembang dengan cepat karena dua faktor kunci, yaitu Autodesk mengalami penambahan pelanggan perangkat lunak dan setiap rilis baru produk desktopnya menghasilkan data penggunaan produk yang lebih banyak.

“Kami memprakirakan bahwa data dalam jumlah besar akan masuk ke ADP dan kami membutuhkan peningkatan. Kami perlu meningkatkan sistem yang sudah ada untuk memproses lonjakan data masuk hingga 10 kali lipat dari 150 GB; ini merupakan volume data tertinggi yang diterima platform. Target kami juga untuk mencapai peningkatan kecepatan pemrosesan data dan ketersediaan hingga satu jam, dan pengurangan biaya pemrosesan sebesar 70 persen,” kata Deanne Marie Lim, senior data engineering manager di Autodesk, Asia Pasifik.

Sebelum proyek transformasi, Autodesk menjalankan platform data mereka pada sistem berbasis Spark di AWS. Tim Autodesk mengamati penggunaan produk setiap jam, dengan menggunakan Amazon Elastic Compute Cloud (Amazon EC2) untuk menjadwalkan pembersihan dan pemrosesan data mentah per jam. Namun demikian, platform sering gagal ketika volume data melonjak menjadi lebih dari 100 GB dalam jam tertentu, karena kapasitasnya yang terbatas untuk penskalaan horizontal. Akibatnya, tim harus menjalankan kembali pekerjaan secara manual, sehingga menimbulkan biaya tambahan serta memperlambat efisiensi tim.

Selanjutnya, setelah membersihkan data mentah yang memakan waktu hingga empat jam, Autodesk perlu melakukan extract, transform, and load (ETL) untuk menyajikan data ini di dasbor. Karena proses pembersihan dan pengayaan ini menghasilkan set data paling awal yang mendukung semua ETL dan dasbor lainnya, setiap kegagalan atau penundaan akan mengganggu kemampuan perusahaan untuk mengidentifikasi peluang peningkatan produk serta pengembangan bisnis lainnya, secara tepat waktu.

“Sebagai bagian dari Jaringan Partner AWS (APN), kami memiliki wawasan langsung tentang cara memanfaatkan solusi nirserver untuk meningkatkan platform data kami. AWS menyediakan alat dan teknologi berharga yang diperlukan untuk mengatasi tantangan kami saat ini. Lebih tepatnya, AWS Lambda dan Amazon DynamoDB membantu kami mengatasi masalah yang kami miliki dengan proses pembersihan serta pengayaan data kami yang sudah ada. Kami mengembangkan solusi yang berkelanjutan, dapat diskalakan, dan hemat biaya dalam waktu satu tahun,” tambah Lim.

AWS membantu mengalihkan ADP dari model pemrosesan batch ke model berbasis peristiwa yang berjalan di AWS Lambda. Hal ini memungkinkan Autodesk untuk memproses data sesegera mungkin setelah tiba, bukan dengan waktu terjadwal yang mengakibatkan analitik tertunda. AWS Lambda mengotomatisasi agregasi ETL, dan data kini diproses mendekati waktu nyata, bukan dengan siklus per jam seperti sebelumnya.

Agar dapat menghasilkan throughput tinggi, latensi rendah, dan pemrosesan mendekati waktu nyata, Autodesk menambahkan Amazon DynamoDB. Dengan Amazon DynamoDB, ADP menangani ribuan permintaan bersamaan dalam hitungan milidetik. Selain itu, Amazon Simple Storage Service (Amazon S3) digunakan untuk membangun danau data yang aman dan mencapai ketersediaan data yang tinggi.

ADP kini dapat secara otomatis memproses lebih dari enam miliar peristiwa data, setara dengan 12 TB data, setiap hari, dan data tersedia dalam waktu dua menit setelah penerimaan data, turun empat jam dari sebelumnya.

Lim menyimpulkan, “Berkat AWS, kami telah melampaui target kami. Kami mengurangi biaya hingga 90 persen dan meningkatkan analitik untuk pengguna bisnis dengan pemrosesan data yang mendekati waktu nyata. Kami sekarang dapat membuat peningkatan yang lebih berarti untuk pengalaman pengguna. Misalnya, dengan melacak data waktu nyata yang dikumpulkan dari aktivitas pengguna sebelumnya, kami dapat memberikan rekomendasi kepada pengguna akhir tentang cara menggunakan perangkat lunak kami dengan lebih baik. Dengan AWS, kami sekarang dapat memberikan kembali wawasan berharga kepada pelanggan kami.”

Keberhasilan implementasi ini telah mendorong Autodesk untuk terus bekerja sama dengan AWS untuk menerapkan pemodelan berbasis peristiwa untuk set data penggunaan produk lainnya. Ke depannya, Autodesk berencana untuk mengembangkan platform data mereka untuk mendukung analitik prediktif. Dengan demikian, perusahaan akan dapat meningkatkan pengalaman pengguna dengan menganalisis pola penggunaan umum dan memberikan rekomendasi waktu nyata untuk meningkatkan perjalanan pengguna.