Memproses Data 10x lebih Cepat Menggunakan Amazon Redshift Nirserver dengan BlocPower

Didirikan pada tahun 2014, BlocPower adalah pemimpin yang berbasis di Brooklyn yang berfokus untuk membuat kota-kota Amerika lebih hijau, lebih pintar, dan lebih sehat. Dengan tenaga kerja yang beragam dan inklusif yang terdiri dari 60 persen minoritas dan 30 persen wanita, tim BlocPower menyediakan analitik energi kepada manajer gedung dan pemilik properti di lebih dari 10 kota, membantu mereka memahami potensi memperbaiki bangunan mereka dengan sumber energi terbarukan. Pada tahun 2022, BlocPower berhasil menerapkan langkah-langkah elektrifikasi, tenaga surya, dan efisiensi energi lainnya di lebih dari 4.000 bangunan.

Sejak 2016, BlocPower telah membangun pipeline pemrosesan datanya di AWS, mengadopsi beberapa solusi komputasi berbasis cloud, termasuk Amazon Elastic Compute Cloud(Amazon EC2), yang menyediakan kapasitas komputasi yang aman dan dapat diubah ukurannya untuk hampir semua beban kerja. Awalnya, tim DevOps-nya menskalakan pipeline pemrosesan datanya dengan memilih instans Amazon EC2 yang berbeda untuk menjalankan klasternya yang bisa memakan waktu 2-3 jam untuk menyelesaikannya. “Karena pelanggan di BlocMaps kami makin banyak dan data yang kami ditangani juga makin bertambah, kami harus menskalakan klaster kami secara horizontal,” kata Ankur Garg, director of data architecture and analytics di BlocPower.

Perusahaan juga telah memigrasikan datanya ke kombinasi solusi penyimpanan data berbasis cloud, termasuk Amazon Redshift yang merupakan gudang data cloud yang cepat, sederhana, dan banyak digunakan. BlocPower menyimpan data yang dikumpulkan dari 100 juta profil bangunan di Amazon Simple Storage Service (Amazon S3), yang menawarkan penyimpanan objek yang dibangun untuk mengambil data dalam jumlah berapa pun dari mana saja. Ketika profil data BlocPower bertambah rumit, perusahaan ingin meningkatkan akses ke lebih banyak sumber daya komputasi dan opsi manajemen sumber daya untuk timnya. Perusahaan rintisan ini tertarik pada manfaat Amazon Redshift Nirserver dan melibatkan tim AWS. “Tim AWS memberi kami pengenalan Amazon Redshift Nirserver, yang sangat membantu dan berhasil menghilangkan segala macam kekhawatiran kami untuk menggunakannya ke depan,” kata Sean Davis, data architect di BlocPower.

Tim BlocPower bekerja bersama tim AWS untuk membuat bukti konsep untuk melihat bagaimana Amazon Redshift Nirserver akan memengaruhi performa dan penanganan peningkatan volume data untuk BlocMaps. “Kami melakukan tes tolok ukur dengan BlocMaps yang benar-benar membuat kami takjub,” kata Davis. “Performa aplikasi kami menjadi jauh lebih baik, dan tagihan kami mendapat manfaat dari Amazon Redshift Nirserver.” Lebih tepatnya, perusahaan rintisan tersebut dapat memproses dan membuat kueri datanya dalam hitungan menit—10 kali lebih cepat dibandingkan dengan arsitektur sebelumnya.

Setelah itu, BlocPower memutuskan untuk mengadopsi Amazon Redshift Nirserver. Dengan demikian, perusahaan mengurangi jumlah waktu yang dihabiskan oleh para perekayasa DevOps-nya untuk menskalakan klasternya. Selain itu, dengan menerapkan Amazon Redshift Nirserver bersama Amazon S3 dan Amazon Redshift, BlocPower memperoleh kemampuan untuk mengueri datanya di berbagai sumber data, termasuk bucket Amazon S3 dan data yang ditarik dengan API jarak jauh melalui AWS Glue yang membantu perusahaan menemukan, menyiapkan, dan mengintegrasikan semua data mereka di hampir semua skala. BlocPower sesekali menjalankan proses untuk menggabungkan sumber data dan melakukan transformasi data. Kemudian, tim memuat hasilnya ke Amazon Redshift. Setelah memperkenalkan klaster Amazon Redshift Nirserver yang secara otomatis disesuaikan dengan lonjakan penggunaan, BlocPower meningkatkan performa runtime 10 kali lipat. “Kami dapat mengueri data kami hampir mendekati waktu nyata,” kata Davis. “Kami juga melihat peningkatan dalam API kami. Kedua faktor itu membuat penggunaan Amazon Redshift Nirserver menjadi hal yang mudah.”

Peningkatan performa pada backend aplikasi BlocMaps-nya telah memberikan pengalaman pengguna yang lebih lancar bagi pelanggan BlocPower. Dengan menggunakan Amazon Redshift, perusahaan rintisan juga telah mengurangi latensi di frontend aplikasinya, yang sangat penting ketika mendemonstrasikan aplikasi kepada pelanggan baru. Pelanggan dapat melihat, memfilter, dan memvisualisasikan metrik dekarbonisasi untuk bangunan di lokasi geografis tertentu lebih cepat dari sebelumnya. Berdasarkan model sebelumnya, aplikasi BlocMaps dapat memakan waktu 20-30 detik untuk memuat profil bangunan untuk pelanggannya. Sekarang, aplikasi memberikan wawasan ini dalam waktu kurang dari 5 detik—peningkatan yang telah menghasilkan umpan balik pelanggan yang positif. “Performa aplikasi BlocMaps kami adalah salah satu prioritas utama kami dari sudut pandang pendapatan,” kata Garg. “Rekomendasi dari mulut ke mulut membantu kami memasuki pasar baru dan kota-kota baru.”

BlocPower tidak hanya meningkatkan peluang pendapatannya, tetapi perusahaan rintisan tersebut juga telah mengoptimalkan biaya komputasinya. Setelah mengadopsi Amazon Redshift Nirserver, BlocPower tidak lagi membayar waktu nonaktif klasternya. “Model nirserver sangat cocok untuk kami,” kata Davis. “Kami membayar lebih sedikit untuk proses kami, dan kami mendapatkan lebih banyak sumber daya komputasi saat kami membutuhkannya. Secara keseluruhan, ini adalah pengalaman yang sangat positif.”

BlocPower akan terus menyelidiki solusi nirserver AWS untuk meningkatkan perforna produknya. Berdasarkan pengalamannya dengan proyek ini, perusahaan berencana untuk memigrasikan data Internet untuk Segala yang dikumpulkan ke Amazon Redshift Nirserver juga. “Waktu yang kami butuhkan untuk memberikan wawasan dari data mentah tidak akan terbayangkan jika kami membangun infrastruktur kami on-premises,” kata Garg. “Bekerja di AWS memberi keuntungan besar bagi kami. Jumlah waktu dan uang yang kami hemat membantu kami memberikan wawasan energi ke lebih banyak rumah tangga berpenghasilan rendah dan sedang.”