BlocPower 使用 Amazon Redshift Serverless 將資料處理速度提高 10 倍

BlocPower 成立於 2014 年，總部位於布魯克林，是致力於讓美國城市更環保、更智慧、更健康的領導企業。BlocPower 擁有多元且包容的員工團隊，其中 60% 為少數群體，30% 為女性。該團隊為 10 多座城市的建築管理人員和業主提供能源分析，協助他們了解使用再生能源改造建築的潛力。截至 2022 年，BlocPower 已成功在 4,000 多棟建築中實作電氣化、太陽能和其他節能措施。

自 2016 年以來，BlocPower 一直在 AWS 上建置其資料處理管道，採用了多種雲端運算解決方案，包括 Amazon Elastic Compute Cloud (Amazon EC2)，該服務可為幾乎任何工作負載提供安全且可調整大小的運算容量。最初，其 DevOps 團隊透過為叢集選擇不同的 Amazon EC2 執行個體來擴展資料處理管道，而這個過程可耗時 2-3 小時。BlocPower 資料架構和分析總監 Ankur Garg 表示，「隨著 BlocMaps 的客戶和處理的資料日益增加，我們不得不橫向擴展叢集。」

該公司還將其資料遷移到多種雲端資料儲存解決方案的組合，包括 Amazon Redshift，一種快速、簡單且受廣泛使用的雲端資料倉儲。BlocPower 將從 1 億棟建築能源檔案中收集的資料儲存在 Amazon Simple Storage Service (Amazon S3) 中，Amazon S3 是一項物件儲存服務，旨在從任何地方擷取任何數量的資料。隨著 BlocPower 資料設定檔的複雜性增加，該公司希望讓能團隊能使用更多運算資源和資源管理選項。這家新創公司對 Amazon Redshift Serverless 的優勢很感興趣，並與 AWS 團隊接觸。「AWS 團隊向我們介紹了 Amazon Redshift Serverless，這項服務對團隊十分有幫助，解決了我們在使用過程中的顧慮。」BlocPower 資料架構師 Sean Davis 表示，

BlocPower 團隊與 AWS 團隊合作建立了概念驗證，以了解 Amazon Redshift Serverless 將如何影響 BlocMaps 的效能，以及其如何處理增加的資料量。「我們使用 BlocMaps 進行基準測試，結果讓我們大吃一驚。」Davis 表示，「我們的應用程式效能大幅提升，我們的帳單也受益於 Amazon Redshift Serverless。」 具體來說，這家新創公司能在幾分鐘內處理和查詢其資料，比以前的架構快 10 倍。

之後，BlocPower 決定採用 Amazon Redshift Serverless。如此一來，該公司減少了 DevOps 工程師花在擴展叢集上的時間。此外，透過將 Amazon Redshift Serverless 與 Amazon S3 和 Amazon Redshift 結合使用，BlocPower 還能夠跨多個資料來源查詢資料，這些來源包括 Amazon S3 儲存貯體和透過 AWS Glue (有助於公司探索、準備和整合幾乎任何規模的所有資料的平台) 使用遠端 API 擷取的資料。BlocPower 間歇性地執行流程來合併資料來源，以及轉換資料。然後，團隊將結果載入 Amazon Redshift。在引入可根據使用高峰自動擴展的 Amazon Redshift Serverless 叢集後，BlocPower 將其執行時期效能提高了 10 倍。「我們能近乎即時地查詢資料。」Davis 表示，「我們還看到了 API 的改進。這兩個因素讓 Amazon Redshift Serverless 成為不二之選。」

這些 BlocMaps 應用程式後端效能的提升為 BlocPower 的客戶帶來更流暢的使用者體驗。透過使用 Amazon Redshift，這家新創公司還減少了應用程式前端的延遲，這在向新客戶展示應用程式時至關重要。客戶能比以前更快地檢視、篩選和視覺化位於特定地理位置之建築的脫碳指標。在以前的模式下，BlocMaps 應用程式可能需要 20-30 秒才能為客戶載入建築檔案。現在，該應用程式能在 5 秒內提供這些洞察，這項改進得到客戶的正面意見回饋。「從收入角度來看，BlocMaps 應用程式的效能是我們的首要任務之一。」Garg 表示，「良好的口碑有助於我們進入新市場和新城市。」

BlocPower 不僅增加了收入機會，還最佳化了運算成本。採用 Amazon Redshift Serverless 後，BlocPower 不再需要為其叢集的閒置時間付費。「無伺服器模式非常適合我們。」Davis 表示，「我們為流程支付的費用更少了，並在需要時還能獲得更多的運算資源。整體而言，這是一次非常正面的體驗。」

BlocPower 將繼續研究 AWS 無伺服器解決方案，以提高產品效能。根據其處理該專案的經驗，該公司還計劃將其收集的物聯網資料遷移到 Amazon Redshift Serverless。「如果我們試圖在內部部署基礎設施，那麼從原始資料中提供洞察所需的時間將是難以想像的。」Garg 表示，「在 AWS 上工作對我們來說是巨大優勢。我們省下來的時間和資金，有助於我們為更多中低收入家庭提供能源洞察。」