Elaborazione dei dati 10 volte più veloce con Amazon Redshift serverless con BlocPower

Fondata nel 2014, BlocPower è un'azienda leader con sede a Brooklyn che si concentra sul rendere le città americane più verdi, intelligenti e più sane. Con una forza lavoro diversificata e inclusiva composta per il 60% da minoranze e per il 30% da donne, il team BlocPower fornisce analisi energetiche ai gestori di edifici e ai proprietari di immobili in oltre dieci città, aiutandoli a comprendere il potenziale dell'ammodernamento dei propri edifici con fonti di energia rinnovabili. A partire dal 2022, BlocPower ha implementato con successo l'elettrificazione, il solare e altre misure di efficienza energetica in oltre quattromila edifici.

Dal 2016, BlocPower ha costruito la sua pipeline di elaborazione dati su AWS, adottando diverse soluzioni di calcolo basate su cloud, tra cui Amazon Elastic Compute Cloud (Amazon EC2), che fornisce capacità di calcolo sicura e ridimensionabile praticamente per qualsiasi carico di lavoro. Inizialmente, il team DevOps ha scalato la pipeline di elaborazione dei dati selezionando diverse istanze Amazon EC2 per l'esecuzione dei cluster, operazione che potrebbe richiedere da due a tre ore per essere completata. “Man mano che acquisivamo più clienti su BlocMaps e lavoravamo con più dati, dovevamo scalare il nostro cluster orizzontalmente”, afferma Ankur Garg, director of data architecture and analytics presso BlocPower.

L'azienda aveva inoltre migrato i propri dati verso una combinazione di soluzioni di archiviazione dati basate su cloud, tra cui Amazon Redshift, un data warehouse cloud veloce, semplice e ampiamente utilizzato. BlocPower archivia i dati raccolti da cento milioni di profili di edifici in Amazon Simple Storage Service (Amazon S3), che offre uno spazio di archiviazione di oggetti progettato per recuperare qualsiasi quantità di dati da qualsiasi luogo. Con l'aumentare della complessità dei profili di dati di BlocPower, l'azienda voleva aumentare l'accesso a più risorse di calcolo e opzioni di gestione delle risorse per i suoi team. La startup era interessata ai vantaggi di Amazon Redshift serverless e ha coinvolto il team AWS. “Il team AWS ci ha fornito un'introduzione ad Amazon Redshift serverless, che è stata molto utile e ci ha aiutato ad affrontare le preoccupazioni relative al suo utilizzo”, afferma Sean Davis, data architect presso BlocPower.

Il team BlocPower ha collaborato con il team AWS per creare una prova di concetto per vedere come Amazon Redshift serverless avrebbe influito sulle prestazioni e sulla gestione dell'aumento del volume di dati per BlocMaps. “Abbiamo eseguito test di benchmark con BlocMaps, e ne siamo rimasti sorpresi”, afferma Davis. “La nostra applicazione ha funzionato molto meglio e la nostra fatturazione ha beneficiato di Amazon Redshift serverless”. In particolare, la startup potrebbe elaborare e interrogare i suoi dati in pochi minuti, dieci volte più velocemente rispetto alla sua architettura precedente.

Successivamente, BlocPower ha deciso di adottare Amazon Redshift serverless. In tal modo, l'azienda ha ridotto il tempo impiegato dagli ingegneri DevOps per scalare i cluster. Inoltre, implementando Amazon Redshift serverless insieme ad Amazon S3 e Amazon Redshift, BlocPower ha acquisito la capacità di interrogare i propri dati su numerose origini dati, tra cui bucket Amazon S3 e dati estratti con API remote tramite AWS Glue, che aiuta le aziende a scoprire, preparare e integrare tutti i dati praticamente su qualsiasi scala. BlocPower esegue in modo intermittente i processi per unire le origini dati ed eseguire trasformazioni dei dati. Quindi, il team carica i risultati in Amazon Redshift. Dopo aver introdotto i cluster di Amazon Redshift serverless che scalano automaticamente in base ai picchi di utilizzo, BlocPower ha migliorato le prestazioni di runtime di dieci volte. “Possiamo interrogare i nostri dati quasi in tempo reale”, afferma Davis. “Abbiamo anche riscontrato un miglioramento nelle nostre API. Questi due fattori hanno reso l'utilizzo di Amazon Redshift serverless un gioco da ragazzi”.

Questi miglioramenti delle prestazioni sul backend della sua applicazione BlocMaps hanno reso l'esperienza utente più fluida per i clienti di BlocPower. Utilizzando Amazon Redshift, la startup ha anche ridotto la latenza sul front-end della sua applicazione, il che è fondamentale per illustrare l'applicazione a nuovi clienti. I clienti possono visualizzare, filtrare e visualizzare i parametri di decarbonizzazione per gli edifici in specifiche aree geografiche più velocemente di prima. Nel modello precedente, l'applicazione BlocMaps poteva impiegare da 20 a 30 secondi per caricare i profili degli edifici per i suoi clienti. Ora, l'applicazione fornisce queste informazioni in meno di 5 secondi, un miglioramento che ha portato a un feedback positivo da parte dei clienti. “Le prestazioni delle nostre applicazioni BlocMaps sono una delle nostre principali priorità dal punto di vista delle entrate”, afferma Garg. “Il buon passaparola ci aiuta a entrare in nuovi mercati e nuove città”.

BlocPower non solo ha aumentato le sue opportunità di guadagno, ma la startup ha anche ottimizzato i costi di calcolo. Dopo aver adottato Amazon Redshift serverless, BlocPower non paga più i tempi di inattività dei suoi cluster. “Il modello serverless è stato perfetto per noi”, afferma Davis. “Paghiamo meno per i nostri processi e otteniamo più risorse di calcolo quando ne abbiamo bisogno. Nel complesso, è stata un'esperienza molto positiva”.

BlocPower continuerà a studiare le soluzioni serverless di AWS per migliorare le prestazioni dei suoi prodotti. Sulla base della sua esperienza con questo progetto, l'azienda prevede di migrare su Amazon Redshift serverless anche i dati dell'Internet delle cose raccolti. “Il tempo impiegato per fornire informazioni dai dati grezzi sarebbe stato inimmaginabile se avessimo provato a configurare la nostra infrastruttura in sede”, afferma Garg. “Lavorare su AWS è stato un enorme vantaggio per noi. La quantità di tempo e denaro che risparmiamo ci aiuta a fornire informazioni sull'energia ad altre famiglie a reddito basso e moderato”.