BlocPower multiplie par 10 la vitesse de traitement des données à l’aide d’Amazon Redshift sans serveur

Fondé en 2014, BlocPower est un leader basé à Brooklyn qui vise à rendre les villes américaines plus vertes, plus intelligentes et plus saines. Avec une main-d’œuvre diversifiée et inclusive composée à 60 % de minorités et à 30 % de femmes, l’équipe de BlocPower fournit des analyses énergétiques aux gestionnaires de bâtiments et aux propriétaires de plus de 10 villes, les aidant ainsi à comprendre le potentiel de la rénovation de leurs bâtiments avec des sources d’énergie renouvelables. En 2022, BlocPower a mis en œuvre dans plus de 4 000 bâtiments différentes mesures d’efficacité énergétique, dont des mesures d’électrification et d’énergie solaire.

Depuis 2016, BlocPower développe son pipeline de traitement de données sur AWS, en adoptant plusieurs solutions de calcul basées sur le cloud, notamment Amazon Elastic Compute Cloud (Amazon EC2), qui fournit une capacité de calcul sécurisée et redimensionnable pour pratiquement toutes les charges de travail. Dans un premier temps, son équipe DevOps a fait évoluer son pipeline de traitement des données en sélectionnant différentes instances Amazon EC2 pour exécuter ses clusters, ce qui pouvait prendre 2 à 3 heures. « Alors que nous gagnions de plus en plus de clients sur BlocMaps et que nous travaillions avec de plus en plus de données, nous avons dû faire évoluer notre cluster horizontalement », explique Ankur Garg, directeur de l’architecture et de l’analyse des données chez BlocPower.

L’entreprise avait également migré ses données vers une combinaison de solutions de stockage de données basées sur le cloud, notamment Amazon Redshift, un entrepôt de données cloud rapide, simple et largement utilisé. BlocPower stocke les données collectées à partir de 100 millions de profils de bâtiments dans Amazon Simple Storage Service (Amazon S3), qui propose un stockage d’objets conçu pour récupérer n’importe quelle quantité de données, où que vous soyez. Alors que la complexité des profils de données de BlocPower augmentait, l’entreprise souhaitait améliorer l’accès à davantage de ressources de calcul et d’options de gestion des ressources pour ses équipes. La start-up était intéressée par les avantages d’Amazon Redshift sans serveur et a fait appel à l’équipe AWS. « L’équipe AWS nous a présenté Amazon Redshift sans serveur, ce qui s’est avéré très utile et a permis d’effacer toutes les appréhensions que nous avions à l’idée de l’utiliser », explique Sean Davis, architecte de données chez BlocPower.

L’équipe BlocPower a travaillé aux côtés de l’équipe AWS pour créer une preuve de concept visant à déterminer quel serait l’impact d’Amazon Redshift sans serveur sur les performances et la gestion de l’augmentation du volume de données pour BlocMaps. « Nous avons effectué des tests de référence avec BlocMaps, dont les résultats nous ont vraiment surpris », explique Sean Davis. « Notre application a beaucoup mieux fonctionné et notre facturation a tiré avantage d’Amazon Redshift sans serveur. » Plus précisément, la start-up pouvait traiter et interroger ses données en quelques minutes, soit 10 fois plus vite qu’avec son architecture précédente.

Par la suite, BlocPower a décidé d’adopter Amazon Redshift sans serveur. L’entreprise a ainsi réduit le temps que ses ingénieurs DevOps consacraient à la mise à l’échelle de ses clusters. En outre, en implémentant Amazon Redshift sans serveur aux côtés d’Amazon S3 et d’Amazon Redshift, BlocPower a acquis la capacité d’interroger ses données sur de nombreuses sources de données, notamment des compartiments Amazon S3 et des données extraites à l’aide d’API distantes via AWS Glue, qui aide les entreprises à découvrir, préparer et intégrer toutes leurs données à pratiquement n’importe quelle échelle. BlocPower exécute par intermittence des processus pour fusionner les sources de données et effectuer des transformations de données. L’équipe charge ensuite les résultats dans Amazon Redshift. Après avoir introduit les clusters Amazon Redshift sans serveur qui s’adaptent automatiquement aux pics d’utilisation, BlocPower a multiplié par 10 ses performances d’exécution. « Nous pouvons interroger nos données en temps quasi réel », explique Sean Davis. « Nous avons également constaté une amélioration de nos API. Ces deux facteurs ont fait de l’utilisation d’Amazon Redshift sans serveur une évidence. »

Ces gains de performances sur le backend de son application BlocMaps ont rendu l’expérience utilisateur plus fluide pour les clients de BlocPower. En utilisant Amazon Redshift, la start-up a également réduit la latence sur le front-end de son application, ce qui est essentiel lors de la démonstration de l’application à de nouveaux clients. Les clients peuvent consulter, filtrer et visualiser plus rapidement qu’auparavant les mesures de décarbonisation des bâtiments situés dans des zones géographiques spécifiques. Dans son modèle précédent, l’application BlocMaps pouvait prendre de 20 à 30 secondes pour charger les profils de bâtiment pour ses clients. Désormais, l’application fournit ces informations en moins de 5 secondes, une amélioration qui s’est traduite par des commentaires positifs des clients. « La performance de nos applications BlocMaps est l’une de nos principales priorités en termes de revenus », déclare Ankur Garg. « Le bouche-à-oreille nous aide à pénétrer de nouveaux marchés et de nouvelles villes. »

Non seulement BlocPower a augmenté ses opportunités de revenus, mais la start-up a également optimisé ses coûts de calcul. Après avoir adopté Amazon Redshift sans serveur, BlocPower ne paie plus le temps d’inactivité de ses clusters. « Le modèle sans serveur était parfait pour nous », déclare Sean Davis. « Nous payons moins pour nos processus et nous obtenons davantage de ressources de calcul lorsque nous en avons besoin. Dans l’ensemble, l’expérience a été très positive. »

BlocPower continuera à étudier les solutions sans serveur AWS afin d’améliorer les performances de ses produits. Sur la base de son expérience dans le cadre de ce projet, la société prévoit de migrer également les données de l’Internet des objets qu’elle collecte vers Amazon Redshift sans serveur. « Le temps qu’il nous aurait fallu pour fournir des informations à partir de données brutes aurait été inimaginable si nous avions essayé de configurer notre infrastructure sur site », explique Ankur Garg. « Travailler sur AWS a été un avantage considérable pour nous. Le temps et l’argent que nous économisons nous aident à fournir des informations sur l’énergie à d’autres ménages à revenus faibles et modérés. »