10-mal schnellere Datenverarbeitung mit Amazon Redshift Serverless mit BlocPower

BlocPower wurde 2014 gegründet und ist ein führendes Unternehmen mit Sitz in Brooklyn, das sich darauf konzentriert, amerikanische Städte grüner, intelligenter und gesünder zu machen. Mit einer vielfältigen, inklusiven Belegschaft, die zu 60 % aus Minderheiten und zu 30 % aus Frauen besteht, bietet das BlocPower-Team Gebäudemanagern und Immobilienbesitzern in über 10 Städten Energieanalysen an und hilft ihnen dabei, das Potenzial der Nachrüstung ihrer Gebäude mit erneuerbaren Energiequellen zu verstehen. Im Jahr 2022 führte BlocPower erfolgreich Elektrifizierung, Installation von Solaranlagen und andere Maßnahmen für die Energieeffizienz in über 4 000 Gebäuden durch.

Seit 2016 baut BlocPower seine Datenverarbeitungs-Pipeline in AWS auf und verwendet mehrere cloudbasierte Rechenlösungen, darunter Amazon Elastic Compute Cloud (Amazon EC2), das sichere und anpassbare Rechenkapazität für praktisch jedes Workload bietet. Anfänglich skalierte das DevOps-Team seine Datenverarbeitungs-Pipeline, indem es verschiedene Amazon-EC2-Instances für den Betrieb seiner Cluster auswählte, was 2–3 Stunden dauern konnte. „Als wir mehr Kunden auf BlocMaps gewannen und mit mehr Daten arbeiteten, mussten wir unseren Cluster horizontal skalieren“, sagt Ankur Garg, Director of Data Architecture and Analytics bei BlocPower.

Das Unternehmen hatte seine Daten auch auf eine Kombination aus cloudbasierten Datenspeicherlösungen migriert, darunter Amazon Redshift, ein schnelles, einfaches und weit verbreitetes Cloud-Data-Warehouse. BlocPower speichert die Daten, die es aus 100 Millionen Gebäudeprofilen sammelt, in Amazon Simple Storage Service (Amazon S3), das einen Objektspeicher bietet, der darauf ausgelegt ist, beliebige Datenmengen von überall abzurufen. Als die Komplexität der Datenprofile von BlocPower zunahm, wollte das Unternehmen seinen Teams den Zugang zu mehr Rechenressourcen und Optionen zur Ressourcenverwaltung erleichtern. Das Startup war an den Vorteilen von Amazon Redshift Serverless interessiert und engagierte das AWS-Team. „Das AWS-Team gab uns eine Einführung in Amazon Redshift Serverless, was sehr hilfreich war und alle Bedenken ausräumte, die wir bezüglich der zukünftigen Verwendung hatten“, sagt Sean Davis, Data Architect bei BlocPower.

Das BlocPower-Team arbeitete mit dem AWS-Team zusammen, um einen Machbarkeitsnachweis zu erstellen, mit dem sie sehen konnten, wie Amazon Redshift Serverless die Leistung und den Umgang mit dem erhöhten Datenvolumen für BlocMaps beeinflussen würde. „Als wir Benchmark-Tests mit BlocMaps durchgeführt haben, waren wir erstaunt“, sagt Davis. „Unsere Anwendung hat viel besser funktioniert, und unsere Fakturierung profitierte von Amazon Redshift Serverless.“ Insbesondere konnte das Startup seine Daten innerhalb von Minuten verarbeiten und abfragen – 10 Mal schneller als bei seiner vorherigen Architektur.

Danach entschied sich BlocPower für Amazon Redshift Serverless. Auf diese Weise reduzierte das Unternehmen die Zeit, die seine DevOps-Ingenieure für die Skalierung seiner Cluster aufwenden mussten. Darüber hinaus erhielt BlocPower durch die Implementierung von Amazon Redshift Serverless zusammen mit Amazon S3 und Amazon Redshift die Möglichkeit, seine Daten über zahlreiche Datenquellen abzufragen, darunter Amazon-S3-Buckets und Daten, die mit Remote-APIs über AWS Glue abgerufen wurden, was Unternehmen dabei hilft, all ihre Daten in praktisch jeder Größenordnung zu erkennen, vorzubereiten und zu integrieren. BlocPower führt zeitweise Prozesse aus, um Datenquellen zusammenzuführen und Datentransformationen durchzuführen. Dann lädt das Team die Ergebnisse in Amazon Redshift. Nach der Einführung von Amazon-Redshift-Serverless-Clustern, die automatisch auf Nutzungsspitzen skaliert werden, verbesserte BlocPower seine Laufzeitleistung um den Faktor 10. „Wir können unsere Daten nahezu in Echtzeit abfragen“, sagt Davis. „Wir haben auch eine Verbesserung unserer APIs festgestellt. Mit diesen beiden Faktoren war für uns die Verwendung von Amazon Redshift Serverless ein klarer Fall.“

Diese Leistungssteigerungen im Backend der BlocMaps-Anwendung haben den Kunden von BlocPower ein reibungsloseres Benutzererlebnis ermöglicht. Durch die Verwendung von Amazon Redshift hat das Startup auch die Latenz am Frontend seiner Anwendung reduziert, was bei der Demonstration der Anwendung für Neukunden von entscheidender Bedeutung ist. Kunden können Dekarbonisierungs-Metriken für Gebäude an bestimmten geografischen Standorten schneller als zuvor anzeigen, filtern und visualisieren. Im Vorgängermodell konnte die BlocMaps-Anwendung 20–30 Sekunden benötigen, um Gebäudeprofile für ihre Kunden zu laden. Jetzt liefert die Anwendung diese Erkenntnisse in weniger als 5 Sekunden – eine Verbesserung, die zu positivem Kundenfeedback geführt hat. „Die Leistung unserer BlocMaps-Anwendungen ist aus Sicht des Umsatzes eine unserer obersten Prioritäten“, sagt Garg. „Gute Mundpropaganda hilft uns, neue Märkte und Städte zu erschließen.“

BlocPower hat nicht nur seine Umsatzchancen erhöht, sondern das Startup hat auch seine Rechenkosten optimiert. Durch die Einführung von Amazon Redshift Serverless zahlt BlocPower nicht mehr für die Leerlaufzeit seiner Cluster. „Das Serverless-Modell war perfekt für uns“, sagt Davis. „Wir zahlen weniger für unsere Prozesse und erhalten mehr Rechenressourcen, wenn wir sie benötigen. Insgesamt war es eine sehr positive Erfahrung.“

BlocPower wird weiterhin Serverless-AWS-Lösungen untersuchen, um die Leistung seiner Produkte zu verbessern. Aufgrund seiner Erfahrungen mit diesem Projekt plant das Unternehmen, die gesammelten Daten aus dem Internet der Dinge auch nach Amazon Redshift Serverless zu migrieren. „Die Zeit, die wir gebraucht hätten, um Erkenntnisse aus Rohdaten zu gewinnen, wäre unvorstellbar gewesen, wenn wir versucht hätten, unsere Infrastruktur On-Premises einzurichten“, sagt Garg. „Die Arbeit mit AWS war für uns ein großer Vorteil. Die Menge an Zeit und Geld, die wir sparen, hilft uns, weitere Haushalte mit niedrigem und mittlerem Einkommen mit Energiedaten zu versorgen.“