BlocPower 使用 Amazon Redshift Serverless 将数据处理速度提高 10 倍

BlocPower 于 2014 年创立，是一家总部位于布鲁克林的领先企业，致力于让美国城市更环保、更智能、更健康。BlocPower 拥有一支多元和包容的员工队伍，其中 60% 为少数族裔，30% 为女性，该团队为 10 多个城市的建筑物管理者和业主提供能源分析，帮助他们了解利用可再生能源改造建筑物的潜力。截至 2022 年，BlocPower 已在 4,000 多座建筑物中成功实施电气化、太阳能利用及其他节能措施。

自 2016 年以来，BlocPower 一直在 AWS 上构建数据处理管道，并采用多种基于云的计算解决方案，包括 Amazon Elastic Compute Cloud（Amazon EC2），该解决方案提供安全且可调整大小的计算容量，支持几乎所有工作负载。最初，该公司的 DevOps 团队通过选择不同的 Amazon EC2 实例运行集群，以扩展数据处理管道，而这可能需要 2-3 个小时才能完成。BlocPower 数据架构和分析总监 Ankur Garg 表示：“随着我们的 BlocMaps 不断吸引更多客户并处理更多数据，我们必须横向扩展集群。”

该公司还将数据迁移到基于云的数据存储解决方案组合中，其中包括 Amazon Redshift，这是一个快速、简单且使用广泛的云数据仓库。BlocPower 将其从 1 亿个建筑物配置文件中收集的数据存储在 Amazon Simple Storage Service（Amazon S3）中，这是一种对象存储，专为从任意位置检索任意数量的数据而构建。随着 BlocPower 数据配置文件的复杂性不断增加，该公司希望为其团队提供更多的计算资源和资源管理选择。这家初创企业希望能够利用 Amazon Redshift Serverless 的优势，并与 AWS 团队合作。BlocPower 数据架构师 Sean Davis 称：“AWS 团队向我们介绍了 Amazon Redshift Serverless，这对我们大有帮助，也解决了之后我们在使用方面存在的任何顾虑。

BlocPower 团队与 AWS 团队合作创建了概念验证，试图了解 Amazon Redshift Serverless 将如何影响 BlocMaps 的性能以及在数据量不断增长的情况下它的数据处理方式。“我们使用 BlocMaps 进行基准测试，结果令我们大为惊讶，”Davis 说。“我们的应用程序性能显著提升，我们也通过 Amazon Redshift Serverless 实现了成本上的节省。” 具体而言，这家初创企业能够在几分钟内处理和查询数据，相较于之前的架构，速度提升了 10 倍。

随后，BlocPower 决定采用 Amazon Redshift Serverless。此举使得该公司的 DevOps 工程师减少了在扩展集群上花费的时间。此外，通过与 Amazon S3 和 Amazon Redshift 一起实施 Amazon Redshift Serverless，BlocPower 能够跨多个数据来源查询数据，包括 Amazon S3 存储桶以及通过 AWS Glue 使用远程 API 提取的数据，这有助于公司发现、准备和集成几乎任意规模的所有数据。BlocPower 通过间歇性地运行进程来合并数据来源并执行数据转换。随后，该团队将结果加载到 Amazon Redshift 中。引入 Amazon Redshift Serverless 集群（可根据使用高峰自动扩展）后，BlocPower 的运行时性能提高了 10 倍。“我们可以实现近乎实时的数据查询，”Davis 表示。“并且 API 性能也有所提升。这两个优势让使用 Amazon Redshift Serverless 成为必然选择。”

BlocMaps 应用程序后端实现的这些性能提升为 BlocPower 的客户提供了更为流畅的使用体验。此外，借助 Amazon Redshift，这家初创企业还减少了其应用程序的前端延迟，而这一点是向新客户演示应用程序的关键。相较于之前，客户现在可以更快地查看、筛选和可视化特定地理位置的建筑物脱碳指标。如果采用以往的模式，BlocMaps 应用程序可能需要 20-30 秒才能为客户加载建筑物配置文件。而现在，该应用程序 5 秒内即可提供这些洞察，这一改进让我们获得了积极的客户反馈。“从营收角度看，BlocMaps 应用程序的性能是我们的首要任务之一，”Garg 表示。“良好的口碑有助于我们打开新市场，进军新城市。”

作为初创企业的 BlocPower 不仅增加了收入机会，还优化了计算成本。采用 Amazon Redshift Serverless 之后，BlocPower 无需为集群空闲时间付费。“无服务器模式对我们来说再合适不过了，”Davis 表示。“我们支付的流程费用更少，并且可以在需要时获得更多计算资源。总的来说，这项体验让我们获益匪浅。”

BlocPower 将继续研究 AWS 无服务器解决方案，以提高其产品性能。根据自身对此项目的经验，该公司还计划将其收集的物联网数据也迁移到 Amazon Redshift Serverless。Garg 表示：“如果我们尝试在本地建立基础设施，很难想象我们从原始数据中获得洞察要花费多长时间。”“对我们而言，在 AWS 上运行是一项巨大优势。节省下来的时间和成本有助于我们为更多的低收入家庭和中等收入家庭提供能源洞察。”