BlocPower が Amazon Redshift Serverless を使用してデータ処理を 10 倍高速化

2014 年にブルックリンを拠点として設立された BlocPower は、業界のトップ企業として、米国の都市をより環境に優しく、スマートで、健康的な場所にすることに重点を置いています。BlocPower チームは、マイノリティが 60 パーセント、女性が 30 パーセントを占め、多様でインクルーシブな構成となっています。同チームは、10 を超える都市のビル管理者や不動産所有者にエネルギー分析を提供し、そうした管理者や所有者が再生可能エネルギー源の利用に向けて建物の改修を検討する手助けをしています。2022 年現在、BlocPower は 4,000 を超える建物で電化、太陽光発電、その他のエネルギー効率化対策を成功させています。

2016 年以来、BlocPower は AWS 上でデータ処理パイプラインを構築しており、Amazon Elastic Compute Cloud (Amazon EC2) を含め、クラウドベースのコンピューティングソリューションをいくつか採用してきました。Amazon EC2 は、事実上すべてのワークロード向けに安全でサイズ変更が可能なコンピューティング性能を提供します。同社の DevOps チームは当初、クラスターを実行するためにさまざまな Amazon EC2 インスタンスを選択してデータ処理パイプラインをスケールしましたが、完了するまでに 2～3 時間かかることがありました。BlocPower の director of data architecture and analytics である Ankur Garg 氏は、次のように語ります。「BlocMaps でより多くの顧客を獲得し、扱うデータ量が増えるにつれて、クラスターを水平方向にスケールする必要が生じました」。

同社はまた、高速かつシンプルで、広く使用されているクラウドデータウェアハウスである Amazon Redshift など、複数のクラウドベースのデータストレージソリューションを組み合わせてデータを移行しました。BlocPower は、1 億件の建物のプロファイルから収集したデータを Amazon Simple Storage Service (Amazon S3) に保存します。Amazon S3 は、どこからでも任意の量のデータを取得できるように構築されたオブジェクトストレージを提供します。BlocPower のデータプロファイルが複雑になるにつれ、同社はチームがより多くのコンピューティングリソースとリソース管理オプションにアクセスできるようにしたいと考えていました。同社は Amazon Redshift Serverless がもたらすメリットに興味を持ち、AWS チームと連携しました。BlocPower の data architect である Sean Davis 氏は次のように述べています。「AWS チームが Amazon Redshift Serverless の概要を説明してくれました。これは非常に有益で、今後サービスを使用するにあたって抱いていたあらゆる不安が解消されました」。

BlocPower チームは AWS チームと協力して、Amazon Redshift Serverless が BlocMaps のパフォーマンスと増加したデータの処理にどのような影響を及ぼすかを確認するための概念実証を作成しました。「BlocMaps のベンチマークテストを実施しましたが、本当に驚きました」と Davis 氏は言います。「アプリケーションのパフォーマンスが大幅に向上し、Amazon Redshift Serverless のおかげでコストも削減できました」。 同社は数分で、つまり以前のアーキテクチャの 10 倍の速さでデータの処理とクエリを実行できるようになったのです。

その後、BlocPower は Amazon Redshift Serverless を採用することを決定しました。これにより、同社の DevOps エンジニアがクラスターのスケーリングに費やす時間が短縮されました。さらに、Amazon Redshift Serverless を Amazon S3 や Amazon Redshift と一緒に実装することで、Amazon S3 バケットや AWS Glue を介してリモート API で取得されたデータなど、多数のデータソースにわたってデータをクエリできるようになりました。AWS Glue を使用することで、企業は事実上あらゆる規模ですべてのデータを検索、準備、統合できます。BlocPower は、データソースをマージしてデータ変換を実行するプロセスを断続的に実行します。その後、チームは結果を Amazon Redshift に読み込みます。使用量の急増に合わせて自動的にスケールする Amazon Redshift Serverless クラスターを導入した後、BlocPower はランタイムパフォーマンスを 10 倍向上させました。Davis 氏は次のように述べています。「ほぼリアルタイムでデータをクエリできるだけでなく、当社の API にも改善が見られました。これら 2 つの要因により、Amazon Redshift Serverless を簡単に使うことができました」。

BlocMaps アプリケーションのバックエンドのパフォーマンスが向上したことで、BlocPower の顧客のユーザーエクスペリエンスもよりスムーズになりました。Amazon Redshift を使用することで、アプリケーションのフロントエンドのレイテンシーも短縮されました。これは新規顧客向けにデモンストレーションを行う際に極めて重要な要素となっています。顧客は、特定の地理的位置にある建物の脱炭素化指標を以前より速く表示、フィルタリング、視覚化できます。以前のモデルでは、BlocMaps アプリケーションが顧客の建物プロファイルを読み込むのに 20〜30 秒かかっていました。現在では、アプリケーションからこれらのインサイトが 5 秒未満で提供されるようになっており、顧客から好意的なフィードバックが寄せられています。「収益の観点から見た場合、BlocMaps アプリケーションのパフォーマンスは最優先事項の 1 つです」と Garg 氏は言います。「良い口コミが広がれば、新しい市場や都市に参入しやすくなるからです」。

BlocPower は収益機会を増やしただけでなく、コンピューティングコストも最適化しました。Amazon Redshift Serverless を採用したことで、BlocPower はクラスターのアイドル時間に対して支払う必要がなくなりました。Davis 氏は次のように語っています。「サーバーレスモデルは私たちにとって完璧なソリューションでした。プロセスにかかる費用を抑え、必要なときに利用できるコンピューティングリソースを増やすことができました。全体的に見て、とてもポジティブな経験となりました」。

BlocPower は引き続き、AWS サーバーレスソリューションを使用して製品のパフォーマンスを向上させる方法を探っています。このプロジェクトで得た経験に基づいて、同社は収集したモノのインターネット (IoT) のデータも Amazon Redshift Serverless に移行する予定です。「インフラストラクチャをオンプレミスでセットアップしていたら、未加工データからインサイトを得るのに想像もできないほどの時間がかかっていたでしょう」と Garg 氏は言います。「AWS で作業することで、大きなメリットを得ることができました。節約できた時間と資金をつかって、より多くの低中所得世帯にエネルギーに関するインサイトを提供できます」。