Guru は Amazon OpenSearch Service を利用して新しいビジネスチャンスを切り開く

Guru Technologies (Guru) は、企業の内部情報がどこに保管されていても必要な時にいつでも簡単にアクセスできるようにするナレッジマネジメントソフトウェアを提供するスタートアップです。高速で関連性のあるクエリ結果は、Guru と同社の顧客層にとって常に極めて重要なものでした。Slack、Noom、Nubank、Zoom Video Communications、Shopify、Spotify といった企業を顧客に抱えています。しかし、Guru は急激に成長しているため (特に毎月の利用者が対前年比で急増)、同社のセルフマネージド型 Elasticsearch ソリューションには、規模を拡大し続けるのに必要なスケーラビリティ、スピード、信頼性が欠けていることが明らかになりました。 

Guru は 2014 年の創設以来、アマゾン ウェブ サービス (AWS) を利用してきましたが、再び AWS にソリューションを求めました。Amazon OpenSearch Service (インタラクティブなログ分析、リアルタイムのアプリケーションモニタリング、ウェブサイト検索などを簡単に実行できるマネージドサービス) を使用する

クラウドベースのソリューションの導入をめざしていた Guru は、当初から AWS で技術インフラを構築していました。コロケーションセンターでインフラストラクチャを運用するには、管理や容量の拡張に多大な労力を必要とするのに対して、クラウドはストレージ、スケーリング、伸縮性に対するニーズに対応できることがわかっていました。「AWS でスタートした当時、目標は当社の環境を自動的に稼働できるように、Infrastructure as Code を実現することでした」と Guru の最高技術責任者兼共同創設者である Mitchell Stewart 氏は言います。

同社は当初 AWS CloudFormation を使用していました。AWS CloudFormation で Infrastructure as Code を実現することにより、AWS やサードパーティーの関連するリソースのコレクションをモデリングし、迅速に一貫してプロビジョニングし、ライフサイクル全体で管理することが容易になります。Guru では Amazon Elastic Block Store (Amazon EBS) も利用していました。EBS は、Amazon Elastic Compute Cloud (Amazon EC2) で使用するために設計された、スループットとトランザクションの両方が集中するどんな規模のワークロードにも対応できる、使いやすい高性能なブロックストレージサービスです。「当社は非常にシンプルなアーキテクチャから始めました」と Stewart 氏は言います。「それ以来、AWS が過去 7 年間にわたってリリースしてきたあらゆるテクノロジーを採用してきました。アーキテクチャはずいぶん複雑になりましたが、原理は同じです。つまり、AWS が継続してフルマネージドサービスを提供し、伸縮自在で動的なスケーリング問題の多くを解決してくれるので、当社は自分で問題を解決する必要はありません」。

Guru では、そうしたスケーリング問題の 1 つが Elasticsearch に関連していました。当初は、コンピューティングに Amazon EC2 を使用して独自の Elasticsearch クラスターをホストしていました。「Elasticsearch は当社のプロダクトの中核です」と Stewart 氏は言います。「当社では、多くのリソースと注意をそこに集中させました。ユーザーに低レイテンシーと関連性のある検索結果を提供して、検索パフォーマンス全体を積極的に改善しようとしていたためです」。 Amazon OpenSearch Service に移行するという決定はリソースによるものでした。Stewart 氏はこう続けます。「私たちは『社員に当社独自の Elasticsearch クラスターの対応に専念してもらいたいのか』『それとも、Elasticsearch サービスに専門的な管理を提供してもらいたいのか』と自問しました」。

Guru は、2020 年夏に Amazon OpenSearch Service への移行を開始し、数か月後に完了しました。わずかな期間で、同社には移行により複数のメリットがもたらされました。一例として、同社は Amazon EMR (オープンソースのツールを使用して膨大な量のデータを処理する、業界をリードするクラウドビッグデータサービス) を使用して、検索エンジンの検索結果の関連性を改善するための実験フレームワークを開発できました。これにより、最終的にユーザーは求める情報をより迅速に検索できるようになりました。

このフレームワークを利用して、Guru は数多くの有益なテストを迅速に実行できました。例えば、アルゴリズムの変更の提案に基づいて新しい Elasticsearch クラスターを稼働させ、新しいクラスターの検索結果の関連性が元の本稼働クラスターのものより良いか悪いかを判断できました。Amazon OpenSearch Service を使用すると検索クエリをリアルタイムでログに記録できるため、Guru は検索結果の関連性をある程度測定し、比較できました。「[Amazon OpenSearch Service]、Amazon EMR のほか、アルゴリズムを繰り返してすぐに実験できるさまざまなツールがなかったら、そんなことを検討する余地さえなかったでしょう」と Stewart 氏は言います。

以前は Guru が実験を試みると何週間、何か月とかかりました。しかし、AWS 環境への移行後は、数時間、時には数分で実験を実施できました。「以前は、実験の実施が必要になるたびに、実際に実験が行えるようにスケールアップするだけで、DevOps のリソースを 5～6 時間使いました」と、プリンシパル機械学習エンジニアの Nabin Mulepati 氏は言います。「今は、『ちょっと 30 ノードください』というだけで、1 時間もすればすぐに実験できるクラスターが手に入ります。そして実験が終わると、余分なコストがかからないようにスケールダウンできます」。

2020 年秋の移行完了から 2021 年初めまでに、Guru はほぼ 5 億回のクエリの再実行を必要とする実験を実行しました。この実験の結果、検索のパフォーマンスが 10% 改善しました。

Guru が積極的に実験を実行していない時でも、マネージド Amazon OpenSearch Service 環境ではアップグレードははるかに簡単になります。「以前は、Elasticsearch がどんどん作る新しい機能を生かせませんでした。つまり顧客の問題を解決できなかったのです」と Guru のプリンシパルエンジニアの Jeff Plater 氏は言います。「[Amazon OpenSearch Service] に移行してからは、常に最新の状態を維持しているため、そうした機能を利用できます。最終的には、それによってユーザー向けの検索サービスをより迅速に改善できます」。 1 日最大百万回の検索リクエストがありますが、Guru は遅延を発生させるわけにはいきません。

セルフマネージド型 Elasticsearch クラスターから Amazon OpenSearch Service に移行することで、Guru では実験とイノベーションに集中することにより多くの時間を割くことができるようになりました。このフレームワークを所定の場所に使用すると、k 近傍法アルゴリズムやランク学習といった機械学習や深層学習を使用した実験を大規模に実現できる道筋が開けます。同社は Amazon SageMaker を使用することも計画しています。SageMaker は、機械学習専用に構築された幅広い一連の機能をまとめて提供することにより、データサイエンティストとデベロッパーが高品質の機械学習モデルを迅速に準備、構築、トレーニング、およびデプロイするのを支援します。

スタートアップが、新規機能をリリースしながら急速に成長することを目指しているとき、Guru は革新し続けるのに必要な信頼性、スケーラビリティ、伸縮性が AWS によって提供されることに気づきました。「AWS が素晴らしい理由の 1 つは、セルフサービスであるということです。つまり、環境自体の中を自分が望む速さで移動できるのです」と Guru のプロダクトマーケティングディレクターの Steve Mayernick 氏は言います。「本当にすぐに利用開始でき、スタートアップに必要なシステムは何でも使用できます。あとは何度も何度も繰り返すだけです。遅延の原因となる可能性があるサードパーティーベンダーの許可が不要で、どんなものでも構築できます」。