NetSeer の導入事例

NetSeer は、検索クエリやウェブページのコンテンツに対応する広告主や出版社の関連広告を表示するコンセプトベースの広告ソリューションを提供しています。同社は、インテントを読み解くインテントエンジンである ConceptGraph、オーディエンスターゲティングのインサイト、最適化、反応を引き出し、キャンペーンパフォーマンスの目標に対する ROI を高めるための増幅を供給する NetSeer RESPONSE など、いくつかのソリューションを提供しています。

NetSeer のメディアビジネスは、主要なすべてのプログラム型オンラインアドエクスチェンジ市場のリアルタイムビッディングで発生したトラフィックを処理する、大規模なウェブオペレーションです。ビッディングクラスターに基づく、このような処理を実行するには、増え続けるトラフィック量をサポートする必要があります。NetSeer でテクニカルオペレーション担当シニアディレクターを務める Greg Pendler 氏は、次のように語ります。「私たちは、リアルタイムビッディングクラスターで毎日 500 億件の入札リクエストを受け付けます。入札リクエストに対して 100 ミリ秒という応答時間を実現しながら、そのトラフィックをサポートする必要があるのです。それには高パフォーマンスかつ低レイテンシーなソリューションが必要です」

また、NetSeer は、ピーク時とピーク時以外の両方のトラフィック量をサポートする必要があります。Pendler 氏は語ります。「私たちが扱うトラフィックは 1 日の間に激しく変動します。ですから、伸縮自在なシステムが必要なのです」加えて、NetSeer のクラスターは、時間を問わず利用可能でなくてはいけません。Pendler 氏は続けます。「稼働時間は、私たちのビジネスにとってきわめて重要です。提携している広告主や出版社の方々は、迅速な意思決定のために当社のサービスを利用されています。そのためにも、クラスターは高可用性である必要があるのです」

NetSeer では、自社のリアルタイムビッディングクラスターをアマゾン ウェブ サービス (AWS) で構築しました。数百台のフロントエンドサーバーで Amazon Elastic Compute Cloud (Amazon EC2) インスタンスおよび Elastic Load Balancing を使用して、トラフィックを分散しています。「拡張性、信頼性、伸縮性の観点から、私たちは AWS を採用しました」と Pendler 氏は語ります。ビッディングクラスターには、複数のリージョンおよび AWS アベイラビリティーゾーンにまたがる、大型のキャッシュクラスターが含まれます。そのクラスターが入札ログを解析して、入札ルールを継続的に改善し最適化することで、関連広告をユーザーに表示します。

クラスターが進化し、NetSeer の顧客数も増大したため、同社はより良いコスト管理を実現するために、Amazon EC2 スポットインスタンスの使用を開始しました。Amazon EC2 スポットインスタンスは、オンデマンドに対して最大 90% の割引で予備の Amazon EC2 コンピューティング容量を提供します。さらに、需要に応じたキャパシティーの拡張や縮小の、自動スケーリングをするために、Auto Scaling の使用も開始しました。各ビッディングクラスターでは、夜間には 6 個、トラフィックのピーク時には最大 120 個のノードが運用されています。

NetSeer では、オンデマンドインスタンスとスポットインスタンスを併用することで、コストを抑えながらスポット料金の変動による影響を最小化していました。同社ではスポットの Auto Scaling グループを優先していましたが、リソースが利用不可になりシステムの負荷が増加した場合の対処としてオンデマンドの EC2 インスタンスが追加されると、コストが増加することが判明しました。また、価格変動が原因で時々スポットインスタンスを失い、一時的なクラスターの停止や、価格の高いオンデマンドインスタンスの使用によるコストの増加が引き起こされました。

このような課題に対処するため、NetSeer では、1 回のリクエストでスポットインスタンスのコレクションを作成し管理できる、Amazon EC2 スポットフリートの使用を開始しました。スポットフリートは、スポットインスタンスのコレクションです。スポットフリートでは、スポットフリートリクエストでお客様が指定したターゲット容量を満たすのに必要な数のスポットインスタンスを作成しようと試みます。また、スポット料金や利用可能な容量の変化によってお客様のスポットインスタンスが中断された場合、ターゲット容量のフリートを維持するように試みます。Pendler 氏は語ります。「AWS チームとの相談の結果、Amazon EC2 スポットフリートは、当社のビッディングクラスターの信頼性を向上させ、コストの不安定性を抑えるものであることがわかりました。スポットインスタンスからフリートオプションへの移行は、実にシンプルなプロセスでした」

また、NetSeer では、自動でフリートクラスターを管理し、Auto Scaling 機能を Amazon CloudWatch メトリクスに結び付けることが求められていました。そのため、クラスターの負荷を示すインジケーターとしてのオンデマンドノードの少数のセットに基づき、クラスターのサイズを制御するソリューションが設計されました。定期的なジョブが、オンデマンドノードの CloudWatch メトリクスをモニタリングします。メトリクスが所定のしきい値を超えると、ジョブがフリートリクエストを修正して、必要に応じてノードを追加または削除します。このシステムでは、クラスターの最終アップデート後にクールダウン期間を設けることにより、ノードが起動してトラフィック処理を開始できるようにしています。

NetSeer では、Amazon EC2 スポットフリートを活用することにより、スポットインスタンスの入札方法と管理方法を簡素化しつつ、コストを抑えています。Pendler 氏は語ります。「自社開発のシステムを AWS と併用することで Amazon EC2 のコスト節約は 30% を超え、リアルタイムビッディングクラスターをより効率的に運用しています。当社のクラスター管理システムが持つ正確性と信頼性により、サーバーの利用状況を最適化して、コストを最大限抑えることが可能になっています。また、100 ミリ秒という制限のある応答時間の維持にも役立っています」

NetSeer では、EC2 スポットフリートを使用する前は、バックアップのオンデマンドインスタンスのセットを維持することで、スポットインスタンスのダウンタイムを緩和していました。スポットフリートは、スポットインスタンスが削除された場合に自動で代替のスポットインスタンスを作成するため、オンデマンドインスタンスのバックログを手動で維持することなく、スポット入札価格を低く設定できます。Pendler 氏は語ります。「Amazon EC2 スポットフリートインスタンスを使用することで、コストの予測が可能になりました。「クラスターに必要なキャパシティーを確保するために、追加で需要インスタンスをプロビジョンする必要はもうありません」

また、NetSeer では、Amazon EC2 スポットフリートインスタンスを使用して、自社のリアルタイムビッディングクラスターの信頼性を向上させています。Pendler 氏は語ります。「以前、当社のクラスターは、EC2 スポットインスタンスの可用性による問題の影響を強く受け、負荷のピーク時には追加のインスタンスをスケールできない場合もありました。現在は、複数のアベイラビリティーゾーンで複数のインスタンスタイプに使用できるため、確実にインスタンスが利用可能となっています。また、大規模なトラフィックスパイクの発生時にさえ、クラスター容量の 10 分の 1 を超えた使用をすることもありません。概して、AWS との提携により、私たちはビジネスをよりよくサポートし、お客様により多くの価値をお届けできる、洗練された信頼性のあるソリューションを開発できたと言えるでしょう。このソリューションのさらなる成長を期待しています」