EC2 スポットインスタンスと TIBCO GridServer を使用して AWS 上で 130万個の vCPU グリッドを作成する

私の同僚の多くがお客様に会い、お客様の声に耳を傾けるといった機会を持てることは幸運です。これによりお客様のビジネスやテクノロジーのニーズをより満足させる方法を見つけるのに最善を尽せます。この情報は細心の注意を払って扱い、新しいサービスと新機能のロードマップに取り組むときに利用します。

金融サービス業界 (FSI) の AWS を利用するお客様は、2019年から2021年に実施される FRTB (Fundamental Review of Trading Book) の規制に備えています。とりわけ、それぞれの金融機関がニューヨークで取引が終了してから東京で開始するまでの4時間の時間枠内に「バリュー・アット・リスク」の計算を実行しなければならなという新しい方法取り組みが規定されます。現在、このミッションクリティカルな計算は、20万個の vCPU (仮想CPU) のリソースを消費していますが、本規制により 40万 〜 80万個の vCPU (仮想CPU) に増加する見込みです。この高いスループットの計算を実行するのに必要な規模や回数などについては、まだ議論が必要ですが、全体的な方向性は明確になっています。
FSIのお客様がこれらの新しい規制に対処できるようサポート体制が整ったことを確かなものにするため、TIBCOと協力して、 AWSクラウドでPoC (概念実証) を実施します。4時間以内に処理を完了するために必要な処理能力とストレージ量が伴う計算には、費用対効果の高く、オンデマンドで膨大な量の計算能力を利用できる環境が最も適しています。

当社のお客様は、すでにオンプレミスの TIBCO GridServer をクラウドで利用することを検討しています。本製品は、エンタープライズ規模でグリッドを実行するように設計されています。仮想化された方法でアプリケーションを実行し、リソースの要求を受諾し、必要に応じて動的にプロビジョニングします。クラウド版では、Amazon Linux だけでなく、PostgreSQL と互換性のある Amazon Aurora サポートしています。

TIBCOと協力して、現在のハイエンド予測である 80万個の vCPU よりも大幅に大きいグリッドを作成し、50％ の安全係数を追加した 130万個の vCPU (オンプレミスの5倍の規模) まで拡張しました。この目標を念頭に置いて、アカウント制限を次のように引き上げました。

• スポットインスタンス制限 – 120,000
• EBS ボリューム制限 – 120,000
• EBS 容量制限 – 2 PB

このサイズのグリッドを作成する予定の場合は、地元で協力的なAWS ソリューションアーキテクトを早い段階で見つけておくべきでしょう。彼らは計画のレビュー、アーキテクチャガイダンスの提供、実施までのスケジュール作成をサポートするでしょう。

グリッドの実行
Go ボタンを押してグリッドを立ち上げ、入札して取得したスポットインスタンスのそれぞれを初期化、およびグリッドの結合するのに2分以内で完了します。テストワークロードは、 オープンソースの分析と市場リスクのライブラリ Strata を使いました。Strata は OpenGamma 社のサポートを受けてセットアップしました。

グリッドは計画通り、61,299 個のスポットインスタンス (第三世代の EC2 ハードウェア間で34個のインスタンスタイプから引き出した130万個の vCPU) まで拡張しました。実行中に 1937 のインスタンスが再利用され、自動的に置き換えられます。1時間の実行あたり、30,000 ドル (USD) で 、1 vCPU あたり 0.078 ドル (USD) のコストになります。同じインスタンスがオンデマンドで使用されていた場合、グリッドを実行するための時間当たりのコストは約 93,000 ドル (USD) になります。

グリッドの規模にもかかわらず、EC2 インスタンスの価格は入札の間変化しませんでした。これは、AWS クラウドの全体的なサイズと去年導入した smooth price change model の効果によるものです。

計算能力を示す目安として、この我々のグリッドが 2007年11月にスーパーコンピュータのリスト TOP 500 で相当な差をつけて 1 位を取得しました。2008 年 6 月には 2 位を取得しました。今日、リストのポジション #360 を占めることでしょう。

この AWS の成功事例を楽しんでいただければ幸いです。お客様がクラウドで達成できる規模のアイデアを提供いただけることを願っています。

— Jeff;