UltraWarm for Amazon Elasticsearch Service を使用して少ないコストでより多くのデータを維持する

機械によって生成されたデータは、ソリューションを強化すると共に問題も引き起こします。これは今日の最新ソフトウェアアプリケーションで運用上の問題を特定するために必要不可欠ですが、それをリアルタイムで分析するには Amazon Elasticsearch Service のような柔軟でスケーラブルなツールが必要です。このログデータは極めて貴重であるため、ホットストレージから削除したくはないのですが、大量にありすぎるので削除するしかありません。ログ分析には、潜在的な価値と実費をてんびんにかけるという本質的な葛藤があります。

過去数日間からのログに価値があることは分かっています。最高のインデックスおよび検索パフォーマンスを提供するホットストレージに料金を支払うことは道理にかないます。6 週間前、または数か月前からのログには価値が出る可能性もありますが、これからどのくらいで価値が出るのでしょうか? その一方で、それらをホットストレージに維持するコストは正当化できるのでしょうか?

Amazon Elasticsearch Service の新しいストレージ階層である UltraWarm は、この葛藤を取り除き、ホットストレージと比較してデータ保持期間を劇的に延長し、コストを最大 90% 削減することを可能にします。何よりも素晴らしいのは、インタラクティブな分析経験はそのまま変わらないところです。ウォームインデックスは、他のインデックスと同様にクエリしたり、それらを使用して Kibana ダッシュボードを構築したりします。

仕組み

従来のウォームストレージソリューションには制限がありました。オープンソースの Elasticsearch クラスターは高密度ストレージの D2 インスタンスを使用することができますが、これらのノードを追加しても同じ基本的な Elasticsearch アーキテクチャが維持されます。引き続きオペレーティングシステムオーバーヘッド、ディスクウォーターマーク、およびインデックスレプリカを考慮しなくてはなりません。使用分だけを支払うのではなく、プロビジョニングした分の料金を支払い続けます。

UltraWarm は違います。これは、Amazon S3 と AWS Nitro System 駆動のノードの組み合わせを使用して、集約と可視化にホットストレージのような経験を提供します。S3 は耐久性に優れた低コストのストレージを提供し、レプリカの必要性を排除します。S3 はまた、オーバーヘッドという概念を取り去るので、各 UltraWarm ノードは利用可能なストレージを 100% 使用することができます。これらのノードには、クエリ処理最適化、およびデータをプリフェッチする高度なキャッシングソリューションが含まれています。従来のウォームストレージソリューションと比較して、UltraWarm のパフォーマンスは通常それらと同様、またはそれらより優れています。

具体的な料金例について、3 つのultrawarm1.large ノードを検討しましょう。すべてのノードと同様に、各ノードには時間レートの料金を支払います。今回の場合のレートは 2.680 USD です。これらのノードを合わせると、毎月 GiB あたり 0.024 USD で最大 60 TiB の S3 上のストレージに対応できますが、10 TiB のデータしか保存しない場合、請求されるのはこれら 10 TiB の料金のみです。60 TiB をすべて使用する場合、1 か月のノードおよびストレージの総額は約 7,344 USD になります。

ちなみに、60 TiB 弱のストレージを得るには 4 つの i3.16xlarge ノードが必要ですが、60 TiB のすべてを利用できるわけではありません。オーバーヘッドを考慮すると、元の容量の 75% しか残りません。次に、レプリカがその容量を半分に削減します。プライマリシャード用に約 60 TiB の利用可能ストレージを得るには、実質的に 11 ノードが必要で、それぞれに 1 時間あたり 7.987 USD の料金がかかります。その容量を使用するかしないかに関わらず、1 月分の総額は 64,136 USD になります。

i3.16xlarge ノードがより優れたパフォーマンスを提供するのは確かですが、UltraWarm ソリューションはコストをほぼ 90% 削減します。あまり頻繁にアクセスしない読み取り専用データについては、UltraWarm ストレージがデータの可用性を維持してクエリできる状態にしておきながら、莫大な節約を提供します。

今すぐ始める

目に見えないところでの多数のイノベーションにも関わらず、使用の開始は簡単です。ホットストレージからウォームストレージにインデックスを移行するには、REST API に単一のリクエストを行います。複雑なパラメータやリクエストボディは使用しません。

POST _ultrawarm/migration/<my-index>/_warm

インデックスは移行プロセス全体を通じて利用可能で、ダウンタイムはありません。インデックスに再度書き込みを行う必要が生じた場合、UltraWarm には独自の自動スナップショットリポジトリがあり、そこからインデックスをホットストレージに復元できます。

UltraWarm は現在、米国東部 (バージニア北部)、米国東部 (オハイオ)、および米国西部 (オレゴン) の 3 つのリージョンでパブリックプレビュー中です。新しいドメインを作成して UltraWarm がユースケースに適切かどうかを確認するには、 Amazon Elasticsearch Service 開発者ガイドを参照してください。

著者について

Andrew Etter はアマゾン ウェブ サービスのシニアテクニカルライターで、「Modern Technical Writing: An Introduction to Software Documentation」を書いたベストセラー作家です。