Autodesk が Amazon EMR を使用して信頼性が高く費用対効果の高いビッグデータ分析を構築

1982 年に設立された Autodesk は、世界中の 1 億以上の顧客が使用する 3D デザイン、エンジニアリング、エンターテイメントソフトウェアを製造しています。その AutoCAD ソフトウェアは、建築家、エンジニア、建設専門家が正確なデジタル図面を作成するのに役立ちます。データ主導型の企業として、Autodesk は分析とインサイトを活用して、より優れたソリューションと機能を顧客に提供しています。しかし、サードパーティ製のビッグデータソリューションでは成長に追いつけませんでした。

「以前のソリューションには多くの信頼性の問題がありました」と、Autodesk のシニアエンジニアリングマネージャーである Nick Wilson 氏は言います。「データは Autodesk のビジネスの基本単位です。必要な信頼性を提供し、成長軌道に合わせて拡張できる新しいプロバイダーが必要でした」。

信頼性とパフォーマンスについてさまざまなソリューションを評価した結果、Autodesk は Amazon EMR への移行を選択しました。「Autodesk は AWS のショップであり、当社には AWS のサービスを利用してきた長い歴史があります」と Wilson 氏は言います。「AWS は、私たちが支払った費用に見合う以上のサービスを提供してくれました。すべてのワークロードをサードパーティプロバイダーから Amazon EMR やその他の AWS サービスに移行する方法を特定できました」。

Autodesk のビッグデータワークロードを Amazon EMR に移行するのは簡単ではない作業になりそうでした。この取り組みには、それぞれ異なるコーディング言語を使用し、さまざまなタイプのクエリを実行する 30 の異なるチームからのワークロードを移行することが含まれます。さらに、Autodesk のビジネスクリティカルなワークロードはすべてサードパーティのソリューションで実行されていたため、プロセス中に不必要な中断が発生しないようにする必要がありました。複雑な移行を円滑に進めるため、Autodesk は AWS Migration Acceleration Program (AWS MAP) に参加しました。このプログラムは、成果重視の方法論により、クラウドへの移行とモダナイゼーションの取り組みを加速させるものです。AWS MAP は移行の技術的側面で Autodesk をサポートしただけでなく、費用の一部を相殺するためのクレジットも提供しました。

「新しいサービスに移行すると、ある程度の経験が蓄積されるまでコンピューティングは最適化されません」と Wilson 氏は言います。「AWS MAP の価格設定により、移行による収益への影響を最小限に抑え、シームレスな移行を実現できました」。

Autodesk は、オープンソースの統合分析エンジンである Apache Spark を Amazon EMR で実行し、主要なコンピューティングエンジンとして使用しています。Spark クラスターは、すべてのデータ処理と抽出、ロード、変換パイプラインをサポートします。データロードを処理するために、Autodesk は、スケーラブルで高性能なブロックストレージサービスである Amazon Elastic Block Store (Amazon EBS) で提供されるボリュームを Spark インスタンスにアタッチします。これらのサービスは、Autodesk のデータ処理に合わせてシームレスにスケールできます。処理されるデータは 1 PB に達し、その量は毎月増加しています。ダッシュボードを強化して分析を提供するために、Autodesk は Amazon EMR でオープンソースの分散 SQL クエリエンジンである Presto を実行しています。

「Amazon EMR での Presto は、開発者フローの基本的な部分です」と Wilson 氏は言います。「私たちのチームがデータを操作してデータから学ぶのに役立ち、新製品の開発に役立つ一般的なビジネスインサイトも得られます」。

Amazon EMR を採用することで、Autodesk はビッグデータサービスの信頼性を大幅に向上させました。Apache Spark と Presto に依存するワークロードについては、99.8% の可用性を達成しており、重大な障害やサービスのダウンタイムは発生していません。また、Autodesk はトラブルシューティングに費やす時間を 25% 削減しました。

開発チームはこの一貫した信頼性を高く評価し、今ではリソースをビジネスの他の分野に集中させることができます。「以前は、日曜日に会社からの連絡を見たくありませんでした。サードパーティのソリューションが壊れたため、ビジネスに不可欠なプロセスが壊れたといったことがわかりました」と Wilson 氏は言います。「現在、パイプラインは安定して稼働し、クラスターは期待どおりに稼働しており、サービスレベル契約を満たしています。現在、Amazon EMR では、移行前よりもはるかに安定したシステムが稼働しています」。

図 1.ジョブの送信と移行