Palantir Foundry による AI を活用した意思決定アプリケーションの構築と導入の支援方法

本記事は、Andrew Higgins, Forward Deployed Engineer – Palantir、
Thomas Powell, Forward Deployed Engineer – Palantir、
Mehmet Bakkaloglu, Sr. Solutions Architect – AWS、
Zach Green, Solutions Architect – AWS による共著です。

より適切な意思決定を行うためにデータを活用することは、最適なビジネス成果を推進するために非常に重要です。Palantir は、企業が最も価値のある資産の一つであるデータから最大の価値を迅速に引き出すことを支援します。

今日、これまで以上に、さまざまな業界の組織が、意思決定をさらに加速し、改善する方法として、人工知能 (AI) と機械学習 (ML) ソリューションに注目しています。しかし、AI の運用の現実は、複雑でコストがかかるものです。

実際、ガートナーは、依然として組織内で開発される従来の AI と ML プロジェクトの 85% が誤った結果をもたらすと予測しています。モデルの開発に成功したとしても、一貫して長期的なビジネス価値を生み出す運用ツールではなく、実験的なものにとどまることが多いのが現実です。

これには、いくつかの理由が考えられます:

エンドツーエンドのモデル開発プロセスは、対象分野の専門家から遠く離れたサイロに存在します。
静的な一度だけ取得したデータに基づくモデルは、すぐに古くなり、不正確になります。
モデルの受け渡しは、文書化、プロセス化、構造化されることなく、チーム間で行われます。
モデルは、レガシーシステムとユーザーインターフェースに断片的に展開されます。
モデルの開発は、大部分が洞察や実験のための1回限りのプロセスであり、実際のビジネス成果に対する説明責任がありません。

Palantir Foundry は、ラボで AI がどのように動作するかではなく、現実世界のアプリケーションを求めます。信頼できるデータ基盤、組織の意思決定の説明、そして行われたすべての意思決定から学習するためのインフラストラクチャがなければ、効果的な AI 活用は不可能です。

Foundry は、これらの要求を満たす、エンドツーエンドでモジュール化された相互運用可能なプラットフォームを提供します。 Foundry と Amazon Web Services (AWS) の AI と ML ツールによる最新の統合の中心になるのは、このモジュール式で相互運用可能なアプローチです。

この投稿では、Palantir Foundry と Amazon SageMaker を使用して、AI を活用したより良い意思決定を行うためのプロセスを説明します。

Palantir Foundry について

AWS 上にデプロイされた Foundry は、Amazon Simple Storage Service (Amazon S3)、Amazon Elastic Compute Cloud (Amazon EC2)、AWS Key Management Service (AWS KMS) など、多くのサービスを内部で利用しています。

Palantir と AWS の協力は、臨床研究の加速、ワクチンのサプライチェーンの強化、電力網の安全性と信頼性の向上など、世界の主要な企業における重要な業務の推進に貢献します。

ここでは、AWS が支援して Palantir Foundry が推進した革新的な仕事の例を紹介します:

世界有数の製薬企業の一つであるサノフィは、リアルワールドエビデンス (RWE) 研究のためのプラットフォームの一部として、コアデータインフラストラクチャと分析プラットフォームを提供するために Foundry を使用し、この取り組みに対して 2020年の Gartner Healthcare and Life Sciences Eye on Innovation Award を受賞しています。
アメリカ国立衛生研究所は、公開データと内部の研究データを一つの安全なインターフェースに統合するために Foundry を使用しています。ハイスループットスクリーニング、ゲノミクス、それ以外の生物学的データがそのプラットフォームに統合され、国立がん研究所と国立先進トランスレーショナル科学センターのチームの研究を前進させています。
2050年までにネットゼロ企業になり、世界がネットゼロになるのを促進するという野望に向けて取り組む bp 社を支援するために、bp と Palantir はパートナーシップを拡大しました。Palantir で稼働する bp のデジタルツインアプリケーションは、既に大きな価値をもたらしています。現在、これらのアプリケーションを適用して、bp の新しい野望を加速し、風力発電所、充電ネットワーク、太陽光発電を最適化し、bp のネットゼロ目標の他の側面の達成をサポートしています。

Foundry の進化に伴い、チームは顧客が各プラットフォーム内のサービスをどのように活用しているかを学び続け、テクノロジースタックをさらに緊密に統合する多くの機会を見つけています。

ここ数か月間、Palantir のソフトウェア開発チームは AWS と緊密に連携して、これらの緊密な統合を市場に投入するために、アプリケーションライフサイクルのすべてのレイヤーにわたって AWS データサイエンスツールとの緊密な統合を可能にしました。特に、Amazon SageMaker と Foundry のデータと意思決定モジュールの統合に重点を置いてきました。

ソリューション概要

Foundry と AWS の最新の統合を探究し、データの準備からモデルの運用化まで、AI ライフサイクルのすべての段階で共通のデータと AI の課題を克服するために、企業がその統合をどのように利用できるかを紹介しましょう。

データの準備: Foundry のデータ接続、抽出、変換、ロード (ETL)、データ分岐機能によってデータを迅速に準備し、Amazon Athena を介して Amazon SageMaker Studio Notebooks でこのデータを活用してデータ分析やモデル開発を行うことができます。
モデルの開発: Amazon SageMaker Studio Notebooks とノーコードのモデル開発のための Amazon SageMaker Autopilot を使用することで、技術ユーザーも非技術ユーザーも同様に意味のある ML モデルを開発できます。
モデルの統合: Amazon SageMaker Endpoints、Amazon SageMaker Autopilot、AWS AI サービスから Foundry 機械学習環境にモデルを統合します。これにより、Foundry の豊富なデプロイメントインフラストラクチャ、監視、ヘルスチェック、オントロジー統合の恩恵を受けることができます。
モデルの運用化: Foundry Application Builder と Foundry Simulation Engine で Amazon SageMaker モデルを使用し、フィードバックループとモデルの再訓練の恩恵を受け、長期的な組織価値を生み出す運用アプリケーションとワークフローを強化できます。

次の図は、ソリューションのさまざまな統合のポイントを表しています。

図 1 – 統合アーキテクチャ

データの準備

新しいモデルを訓練させる前に、関連する基礎となるデータソースに接続し、使用するデータを準備する必要があります。

データの収集と準備はデータサイエンティストの時間の大部分を占め、アルゴリズムの設計、アルゴリズムのテスト、機械学習といった価値の高い活動に使用できる時間はほとんどありません。

Foundry のテクノロジーとすぐに使える双方向のデータコネクタ (Amazon S3、Amazon SQS、Amazon RDS などの AWS サービスを含む) は、モデルの構築を開始するための高品質なデータ基盤の準備に費やす時間を大幅に削減します。

Foundry のデータ統合機能は、組織がソースデータを Palantir の独自のセマンティックモデルである「オントロジー」で表した企業のデジタルツインに変換するのに役立ちます。

オントロジーは、すべての基礎となるデータを、工場、製品、顧客といったビジネスの現実世界の構成要素を反映するオブジェクトとして提示します。これにより、モデル用に精選され、検証され、接続され、再利用可能なフレームワークとして機能し、新しいモデルのための AI ライフサイクルを大幅に加速させます。

オントロジーは運用アプリケーションを実証するために使用され、これらのデータオブジェクトを実証する統合テーブルは ML モデルの訓練に使用されます。

モデルの開発

Foundry は、モデル開発に対してオープンで相互運用可能なアプローチを採用しており、お客様は Foundry のコードワークブックや任意のサードパーティアプリケーションでモデルをネイティブに実装できます。

Foundry の基本原則の一つは、データサイエンティストとビジネスユーザー (または他のデータサイエンス以外の専門家) の両方が、データとモデルを共同で利用してより良い意思決定を行えるようにすることです。

多くの場合、あまり技術に詳しくない対象分野の専門家は、データサイエンティスト向けの Foundry のエンドツーエンドの AI モデリングツール群を補完し、加速する ML ツールキット、ノーコードのモデル開発アプリケーション、すぐに使える AI サービスによって力を発揮できます。

AWS では、Amazon SageMaker Studio Notebooks で Foundry のデータを使用したいお客様は、Amazon Athena Federated Query を活用する Foundry と Amazon Athena の新しい統合によって、それを実現できます。

ネイティブの Amazon SageMaker の Athena SQL 統合により、お客様は、直接ノートブックで Foundry からキュレーションされたデータアセットをクエリして、後で変換してモデル開発に使用する効率的な方法を利用できます。Amazon Athena は、多くの AWS アプリケーションとサービスへのフェデレーション接続を提供します。

このアーキテクチャは、接続を迅速に設定でき、追加の同期や管理を必要としないため、アドホッククエリまたはインタラクティブクエリを含むデータサイエンスワークフローで使用されるデータセットに特に役立ちます。

図 2 – Amazon SageMaker から Foundry データへの接続

より自動化されたアプローチを探しているお客様のために、Amazon SageMaker Autopilot は、ML モデルを構築する手間を省き、データに基づいて最適な ML モデルを自動的に構築、訓練、チューニングするのに役立ちます。

Foundry と Autopilot の統合により、お客様は、オントロジーのデータから直接 Foundry のユーザーインターフェイスを介して Autopilot ジョブを起動できます。これにより、お客様は、コードを書くことなく、クリックするだけでモデルを訓練、評価、本番環境にデプロイできます。

モデルの統合

Amazon SageMaker Endpoints (さらに Amazon Textract、Amazon Translate、Amazon Lookout for Equipmentといった事前学習済みの AI サービス) を通じてデプロイされたモデルは、Foundry ML に接続し、ネイティブな Foundry モデルと同じ方法で Palantir オントロジーオブジェクトに結びつけられるようになりました。

お客様は、使用可能な Amazon SageMaker Endpoints を参照し、モデルを選択するだけです。これにより、その Amazon SageMaker Endpoints への接続を表す新しいモデルが Foundry に作成されます。

図 3 – Palantir Foundry のモデルオブジェクティブライブラリー

Amazon SageMaker モデルと AWS AI サービスは、Foundry のオブジェクトになり、ネイティブの Foundry モデルと同じデプロイメントインフラストラクチャ、監視、ヘルスチェックの恩恵を受けることができます。

このモデルを運用可能にする前の最終ステップは、モデルをオントロジーに統合することです。モデルの入力パラメーターと出力パラメーターは、オントロジーのデータプロパティに結びつけられているだけです。これにより、これらのプロパティの関係を介して連鎖するモデルの接続されたウェブが生成されます。

ネイティブのオントロジー統合により、Amazon SageMaker モデルは、より広範な組織のワークフロー、シミュレーション、またはエンドユーザー向けアプリケーションに共同で活用でき、その使いやすさと組織的影響を高めることができます。

図 4 – Palantir Foundry の ML ツール

モデルの運用化

ここから、Amazon SageMaker モデルを Palantir 運用アプリケーションに統合し、Foundry のエンドユーザーワークフローを動かすために使用できます。

これは、この投稿の冒頭で説明した理由により、多くの AI と ML プロジェクトが失敗する可能性があるポイントです。しかし、Foundry では、一度モデルがオントロジーに統合されれば、どのお客様もモデルの出力を利用するだけで、モデルを運用アプリケーションやワークフローに組み込むことができます。

これらのお客様は、モデルが動作する対象に精通している可能性が高いですが、モデルがどのように開発されたのかについての専門家である必要はありません。また、モデルを呼び出す方法の専門家である必要もありません。

Foundry Simulation Engine は、すべてのデータ読み込みとモデルオーケストレーションを処理します。Amazon SageMaker との統合により、二つのプラットフォーム間のデータの受け渡しとモデルの呼び出しが透過的に管理されます。

Foundry Simulation Engine の使用により、お客様は、これらのモデルに対して、仮説に基づいた入力と出力で「what-if」シミュレーションを実行し、正しい行動方針を通知できます。すべての決定、およびその決定が下されたコンテキストは、オントロジーに書き戻され、該当する場合は元のデータソースに書き戻されます。

このフィードバックループにより、モデルの再訓練が可能になり、プラットフォームは時間の経過とともに意思決定と推奨事項を継続的に改善できます。

図 5 – Palantir Foundry の Vertex Simulation Engine

結論

Palantir Foundry と Amazon SageMaker の新しい統合ポイントにより、お客様は先端的なコネクテッドエンタープライズの意思決定を強化できる AI の開発、統合、運用を行うことが可能になります。

AI を活用した意思決定アプリケーションの構築と導入の支援が必要であれば、ぜひ Palantir にお問い合わせください。

Palantir とAWS の他のプロジェクトについて知りたい方は、 Foundry ERP Suite がどのように AWS のお客様のコスト削減を実現しているかご確認ください。

.

.

Palantir – AWS パートナースポットライト

Palantir は、企業が最も価値のある資産の一つであるデータから最大の価値を迅速に引き出すことを支援します。Palantir Foundry は、ラボで AI がどのように動作するかではなく、現実世界のアプリケーションを求めます。

Palantir に問い合わせ | パートナー概要

*既に Palantir と連携されていますか？パートナーを評価してください。

*AWS パートナーを評価するには、その AWS パートナーとプロジェクトで直接関わったことのあるお客様でなければなりません。

翻訳は、Partner SA 河原が担当しました。原文はこちらです。

AWS JAPAN APN ブログ