Anyscale と AWS による AI/ML スケーリングと AI 開発の加速

クラウドに分散されたスケーラブルな人工知能 (AI) アプリケーションの構築は、複雑なリソース管理を必要とするチーム間の取り組みであり、コードの変更、リファクタリング、インフラストラクチャのセットアップ、複雑なデベロッパーオペレーション(DevOps) など、生産上のさまざまな懸念事項が伴います。これらは開発プロセスを混乱させ、市場投入までの時間を遅らせ、デベロッパーが製品イノベーションに集中できなくなる可能性があります。

Amazon Web Services (AWS) のスタートアップ企業向け AI および機械学習 (ML) のグローバルヘッドである Rob Ferguson 氏は次のように説明しています。「開発から本番までの経路が確立されていないため、AI 開発プロジェクトの失敗率は 50% 近くと推定されています。

そこで、Anyscale、Ray (機械学習または Python のワークロードをスケーリングするための最初の統合分散型コンピューティングフレームワーク)、および Anyscale Platform (Ray の開発者が提供するフルマネージド Ray プラットフォーム) が、AI チームが開発と実験をスピードアップし、アプリケーションを簡単にスケーリングして AI プロジェクトを成功させるのを支援します。

Ray はカリフォルニア大学バークレー校の RISELab で考案され、2017 年にオープンソース化されました。現在、Ray は AI や Python アプリケーションを大規模に開発するために、世界中の組織で広く採用されています。

Anyscale プラットフォームでスケーラビリティとデベロッパーのエルゴノミクスを向上

あらゆる組織の AI 開発とスケーリングを進めるため、Anyscale Platform は Ray の機能を拡張し、デベロッパーや部門横断的なチームが実験を加速し、大規模な ML アプリケーションの開発をスピードアップできるようにしています。Anyscale Platform と Ray は、データインジェストと前処理、機械学習トレーニング、ハイパーパラメータチューニング、モデル配信などのためのスケーラブルなコンピューティングを提供すると同時に、ML エコシステムの他の部分とシームレスに統合できるため、デベロッパーの処理速度が向上します。

Anyscale プラットフォームは Ray の機能を大幅に拡張します。Anyscale Workspaces は、コードを変更することなく ML ワークロードをラップトップからクラウドにスケーリングできる、統一されたシームレスな開発エクスペリエンスをデベロッパーに提供します。デベロッパーは、使い慣れたツールを活用しながら、単一の環境を活用してワークロードを構築、テスト、本番環境にデプロイできるようになりました。Anyscale Platform は、クラスターのセットアップ時間を Ray の 5 倍に短縮することで、反復処理速度を向上させます。さらに、Anyscale Platform はすぐに使用できるオブザーバビリティ、モニタリング、ジョブスケジューリング機能を備えています。

「Anyscale プラットフォームの機能は Ray の機能をはるかに超えており、AI/ML と Python のワークロードの開発、実験、スケーリングをさらに簡単にします」と、Anyscale の共同創業者兼 Executive Chairman の Lon Stoica は語っています。「何千もの組織が機械学習や Python アプリケーションのスケーリングに Ray を利用しており、Anyscale Platform を活用してこれらのアプリケーションをこれまで以上に迅速に構築、テスト、本番環境へのデプロイを行う組織が増えています」

AI デベロッパーから機械学習のプラクティショナー、データサイエンティスト、エンジニアに至るまで、すべての貢献者は、モデル開発、チューニング、トレーニングから推論やスケーラブルなモデル配信まで、Anyscale Platform が提供する使いやすさ、スケーラビリティ、デベロッパーエルゴノミクスの恩恵を受けることができます。

Anyscale の使命は、AI/ML と Python のワークロード、および AI アプリケーションの構築とスケーリングを容易にすることです。同社のチームは、データサイエンティストや ML エンジニアが、プロダクション ML システムの構築に適したプロジェクト構造を簡単に扱えるようにすることで、AI を大衆化しています。Anyscale が Ray に提供しているような、スケーラブルで統一されたオープンな分散コンピューティングは、AI の大衆化と工業化につながります。

Anyscale のオープンソースと共有技術の自由への取り組みは明確です。Anyscale チームは、運用の管理、貢献の検討、コミュニティの成長と発展を通じて、Ray オープンソースコミュニティをリードしています。さらに、彼らは最近 Ray 2.1 をリリースした (OSS) への最大の貢献者でもあります。

成熟し、信頼性が高く、スケーラブルが容易な ML モデルの構築

2025 年までに新規アプリケーションの 90% がクラウドネイティブになると予想される中、Anyscale は次世代のアプリケーションを開発するためのデフォルトの基盤としてクラウドを構想しています。次世代のクラウドインフラストラクチャーには、アプリケーションの開発と管理を容易にする最適化されたフレームワークが求められています。

Anyscale は、AWS の成熟した製品群をプラットフォームを迅速に開発するためのコンポーネントとして活用しています。Anyscale と Ray は AWS でフル機能を利用でき、パフォーマンスとスケーリングが非常に効率的です。AWS の規模は Anyscale と Ray にとって計り知れないアセットであるだけでなく、同社の最大規模のお客様の中には AWS を長年使用してきた企業もあり、そのためにお客様とのやり取りが容易になっています。

「機械学習プロジェクトの 90% は推論です。機械学習チームが次世代の ML を大規模に提供するには、分散コンピューティングと連携する新しい方法が必要です」と Rob 氏は説明します。「機械学習の黄金時代が到来しています。AWS と Anyscale は、企業が本来あるべき方法、つまり成熟していて、信頼性が高く、簡単でスケーラブルな ML モデルを構築できるよう支援しています」。

Amazon.com と AWS は Ray コミュニティと協力し、Ray を次のような多くの AWS サービスと統合してきました。

• AWS Identity and Access Management (iam) で きめ細かなアクセス制御
• AWS Certificate Manager (ACM) で SSL/TLS 転送中の暗号化
• AWS Key Management Service (AWS KMS) で保管時の暗号化
• Amazon Simple Storage Service (Amazon S3) でオブジェクトストレージ
• Amazon Elastic File System (Amazon EFS) で保管時の暗号化
• Amazon CloudWatch でオブザーバビリティの向上

AWS Well-Architected 機械学習ライフサイクルに適合するソリューション (デプロイ段階の Anyscale Platform など) は、企業がリソースのプロビジョニングや管理よりも製品開発により多くの時間を費やすのに役立ちます。

AWS Well-Architected フレームワークは、クラウドでワークロードを設計および運用するための運用上およびアーキテクチャ上のベストプラクティスを提供するもので、優れた運用、セキュリティ、信頼性、パフォーマンス効率、コスト最適化、持続可能性に関する柱が含まれています。Anyscale プラットフォームを使用すると、デベロッパーはパフォーマンス効率を高めることができます。

「Anyscale は一般的な Python ML コードを簡略化し、わずか 2 行のコードでフレームワーク内に収まるようにします」と Rob 氏は説明します。「AWS は Anyscale にとって、業界をリードする実稼働システム向けツールと、最も幅広く奥深いコンピューティングオプションを備えた Anyscale にとって素晴らしいホームです」