Anyscale と AWS による AI/ML スケーリングと AI 開発の加速

クラウドに分散されたスケーラブルな人工知能 (AI) アプリケーションの構築は、複雑なリソース管理を必要とするチーム間の取り組みであり、コードの変更、リファクタリング、インフラストラクチャのセットアップ、複雑なデベロッパーオペレーション(DevOps) など、生産上のさまざまな懸念事項が伴います。これらは開発プロセスを混乱させ、市場投入までの時間を遅らせ、デベロッパーが製品のイノベーションに集中できなくなる可能性があります。

Amazon Web Services (AWS) の Global Head for AI and Machine Learning (ML) for Startups である Rob Ferguson は次のように説明しています。「開発から本番までの経路が確立されていないため、AI 開発プロジェクトの失敗率は 50% 近くと推定されています」

そこで、Anyscale、Ray (ML または Python のワークロードをスケールするための最初の統合分散型コンピューティングフレームワーク)、Anyscale Platform (Ray のデベロッパーが提供するフルマネージド Ray プラットフォーム) は、AI チームが開発と実験を加速し、アプリケーションを簡単にスケールして AI プロジェクトの成功を実現できるよう支援しています。

Ray はカリフォルニア大学バークレー校の RISELab で考案され、2017 年にオープンソース化されました。現在、Ray は AI や Python アプリケーションを大規模に開発するために、世界中の組織で広く採用されています。

Anyscale プラットフォームでスケーラビリティとデベロッパーのエルゴノミクスを向上

あらゆる組織の AI 開発とスケーリングを進めるため、Anyscale Platform は Ray の機能を拡張し、デベロッパーや部門横断的なチームが実験を加速して、大規模な ML アプリケーションの開発をスピードアップできるようにしています。Anyscale Platform と Ray は、データインジェストと前処理、ML トレーニング、ハイパーパラメータチューニング、モデル配信などのためのスケーラブルなコンピューティングを提供すると同時に、ML エコシステムの他の部分とシームレスに統合できるため、デベロッパーの処理速度が向上します。

Anyscale プラットフォームは Ray の機能を大幅に拡張します。Anyscale Workspaces は、コードを変更することなく ML ワークロードをラップトップからクラウドにスケールできる、統一されたシームレスな開発エクスペリエンスをデベロッパーに提供します。デベロッパーは、使い慣れたツールを活用しながら、単一の環境を活用してワークロードを構築、テスト、本番環境にデプロイできるようになりました。Anyscale Platform は、クラスターのセットアップ時間を Ray の 5 倍に短縮することで、反復処理速度を向上させます。さらに、Anyscale Platform はすぐに使用できるオブザーバビリティ、モニタリング、ジョブスケジューリング機能を備えています。

「Anyscale プラットフォームの機能は Ray の機能をはるかに超えており、AI/ML と Python のワークロードの開発、実験、スケーリングをさらに簡単にします」と、Anyscale の Co-Founder 兼 Executive Chairman の Lon Stoica 氏は語っています。「何千もの組織が ML や Python アプリケーションのスケーリングに Ray を利用しています。また、Anyscale Platform を活用してこれまで以上に迅速にこれらのアプリケーションを構築、テストし、本番環境へのデプロイを行う組織が増えています」

AI デベロッパーから ML プラクティショナー、データサイエンティスト、エンジニアに至るまで、すべての貢献者は、モデル開発、チューニング、トレーニングから推論やスケーラブルなモデル配信といった AI ジャーニー全体で、Anyscale Platform が提供する使いやすさ、スケーラビリティ、デベロッパーエルゴノミクスの恩恵を受けることができます。

Anyscale の使命は、AI/ML と Python のワークロード、および AI アプリケーションの構築とスケーリングを容易にすることです。同社のチームは、データサイエンティストや ML エンジニアが、プロダクション ML システムの構築に適したプロジェクト構造を簡単に扱えるようにすることで、AI を大衆化しています。Anyscale が Ray に提供しているような、スケーラブルで統一されたオープンな分散コンピューティングは、AI の大衆化と工業化につながります。

Anyscale のオープンソースと共有技術の自由への取り組みは明確です。Anyscale チームは、運用の管理、貢献の検討、コミュニティの成長と発展を通じて、Ray オープンソースコミュニティをリードしています。さらに、彼らは最近 Ray 2.1 をリリースした (OSS) への最大の貢献者でもあります。

成熟し、信頼性が高く、スケーラブルが容易な ML モデルの構築

2025 年までに新規アプリケーションの 90% がクラウドネイティブになると予想される中、Anyscale は次世代のアプリケーションを開発するためのデフォルトの基盤としてクラウドを構想しています。次世代のクラウドインフラストラクチャには、アプリケーションの開発と管理を容易にする最適化されたフレームワークが求められています。

Anyscale は、AWS の成熟した製品群を、プラットフォームを迅速に開発するためのコンポーネントとして活用しています。Anyscale と Ray は AWS でフル機能を利用でき、パフォーマンスとスケーリングが非常に効率的です。AWS の規模は Anyscale と Ray にとって計り知れないアセットであるだけでなく、同社の有数の規模のお客様の中には AWS を長年使用してきた企業もあるため、お客様とのやり取りが容易になりました。

「ML プロジェクトの 90% は推論です。機械学習チームが次世代の ML を大規模に提供するには、分散コンピューティングと連携する新しい方法が必要です」と Rob は説明します。「機械学習の黄金時代が到来しています。AWS と Anyscale は、企業が本来あるべき姿、つまり成熟していて、信頼性が高く、簡単でスケーラブルな ML モデルを構築できるよう支援しています」

Amazon.com と AWS は Ray コミュニティと協力し、Ray を次のような多くの AWS サービスと統合してきました。

• AWS Identity and Access Management (IAM) でのきめ細かなアクセス制御
• AWS Certificate Manager (ACM) での SSL/TLS 転送中の暗号化
• AWS Key Management Service (AWS KMS) での保管時の暗号化
• Amazon Simple Storage Service (Amazon S3) でのオブジェクトストレージ
• Amazon Elastic File System (Amazon EFS) での保管時の暗号化
• Amazon CloudWatch でのオブザーバビリティの向上

AWS Well-Architected 機械学習ライフサイクルに適合するソリューション (デプロイ段階の Anyscale Platform など) は、リソースのプロビジョニングや管理よりも製品開発により多くの時間を費やせるよう企業を支援します。

AWS Well-Architected フレームワークは、クラウドでワークロードを設計および運用するための運用上およびアーキテクチャ上のベストプラクティスを提供するもので、優れた運用、セキュリティ、信頼性、パフォーマンス効率、コスト最適化、持続可能性に関する柱が含まれています。Anyscale プラットフォームを使用すると、デベロッパーはパフォーマンス効率を高めることができます。

「Anyscale は一般的な Python ML コードを簡略化し、わずか 2 行のコードでフレームワーク内に収まるようにします」と Rob 氏は説明します。「AWS は Anyscale にとって、業界をリードする実稼働システム向けツールと、最も幅広く奥深いコンピューティングオプションを備えた Anyscale にとって素晴らしいホームです」