Amazon SageMaker HyperPod が Ray のサポートを強化
Amazon SageMaker HyperPod では Ray のサポートを強化し、組み込みのオブザーバビリティ、レジリエントなトレーニング、高速な推論、マネージド型の開発環境を利用できるようになりました。Ray は、統合されたコンピューティングレイヤー上で AI ワークロードをスケールするための、広く使われているオープンソースフレームワークです。データ処理や分散トレーニングから、強化学習やモデルサービングまでを対象としています。ただし、Ray を Kubernetes 上で本番環境の規模で運用するには、ジョブのハング、チームへの静的な割り当てに起因する GPU 使用率の低さ、複数の手順を要するオブザーバビリティの設定といった運用負荷が伴います。また、インタラクティブな開発環境がないため、コードを変更するたびにジョブを送信し直す必要があり、kubectl の知識も求められます。
HyperPod により、Ray でも開発の容易化、レジリエントなトレーニング、高速な推論が可能になります。データサイエンティストは、Amazon SageMaker Studio のウェブベースのインターフェイスから Ray クラスターを作成、編集、モニタリング、削除できます。さらに、実行中の Ray クラスターに JupyterLab、Code Editor、ローカルの IDE を接続し、クラスター規模のコンピューティングリソースに対してインタラクティブに反復作業を進められます。マルチノードの Ray クラスターがローカル開発環境のように動作するため、新しいジョブがキューに入って開始されるのを待つことなく、変更を即座にテストできます。オブザーバビリティについては、HyperPod が Grafana ダッシュボードをプロビジョニングし、メトリクスは Amazon Managed Service for Prometheus に保存されます。また、セキュアなブラウザリンクから Ray Dashboard にワンクリックでアクセスできます。これにより、初回の実行時からワークロードの状況をすぐに把握できます。大規模なトレーニングでは、HyperPod のノード自動復旧とハングジョブ検出が、GPU の障害、ジョブのハング、損失値のスパイク、スループットの低下に対処します。階層型チェックポイントはクラスターメモリから状態を復元して goodput を最大化し、タスクガバナンスはクォータ、優先度、プリエンプションによりコンピューティングリソースの使用率を高めます。これらが組み合わさることで、長時間のトレーニング実行を障害があっても進行させ、GPU 時間あたりの有効な処理量を最大化します。Ray Serve を使用した推論では、階層型 KV キャッシュにより、キャッシュ済みのプレフィックスが再利用され、最初のトークンまでの時間が短縮されます。また、Amazon SageMaker JumpStart のモデルを直接デプロイできます。
オープンソースの Ray コードは変更せずに実行できます。SageMaker Studio の専用に構築された環境を採用することも、個々の機能だけを取り出して自社の機械学習プラットフォームに統合することも可能です。
Ray のサポートは、SageMaker HyperPod がサポートされている AWS リージョンにおいて、Amazon EKS でオーケストレーションされた HyperPod クラスターで利用できます。詳細については、SageMaker HyperPod のドキュメントを参照し、インタラクティブなデモをお試しください。