Llama 3.3 70B が Amazon SageMaker JumpStart を介して AWS で利用可能に
AWS のお客様は Amazon SageMaker JumpStart を通じて Meta から Llama 3.3 70B モデルにアクセスできるようになりました。Llama 3.3 70B モデルは、高パフォーマンスと計算効率を両立しています。大規模な Llama バージョンに匹敵するアウトプット品質を提供する一方で、必要とするリソースは大幅に少なくて済むため、費用対効果の高い AI のデプロイに最適な選択肢となります。
Llama 3.3 70B は、推論コストを大幅に削減する強化されたアテンションメカニズムを特徴としています。このモデルは、ウェブをソースとするコンテンツや合成例を含む約 15 兆個のトークンでトレーニングされ、広範囲にわたる教師あり微調整と、人間のフィードバックによる強化学習 (RLHF) が行われました。このアプローチでは、高いパフォーマンス基準を維持しながら、アウトプットをより人間の好みに合わせることができます。Meta によると、この効率性の向上により、推論操作の費用対効果は約 5 倍になり、本番環境へのデプロイにとって魅力的なオプションとなっています。
お客様は Llama 3.3 70B を SageMaker JumpStart ユーザーインターフェースからデプロイすることも、SageMaker Python SDK を使用してプログラムでデプロイすることもできます。SageMaker AI の高度な推論機能は、デプロイのパフォーマンスとコスト効率の両方を最適化するのに役立ちます。これにより、合理化されたデプロイプロセスの恩恵を受けながら、Llama 3.3 70B 固有の効率性を最大限に活用できます。
Llama 3.3 70B モデルは、Amazon SageMaker AI が利用可能なすべての AWS リージョンでご利用いただけます。Amazon SageMaker JumpStart に Llama 3.3 70B をデプロイする方法の詳細については、ドキュメントを参照するか、ブログをお読みください。