SageMaker JumpStart propose désormais des déploiements optimisés pour les modèles de fondation
SageMaker JumpStart propose désormais des déploiements optimisés, ce qui permet aux clients de déployer des modèles de base avec des paramètres préconfigurés adaptés à des cas d'utilisation et à des contraintes de performance spécifiques. Les déploiements optimisés de SageMaker JumpStart simplifient le déploiement des modèles en proposant des configurations adaptées aux tâches qui optimisent les coûts, le débit ou la latence en fonction de vos exigences en matière de charge de travail, qu'il s'agisse de génération de contenu, de synthèse ou de questions-réponses. Ce lancement inclut la prise en charge de plus de 30 modèles populaires de Meta, Microsoft, Mistral AI, Qwen, Google et TII, avec une visibilité sur les indicateurs de performance clés tels que la latence P50, le délai de mise en service du premier jeton (TTFT) et le débit avant le déploiement.
Grâce aux déploiements optimisés de SageMaker JumpStart, les clients peuvent choisir parmi des configurations spécifiques à chaque cas d'utilisation (telles que l'écriture générative ou les interactions de type chat) et choisir des objectifs d'optimisation, notamment des performances optimisées en termes de coûts, de débit, de latence ou d'équilibre des performances. Les modèles sont déployés sur des terminaux d'inférence gérés par SageMaker AI ou des clusters SageMaker HyperPod avec des configurations prédéfinies qui éliminent les conjectures tout en conservant une visibilité complète sur les détails du déploiement. Les modèles disponibles incluent les variantes Meta Llama 3.1 et 3.2, Microsoft Phi-3, les modèles Mistral AI, y compris les nouvelles séries Mistral-Small-24B-Instruct-2501, Qwen 2 et 3, y compris les séries multimodales Qwen2-VL, Google Gemma et TII Falcon3. Tous les déploiements tirent parti des capacités de déploiement VPC de SageMaker, garantissant le contrôle des données et une infrastructure prête pour la production avec une sécurité de niveau professionnel. Cette fonctionnalité est disponible dans toutes les Régions AWS où SageMaker JumpStart est actuellement pris en charge.
Pour commencer à optimiser les déploiements, accédez à Modèles dans SageMaker Studio, sélectionnez le modèle de fondation de votre choix dans l'onglet Modèles JumpStart, choisissez « Déployer », puis sélectionnez votre cas d'utilisation et votre objectif d'optimisation des performances. Pour en savoir plus, consultez la documentation relative à SageMaker JumpStart. AWS étend activement le support pour inclure des modèles supplémentaires.