Amazon SageMaker HyperPod prend désormais en charge la capture de données pour les charges de travail d’inférence
Amazon SageMaker HyperPod prend désormais en charge la capture de données pour les charges de travail d’inférence, une nouvelle fonctionnalité qui enregistre les charges utiles de demandes et de réponses d’inférence depuis les points de terminaison de production vers Amazon S3. Les clients déployant des modèles d’IA générative sur HyperPod ont besoin de visibilité sur les entrées et les sorties des modèles pour détecter les dérives, résoudre les problèmes de production, créer des jeux de données d’évaluation et améliorer continuellement leurs modèles déployés, mais devaient auparavant créer des pipelines de journalisation personnalisés en dehors du service pour obtenir cette visibilité.
Grâce à la capture de données, les clients peuvent entraîner des modèles de décodage spéculatif à partir de leur trafic de production réel pour obtenir de meilleures performances que les modèles brouillons génériques, créer des pipelines d’évaluation à partir des données de production, alimenter les tâches de réglage avec des entrées réelles et gérer des pistes d’audit pour la conformité. Les clients choisissent l’endroit où ils souhaitent capturer le trafic d’inférence sur chaque terminal, au niveau du point de terminaison SageMaker, de l’équilibreur de charge ou du module modèle. Les données capturées sont transmises de manière asynchrone à leur compartiment Amazon S3 sans inférence bloquante, et prennent en charge l’échantillonnage configurable et le chiffrement AWS KMS géré par le client. Vous pouvez activer la capture de données lors du déploiement de modèles via l’opérateur d’inférence HyperPod et utiliser les données capturées avec Amazon SageMaker Model Monitor et vos flux de travail existants d’évaluation, de réglage fin et d’entraînement de modèles provisoires.
Cette fonctionnalité est disponible pour les clusters SageMaker HyperPod utilisant l’orchestrateur EKS dans toutes les Régions AWS où Amazon SageMaker HyperPod est pris en charge. Pour en savoir plus, consultez la section Capture de données à des fins d’inférence sur HyperPod.