Shadow testing d'Amazon SageMaker
Valider les performances des nouveaux modèles de ML par rapport aux modèles de production afin d'éviter des pannes coûteuses
Détectez les erreurs de configuration potentielles avant qu'elles n'affectent les utilisateurs finaux en comparant les nouveaux modèles de ML aux modèles de production.
Améliorer les performances d'inférence en évaluant les changements de modèle, les mises à jour de conteneurs et les nouvelles instances avec le trafic de production.
Réduisez le nombre de semaines nécessaires à la mise en place d'une infrastructure de test et mettez plus rapidement les modèles en production.
Fonctionnement
SageMaker vous aide à exécuter des shadow tests pour évaluer un nouveau modèle de machine learning (ML) avant la mise en production en testant ses performances par rapport au modèle actuellement déployé. Le shadow testing peut vous aider à repérer les erreurs de configuration et les problèmes de performances potentiels avant que ceux-ci n'affectent les utilisateurs finaux.
Fonctionnalités principales
Tests entièrement gérés
Avec le shadow testing de SageMaker, vous n'avez pas besoin d'investir dans la mise en place de votre propre infrastructure de tests, ce qui vous permet de vous concentrer sur le développement de modèles. Il vous suffit de sélectionner le modèle de production que vous souhaitez tester pour que SageMaker déploie automatiquement le nouveau modèle dans un environnement de test. Il achemine ensuite une copie des demandes d'inférence reçues par le modèle de production vers le nouveau modèle en temps réel et collecte des métriques telles que la latence et le débit.
Tableaux de bord de comparaison des performances en direct
SageMaker crée un tableau de bord en direct qui présente des métriques de performance telles que la latence et le taux d'erreur du nouveau modèle et du modèle de production dans une comparaison côte à côte. Une fois que vous avez examiné les résultats des tests et validé le modèle, vous pouvez le faire passer en production.
Contrôle détaillé du trafic
Lorsque vous exécutez des shadow tests dans SageMaker, vous pouvez configurer le pourcentage de requêtes d'inférence envoyées aux modèles de test. Ce contrôle sur le trafic d'entrée vous permet de commencer petit et d'augmenter les tests seulement après avoir acquis la confiance dans la performance du modèle.
Clients
« Les nouvelles fonctionnalités de test d'Amazon SageMaker nous ont permis de tester de manière plus rigoureuse et proactive les modèles ML en production et d'éviter tout impact négatif sur les clients et toute panne potentielle en raison d'une erreur dans les modèles déployés. C'est essentiel, car nos clients comptent sur nous pour leur fournir des informations opportunes basées sur des données de localisation en temps réel qui changent toutes les minutes. »
Giovanni Lanfranchi, directeur des nouvelles technologies, HERE Technologies