Publié le: Nov 10, 2021
L'inférence Amazon SageMaker prend désormais en charge de nouvelles options de déploiement de modèles pour mettre à jour vos modèles de machine learning en production. Grâce aux nouvelles barrières de protection pour le déploiement, vous pouvez facilement passer du modèle actuel en production à un nouveau modèle de manière contrôlée. Ce lancement présente les modes de déplacement du trafic canary et linéaire afin que vous puissiez avoir un contrôle détaillé sur le déplacement du trafic de votre modèle actuel vers le nouveau au cours de la mise à jour. Avec des protections intégrées telles que les restaurations automatiques, vous pouvez détecter les problèmes à un stade précoce et prendre automatiquement des mesures correctives avant qu'ils n'aient un impact significatif sur la production.
Amazon SageMaker est un service entièrement géré qui aide les développeurs et les scientifiques des données à préparer, créer, entraîner et déployer rapidement des modèles de machine learning de haute qualité en rassemblant un large ensemble de fonctionnalités spécialement conçues pour le ML. Lorsque vous déployez vos modèles de ML entraînés sur Amazon SageMaker, ce dernier s'occupe de l'approvisionnement, des correctifs et de la mise à jour des points de terminaison afin que vous puissiez vous concentrer sur l'alimentation de vos applications avec le ML. Lorsque vous devez mettre à jour votre point de terminaison avec une version plus récente de votre modèle de ML ou de votre conteneur de service, SageMaker fait apparaître une nouvelle flotte (flotte verte) contenant les mises à jour et déplace le trafic de la flotte existante (flotte bleue) en une seule fois, ce que l'on appelle un déploiement bleu/vert. Cela permet de s'assurer que le point de terminaison est capable de répondre aux demandes même lorsque la mise à jour est en cours, ce qui maximise la disponibilité.
Avec ce lancement, Amazon SageMaker ajoute les modes de déplacement du trafic canary et linéaire aux déploiements bleu/vert. Ces modes vous offrent un contrôle plus précis du déplacement du trafic entre les flottes afin de vous mettre en confiance avant d'augmenter le trafic. En outre, vous pouvez prédéfinir des alarmes CloudWatch sur des métriques telles que la latence ou les taux d'erreur et restaurer automatiquement le déploiement sur la flotte bleue si l'une de ces alarmes est déclenchée. Le mode canary vous permet de déplacer un petit pourcentage du trafic vers la flotte verte (appelée flotte canary), d'observer le comportement de la flotte canary pendant une période de temps (appelée période de cuisson) et de déplacer le reste du trafic uniquement lorsqu'aucune alarme n'est déclenchée pendant la période de cuisson. Le mode linéaire vous permet de déplacer le trafic vers la flotte verte par incréments fixes configurables (par exemple, 10 %), et d'observer le comportement pendant une période de cuisson avant de déplacer l'incrément suivant. Avec tous les déploiements bleu/vert, vous pouvez observer les flottes après que tout le trafic a été déplacé (connu comme la période de cuisson finale) avant de résilier la flotte bleue. Ces modes de déplacement du trafic vous aident à équilibrer le compromis entre la gestion du risque d'introduction de nouveaux modèles dans la production et le contrôle de la durée de la mise à jour, de sorte que vous pouvez choisir l'option qui convient à votre cas d'utilisation. Le déplacement du trafic en une seule fois minimise la durée de la mise à jour et le mode linéaire minimise le risque d'introduire un nouveau modèle dans la production en déplaçant le trafic en plusieurs étapes. Le mode canary déplace l'ensemble du trafic en deux étapes, offrant ainsi un équilibre entre le risque et la durée de la mise à jour.
Pour des informations détaillées sur ces nouvelles fonctionnalités, veuillez lire notre documentation, qui contient également des exemples de blocs-notes pour vous aider à démarrer. Ces nouvelles fonctionnalités de déploiement par étapes sont disponibles pour tous les points de terminaison nouvellement créés dans toutes les régions commerciales où Amazon SageMaker est disponible. Pour obtenir une liste des fonctions qui ne sont pas prises en charge, veuillez vous reporter à la section des exclusions de notre documentation.