通过比较新的 ML 模型和生产模型，在潜在的配置错误影响最终用户之前发现它们。
通过评估模型更改、容器更新和带有生产流量的新实例来提高推理性能。
减少了构建测试基础设施所需的数周时间，并加快了将模型发布到生产的速度。
工作原理
SageMaker 通过针对当前部署的模型测试其性能，帮助您运行影子测试以在生产发布之前评估新的机器学习（ML）模型。影子测试可以帮助您在潜在的配置错误和性能问题对最终用户造成影响前捕获它们。
主要功能
完全托管式测试
使用 SageMaker 影子测试，您不需要投资构建您自己的测试基础设施，从而可以专注于模型开发。只需选择想要测试的生产模型，SageMaker 就会在测试环境中自动部署新模型。然后，它将生产模型接收到的推理请求的副本实时路由到新模型，并收集诸如延迟和吞吐量之类的性能指标。
实时性能比较控制面板
SageMaker 会创建一个实时控制面板，以在并排比较中显示新模型和生产模型的延迟和错误率等性能指标。一旦您检查了测试结果并验证了模型，您就可以将其推广到生产环境中。
精细流量控制
在 SageMaker 中运行影子测试时，您可以配置发送到测试模型的推理请求的百分比。这种对输入流量的控制允许您从小处开始，只有在您对模型性能有信心后才能增加测试。
客户
“借助 Amazon SageMaker 的新测试功能，我们能够在生产中更严格、更主动地测试 ML 模型，并避免对客户造成不利影响或由于部署模型中的错误而导致任何潜在中断。这一点至关重要，因为我们的客户依赖我们根据每分钟都在变化的实时位置数据提供及时的见解。”
Giovanni Lanfranchi，HERE Technologies 首席产品和技术官