一般性问题

问:什么是 Amazon SageMaker?

Amazon SageMaker 是一项完全托管的服务,可通过完全托管的基础设施、工具和工作流程为任何用例构建、训练和部署机器学习 (ML) 模型。

问:Amazon SageMaker 在哪些区域提供?

有关支持 Amazon SageMaker 的 AWS 区域的列表,请访问 AWS 区域列表了解所有 AWS 全球基础设施。有关更多信息,另请参阅 AWS 一般参考中的区域和终端节点

问:Amazon SageMaker 的服务可用性水平如何?

Amazon SageMaker 旨在提供高可用性。没有维护时段或计划停机时间。SageMaker API 在 Amazon 稳定可靠且具有高可用性的数据中心中运行,相关的服务堆栈会在每个 AWS 区域中的三处数据中心进行复制配置,以实现容错,防止服务器故障或可用区中断等事故导致的损失。

问:Amazon SageMaker 如何保护我的代码安全?

Amazon SageMaker 将代码存储在 ML 存储卷上,通过安全组保证安全,并可以选择在静态时加密。

问:Amazon SageMaker 有哪些安全防护保障?

Amazon SageMaker 可以确保机器学习模型项目和其他系统项目在传输中和静态下全部经过加密。对 SageMaker API 和控制台发出的请求全部通过安全 (SSL) 连接进行。您可以为 SageMaker 传递 AWS Identity and Access Management 角色,为其提供资源访问权限以便进行训练和部署。您可以将加密的 Amazon S3 存储桶用于模型项目和数据,并为 SageMaker 笔记本、训练任务和终端节点传递 AWS Key Management Service (KMS) 密钥来加密挂载的 ML 存储卷。Amazon SageMaker 还支持 Amazon Virtual Private Cloud (VPC) 和 AWS PrivateLink 支持。

问:Amazon SageMaker 是否会使用或共享模型、训练数据或算法?

Amazon SageMaker 不使用或共享模型、训练数据或算法。我们知道,客户十分注重隐私和数据安全。因此,AWS 通过简单而强大的工具让您拥有和控制自己的内容,这些工具可以让您确定内容的存储位置、保护动态和静态内容,并为用户管理对 AWS 服务和资源的访问权限。我们还采取了可靠而完善的技术和物理控制措施,防止您的内容被非法访问或披露。作为客户,您对自己的内容拥有所有权,并且您可以选择使用哪项 AWS 服务来处理、存储和托管您的内容。未经您同意,我们不会出于任何目的而访问您的内容。

问:Amazon SageMaker 是如何收费的?

您需要为用于托管笔记本、训练模型、执行预测和记录输出日志的 ML 计算、存储和数据处理资源付费。借助 Amazon SageMaker,您可以选择用于托管笔记本、训练和模型托管的实例的数量和类型。您只需按您的实际用量付费;既没有最低费用,也无需预付费。请参阅 Amazon SageMaker 定价页面和 Amazon SageMaker 定价计算器了解详细信息。

问:我如何优化我的 Amazon SageMaker 成本,如检测和停止闲置资源以避免不必要的费用?

您可以采用一些最佳实践来优化您的 Amazon SageMaker 资源利用率。一些方法涉及配置优化;另一些涉及编程解决方案。关于这个概念的完整指南,包括可视化教程和代码示例,可参见此博客文章

问:如果我有自己的笔记本以及训练或托管环境,会怎么样?

Amazon SageMaker 提供完整的端到端工作流,但是您能够继续将现有工具与 SageMaker 结合使用。您可以根据业务需求将每个阶段的结果轻松传入和传出 SageMaker。

问:Amazon SageMaker 是否支持 R?

是,Amazon SageMaker 支持 R。您可以在 SageMaker 笔记本实例中使用 R,该实例包括预装的 R 内核和 reticulate 库。Reticulate 为 Amazon SageMaker Python SDK 提供了 R 接口,使机器学习从业人员能够构建、训练、调整和部署 R 模型。 

问:如何检查模型中的不平衡?

Amazon SageMaker Clarify 通过检测整个 ML 工作流中的统计偏差来帮助提高模型的透明度。SageMaker Clarify 在数据准备期间、训练之后以及随时间推移检查是否存在不平衡,同时包括有助于解释 ML 模型及其预测的工具。可通过可解释性报告共享发现。

问:Amazon SageMaker Clarify 可检测出哪种偏差?

在 ML 模型中测量偏差是缓解偏差的第一步。偏差可以在训练之前和训练之后进行测量,也可以用于推理出已部署的模型。每种偏差的度量都对应于不同的公平概念。即使考虑简单的公平概念,也会导致适用于各种情况的许多不同措施。您需要选择对正在调查的应用程序和情况有效的偏差概念和度量。目前,SageMaker 支持针对训练数据(作为 SageMaker 数据准备的一部分)、训练后的模型(作为 SageMaker Experiments 的一部分)和已部署模型的推理(作为 SageMaker Model Monitor 的一部分)计算不同偏差度量。例如,在训练之前,我们提供一些指标来检查训练数据是否具有代表性(即,一组的代表性是否不足)以及各组之间标签分配的差异。在训练之后或部署期间,指标可有助于衡量模型性能在各个组之间是否有所不同(以及相差多少)。例如,从比较错误率(模型的预测不同于真实标签的可能性)开始,或进一步细分为精度(肯定的预测正确的可能性)和召回率(模型正确标签正面示例的可能性)。

问:Amazon SageMaker Clarify 如何提高模型的可解释性?

Amazon SageMaker Clarify 与 SageMaker Experiments 集成提供功能重要性图表,以详细说明模型训练之后,每个输入对于模型总体决策过程的重要性。这些详细信息有助于确定特定模型输入对整体模型行为的影响是否比应有影响更大。SageMaker Clarify 还可对通过 API 可获得的单个预测做出解释。
 

问:什么是 Amazon SageMaker Studio?

Amazon SageMaker Studio 提供了一个基于 Web 的可视化界面,您可以通过该界面执行所有机器学习(ML)开发步骤。借助 SageMaker Studio,您可以全面掌控构建、训练和部署模型的每个步骤。您可以快速上传数据、创建新笔记本、训练和调优模型,在步骤之间来回移动以调整实验、对比结果以及将模型部署到生产环境中,而且上述所有工作都在一个地方完成,大大提升了工作效率。您可以在统一的 SageMaker Studio 可视化界面中执行所有 ML 开发活动,包括笔记本、实验管理、自动创建模型、调试和分析以及模型偏差检测。

问:什么是 RStudio on SageMaker?

Amazon SageMaker Studio 提供了基于 Web 的可视界面以轻松地使用 Python 语言构建模型。您还可以借助 R 语言,在 RStudio on SageMaker(云端的第一款完全托管式 RStudio Workbench)中使用弹性计算资源分析和直观显示用于机器学习(ML)的数据。

问:Amazon SageMaker Studio 如何定价?

使用 Amazon SageMaker Studio 不收取额外费用。您只需为在 Amazon SageMaker Studio 中使用的服务支付基础计算和存储费用。

问:哪些区域支持 Amazon SageMaker Studio?

您可以在此处的文档中找到支持 Amazon SageMaker Studio 的区域。

低代码 ML

问:什么是 Amazon SageMaker Autopilot?

Amazon SageMaker Autopilot 是业内首个自动化机器学习功能,可让您完全掌控 ML 模型。只需单击几下,SageMaker Autopilot 即可自动检查原始数据、应用功能处理器、选择最佳算法集、训练和调优多个模型、跟踪模型性能以及根据性能对模型进行排名。如此一来,您无需像通常情况下训练模型那样耗费时间,只需很少的时间即可部署性能最佳的模型。您可以全面了解模型的创建方式以及模型内容,此外,SageMaker Autopilot 已与 Amazon SageMaker Studio 集成。您可以深入了解 SageMaker Autopilot 在 SageMaker Studio 中生成的 50 余种不同模型,轻松为您的使用案例选择最佳模型。SageMaker Autopilot 适用于各类人群,不具备机器学习经验的人员可以使用它轻松生成模型,经验丰富的开发人员可以使用它快速开发基准模型,供团队进一步迭代。

问:Amazon SageMaker Autopilot 支持哪些内置算法?

Amazon SageMaker Autopilot 支持 2 种内置算法:XGBoost 和 Linear Learner。

问:能否手动停止 Amazon SageMaker Autopilot 作业?

可以。您可以随时停止某项作业。停止一项 Amazon SageMaker Autopilot 作业时,所有正在进行的试验都将停止,也不会开始新的试验。

问:如何快速开始使用 Amazon SageMaker?

Amazon SageMaker JumpStart 可帮助您快速轻松地开始 ML。SageMaker JumpStart 为最常见的用例提供了一套解决方案,只需单击几下即可轻松部署。这些解决方案是完全可定制的,并展示了 AWS CloudFormation 模板和参考架构的使用,因此可以加快您的 ML 进程。SageMaker JumpStart 还支持一键式部署和 150 多种流行的开源模型的微调,例如转换器、对象检测和图像分类模型。 

问:Amazon SageMaker JumpStart 支持哪些开源模型?

Amazon SageMaker JumpStart 包括来自 PyTorch Hub 和 TensorFlow Hub 的 150 多种经过预先训练的开源模型。对于图像分类和对象检测等视觉任务,您可以利用 ResNet、MobileNet 和 Single-Shot Detector (SSD) 等模型。对于句子分类、文本分类和问题回答等文本任务,您可以使用 BERT、RoBERTa 和 DistilBERT 等模型。

问:Amazon SageMaker JumpStart 预构建了哪些解决方案?

SageMaker JumpStart 包含的解决方案已预先配置所有必需的 AWS 服务,以将解决方案投入生产。解决方案完全可定制,因此您可以轻松修改它们,以适合特定使用案例和数据集。您可以将解决方案用于超过 15 个使用案例,包括需求预测、欺诈检测和预测性维护,并且只需单击几下即可轻松部署解决方案。有关所有可用解决方案的更多信息,请访问 SageMaker 入门页面。 

问:Amazon SageMaker JumpStart 如何定价?

您需要根据 SageMaker 定价为从 SageMaker JumpStart 启动的 AWS 服务(例如训练作业和端点)支付费用。 使用 Amazon SageMaker JumpStart 不收取额外费用。

问:什么是 Amazon SageMaker Canvas?

Amazon SageMaker Canvas 是一项无代码服务,具有一个直观、可视化的点击式界面,使您能够轻松地根据数据创建高度准确的基于机器学习的预测。SageMaker Canvas 使您能够使用拖放式用户界面访问和组合来自各种来源的数据,自动清理和准备数据以最大程度地减少手动清理,应用各种最先进的机器学习算法来查找高度准确的预测模型,并提供了一个直观的界面来进行预测。您可以使用 SageMaker Canvas 在各种业务应用程序中进行更精确的预测,并通过共享模型、数据和报告轻松与企业中的数据科学家和分析师协作。 要了解有关 SageMaker Canvas 的更多信息,请访问 Canvas 常见问题页面。

机器学习工作流

问:如何使用 Amazon SageMaker 构建连续集成和交付 (CI/CD) 管道?

Amazon SageMaker Pipelines 帮助您创建从数据准备到模型部署的全自动 ML 工作流,让您可以在生产中扩展到数千个 ML 模型。SageMaker Pipelines 附带一个连接到 SageMaker Studio 的 Python 开发工具包,因此您可以利用可视界面来构建工作流的每个步骤。然后,使用单个 API,您可以连接每个步骤以创建端到端工作流。SageMaker Pipelines 管理步骤之间的数据、打包代码配方并编排其执行,从而将数月的编码工作缩短至几个小时。每次执行工作流时,都会保存已处理数据和所采取措施的完整记录,以便数据科学家和 ML 开发人员可以快速调试问题。

问:如何查看所有经训练模型,以选择最佳模型投入生产?

Amazon SageMaker Pipelines 提供了一个经培训模型的中央存储库,称为模型注册表。您可以通过 SageMaker Studio 找到模型,并通过 Python SDK 以编程方式访问模型注册表,从而轻松选择部署到生产中所需的模型。

问:可以将 Amazon SageMaker 的哪些组件添加到 Amazon SageMaker Pipelines?

可以将通过 Amazon SageMaker Studio 可用的组件(包括 SageMaker Clarify、SageMaker Data Wrangler、SageMaker Feature Store、SageMaker Experiments、SageMaker Debugger 和 SageMaker Model Monitor)添加到 SageMaker Pipelines。

问:如何在整个 ML 工作流中跟踪模型组件?

Amazon SageMaker Pipelines 自动跟踪所有模型构成部分,并跟踪所有更改的审核记录,从而消除手动跟踪,并可以帮助您实现合规性目标。您可以使用 SageMaker Pipelines 跟踪数据、代码、经训练的模型等。

问:Amazon SageMaker Pipelines 如何定价?

使用 Amazon SageMaker Pipelines 不收取额外费用。您只需为 SageMaker Pipelines 中使用的基础计算或任何单独 AWS 服务支付费用。

问:我可以将 Kubeflow 与 Amazon SageMaker 结合使用吗?

是。适用于 Kubeflow Pipelines 的 Amazon SageMaker 组件是开源插件,借助这些组件,您可以使用 Kubeflow Pipelines 定义您的机器学习工作流,以及使用 SageMaker 执行数据标记、培训和推理步骤。Kubeflow Pipelines 是 Kubeflow 的一个附加件,借助它,您可以构建和部署便携且可扩展的端到端 ML 管道。但是,使用 Kubeflow Pipelines 时,ML 运营团队需要管理带有 CPU 和 GPU 实例的 Kubernetes 集群,并始终保持其高利用率,以降低运营成本。跨数据科学团队实现集群的利用率最大化是充满挑战的,并且会为机器学习运营团结增加运营开销。作为 ML 优化 Kubernetes 群集的替代方案,借助适用于 Kubeflow Pipelines 的 Amazon SageMaker Component,您可以利用强大的 SageMaker 功能,例如数据标记、完全托管的大规模超参数调优、分布式培训任务、一键式安全和可扩展模型部署以及通过 Amazon EC2 Spot 实例进行经济高效培训等,无需专门配置和管理 Kubernetes 群集,即可运行机器学习任务。

问:用于 Kubeflow 管道的 Amazon SageMaker 组件如何定价?

将 Amazon SageMaker 组件用于 Kubeflow 管道无需额外付费。 

准备数据

问:Amazon SageMaker 如何准备用于机器学习的数据?

Amazon SageMaker Data Wrangler 可将汇总和准备机器学习数据所需的时间从数周缩短至几分钟。通过 SageMaker Studio 中的单个界面,您可以从 Amazon S3、Amazon Athena、Amazon Redshift、AWS Lake Formation 和 Amazon SageMaker Feature Store 导入数据,只需单击几下 SageMaker Data Wrangler 即可自动加载,汇总和显示原始数据。然后,它将基于源数据提出转换建议,将数据转换为新功能,验证功能,并为可视化提供有关如何删除常见错误源(例如不正确标签)的建议。当数据准备就绪后,您可以使用 Amazon SageMaker Pipelines 构建全自动机器学习工作流,或将该数据导入 Amazon SageMaker Feature Store

问:如何使用 Amazon SageMaker Data Wrangler 创建模型功能?

无需编写任何代码,Amazon SageMaker Data Wrangler 即可自动将您的数据转换为新功能。SageMaker Data Wrangler 提供一系列预配置的数据转换,例如转换列类型、独热编码、使用均值或中位数插补缺失数据、重新缩放列以及数据/时间嵌入。例如,您只需单击一下即可将文本字段列转换为数值列,也可以在 PySpark、SQL 和 Pandas 中编写自定义转换。

问:如何在 Amazon SageMaker Data Wrangler 中可视化我的数据?

Amazon SageMaker Data Wrangler 通过一组强大的预配置可视化模板帮助您了解数据并识别潜在误差和极值。直方图、散点图和特定于 ML 的可视化(例如目标泄漏检测)均可用,无需编写任何代码。您还可以创建和编辑自己的可视化文件。

问:Amazon SageMaker Data Wrangler 如何定价?

您需要为用于 Amazon SageMaker Data Wrangler 的所有 ML 计算、存储和数据处理资源支付费用。您可以在此处查看 Amazon SageMaker Data Wrangler 定价的所有详细信息。作为 AWS Free Tier 的一部分,您还可以免费开始使用 SageMaker Data Wrangler。

问:我如何使用 Amazon SageMaker Data Wrangler 中准备的数据来训练机器学习模型?

SageMaker Data Wrangler 提供了统一的体验,使您能够在 SageMaker Autopilot 中准备数据并无缝训练机器学习模型。Amazon SageMaker Autopilot 可根据您的数据自动构建、训练和调整最佳 ML 模型。利用 SageMaker Autopilot,您仍然可以拥有数据和模型的完全控制性和可见性。SageMaker Data Wrangler 还提供了导出选项,包括 SageMaker Data Wrangler 作业、Amazon SageMaker Feature Store 和 Amazon SageMaker Pipelines,使您能够将数据准备流程集成到 ML 工作流中。

问:如何存储 ML 模型的功能?

Amazon SageMaker Feature Store 提供具有低延迟(毫秒)读写数据功能的中央存储库。可以通过 SageMaker Feature Store 存储、检索、发现和共享这些功能,以便在具有安全访问和控制权限的模型和团队之间轻松重复使用。SageMaker Feature Store 支持通过批处理或流传输管道生成的在线和离线功能。它支持回填功能,并提供在线和离线库,以维持模型训练和推理中所使用功能的均等性。

问:如何保持在线和离线功能之间的一致性?

Amazon SageMaker Feature Store 自动维护在线和离线功能之间的一致性,无需其他管理或代码。SageMaker Feature Store 完全托管,并保持训练和推理环境之间一致性。

问:如何从给定时间点重现功能?

Amazon SageMaker Feature Store 在每个时间实例为所有功能维护时间戳。这可帮助您在任何时间段检索符合业务或合规性要求的功能。通过从给定时间点重现模型,您可以轻松解释从创建之初到当前时间的模型特征及其数值。

问:什么是离线功能?

离线功能用于训练,因为您需要长时间访问大量数据。通过高吞吐量、高带宽的存储库提供这些功能。

问:什么是在线功能?

在线功能用于进行实时预测所需的应用程序。在线功能通过高吞吐量的存储库提供,延迟时间仅几毫秒,可进行快速预测。

问:Amazon SageMaker Feature Store 如何定价?

作为 AWS 免费套餐的一部分,您可以免费开始使用 Amazon SageMaker Feature Store。使用 SageMaker Feature Store 时,您需要支付写入功能库以及从在线功能库读取和存储的费用。有关定价详细信息,请参阅 SageMaker Pricing 页面

问:Amazon SageMaker 为数据标注提供什么产品?

Amazon SageMaker 提供两种数据标注产品,Amazon SageMaker Ground Truth Plus 和 Amazon SageMaker Ground Truth。这两个选项都允许您识别原始数据,例如图像、文本文件和视频,并添加信息标签来为您的机器学习模型创建高质量的训练数据集。如要了解详情,请访问 SageMaker 数据标注网页。

构建模型

问:什么是 Amazon SageMaker Studio Notebooks?

Amazon SageMaker Studio Notebooks 是一种协作、灵活、托管型 Jupyter 笔记本,属于完全集成的机器学习开发环境 Amazon SageMaker Studio 的一部分。

问:SageMaker Studio Notebooks 与基于实例的笔记本服务有何不同?

SageMaker Studio Notebooks 提供了几项重要的功能,从而将它们与基于实例的笔记本区分开来。借助这些 Studio 笔记本,您可以快速启动笔记本,而无需手动预置实例并等待其运行。启动 UI 来读取和执行笔记本的启动时间比基于实例的笔记本快。

您还可以随时灵活地在 UI 内从大量实例类型中进行选择。您不需要转至 AWS 管理控制台即可通过笔记本启动新实例和进行移植。

每个用户都有一个独立于特定实例的隔离主目录。该目录在启动时便自动挂载在所有的笔记本服务器和内核中,因此,即使您切换实例以查看和运行笔记本,您仍可以访问笔记本和其他文件。

SageMaker Studio 笔记本集成了 AWS IAM Identity Center(AWS SSO 的后继者),使您可以轻松地使用组织凭证来访问笔记本。笔记本共享是 SageMaker Studio Notebooks 中的集成功能。您还可以通过一次单击与同事共享笔记本。

问:Amazon SageMaker Studio Notebooks 是如何运作的?

Amazon SageMaker Studio Notebooks 是一键式 Jupyter 笔记本,可以快速启动。底层计算资源极具弹性,让您可以轻松启用或关闭可用资源,并且更改将在后台自动进行,不会干扰您的工作。SageMaker 还支持一键共享笔记本。您可以与他人轻松共享笔记本,他们将获得保存在同一位置的完全相同的笔记本。

使用 SageMaker Studio 笔记本时,您可以通过 AWS IAM Identity Center(AWS SSO 的后继者)使用您的企业凭证登录。在团队内和团队间共享笔记本非常简单,因为系统会在工作映像中自动跟踪运行笔记本所需的依赖关系,并在共享笔记本时将其封装在笔记本内。

问:Amazon SageMaker Studio Notebooks 如何与其他 AWS 服务协同工作?

Amazon SageMaker Studio Notebooks 让您能够使用 SageMaker 的所有功能,例如分布式训练、批量转换、托管和试验管理。您可以从 SageMaker Notebooks 中使用 Amazon S3、Amazon Redshift、AWS Glue、Amazon EMR 或 AWS Lake Formation 中的数据集等其他服务。

问:SageMaker Studio Notebooks 如何定价?

使用 SageMaker Studio Notebooks 时,您需要支付计算和存储费用。有关按计算实例类型收费的信息,请参阅 Amazon SageMaker 定价。您的笔记本以及相关构件(例如数据文件和脚本)将保留在 Amazon EFS 上。有关存储费用,请参阅 Amazon EFS 定价。作为 AWS 免费套餐的一部分,您可以免费开始使用 Amazon SageMaker Studio Notebooks。

问:我是否需要为在 SageMaker Studio 中创建和运行的每个笔记本单独付费?

不需要。您可以在同一计算实例上创建并运行多个笔记本。您只需为使用的计算付费,不需要为各个项目付费。您可以在我们的计量指南中了解更多相关信息。

除了笔记本之外,您还可以在 Studio 中启动和运行终端和交互式 Shell,一切操作均在同一计算实例上执行。每个应用程序都在容器或映像内运行。SageMaker Studio 提供了多个内置映像,这些映像是为数据科学和机器学习专门构建和预先配置的。您可以在使用 SageMaker Studio Notebooks 的指南中,阅读有关 Studio 开发人员环境的更多信息。

问:如何监视和关闭我的笔记本所使用的资源?

您可以通过 SageMaker Studio 可视化界面和 AWS 管理控制台来监视和关闭 SageMaker Studio Notebooks 所使用的资源。 有关详细信息,请参阅文档

问:我正在运行 SageMaker Studio Notebook。如果关闭浏览器,关闭笔记本选项卡,或者只是保持浏览器打开,我仍需要付费吗?

需要,您将继续为计算付费。这类似于在 AWS 管理控制台中启动 Amazon EC2 实例,然后关闭浏览器。除非您明确关闭 Amazon EC2 实例,否则该实例仍在运行,并且仍会产生费用。

问:创建和设置 Studio 域是否需要付费?

否,您无需为创建或配置 Studio 域(包括添加、更新和删除用户资料)付费。

问:如何查看 Studio Notebooks 或其他 SageMaker 服务的逐项收费?

作为管理员,您可以在 AWS 账单控制台中查看 SageMaker(包括 Studio)的逐项收费列表。在用于 SageMaker 的 AWS 管理控制台中,选择顶部菜单上的 Services(服务),在搜索框中键入“billing”并从下拉列表中选择 Billing(账单),然后在左侧面板上选择 Bills(账单)。在 Details(详细信息)部分中,您可以单击 SageMaker 展开区域列表并向下钻取到逐项收费。

问:什么是 Amazon SageMaker Studio Lab?

Amazon SageMaker Studio Lab 是一个免费的机器学习开发环境,它免费提供计算、存储(高达 15GB)和安全性,供任何人学习和试验 ML。您只需一个有效的电子邮件 ID 即可开始使用;无需配置基础设施或管理身份和访问权限,甚至无需注册 AWS 账户。SageMaker Studio Lab 通过 GitHub 集成加速模型构建,它预配置了最流行的 ML 工具、框架和库,可让您立即开始使用。SageMaker Studio Lab 会自动保存您的工作,因此您无需在会话之间重新启动。就像合上笔记本电脑然后再回来一样简单。

问:为什么要使用 Amazon SageMaker Studio Lab?

Amazon SageMaker Studio Lab 适用于需要免费笔记本开发环境且无需设置机器学习课程和实验的学生、研究人员和数据科学家。Amazon SageMaker Studio Lab 非常适合不需要生产环境但仍希望使用 SageMaker 功能的子集来提高机器学习技能的用户。SageMaker 会话会自动保存,使用户能够从每个用户会话的中断处继续。

问:Amazon SageMaker Studio Lab 与其他 AWS 服务如何协同工作?

Amazon SageMaker Studio Lab 是一项基于 AWS 构建的服务,它利用了许多与 Amazon SageMaker Studio 相同的核心服务,例如 Amazon S3 和 Amazon EC2。与其他服务不同,客户不需要 AWS 账户。他们将使用电子邮件地址创建一个 Amazon SageMaker Studio Lab 特定账户。这将使用户能够访问一个有限的环境(15GB 的存储空间和 12 小时的会话),以便他们运行机器学习笔记本。

问:什么是 Amazon SageMaker Canvas?

Amazon SageMaker Canvas 是一种可视化、拖放式服务,允许业务分析师构建 ML 模型并生成准确的预测,而无需编写任何代码,也无需 ML 专业知识。SageMaker Canvas 可让您轻松访问和组合来自各种来源的数据,自动清理数据并应用各种数据调整,以及构建 ML 模型以通过单击生成准确的预测。您还可以轻松发布结果、解释和解读模型,以及与组织内的其他人共享模型以进行审查。

问:Amazon SageMaker Canvas 支持哪些数据资源?

SageMaker Canvas 使您能够无缝发现您的账户有权访问的 AWS 数据源,包括 Amazon S3 和 Amazon Redshift。您可以使用 SageMaker Canvas 可视化拖放界面浏览和导入数据。此外,您可以从本地磁盘拖放文件,并使用预构建的连接器从第三方源(如 Snowflake)导入数据。

问:如何构建 ML 模型以生成准确的预测?

连接源、选择数据集并准备好数据后,您可以选择要预测的目标列以启动模型创建任务。Amazon SageMaker Canvas 将自动识别问题类型,生成新的相关特征,使用 ML 技术(例如线性回归、
逻辑回归、深度学习、时间序列预测和梯度提升)测试一组全面的预测模型,并构建基于您的数据集进行准确预测的模型。

问:构建模型需要多长时间? 如何在模型创建过程中监控进度?

构建模型所需的时间取决于数据集的大小。小型数据集可能需要不到 30 分钟,大型数据集可能需要几个小时。随着模型创建作业的进行,Amazon SageMaker Canvas 会提供详细的视觉更新,包括作业完成百分比和完成作业剩余的时间。

训练模型

问:什么是 Amazon SageMaker Experiments?

Amazon SageMaker Experiments 可帮助您组织和跟踪机器学习模型的迭代。SageMaker Experiments 通过自动捕获输入参数、配置和结果并将其存储为“实验”来帮助您管理迭代。您可以使用 SageMaker Studio 的可视化界面来浏览进行中的实验,根据实验特征搜索先前的实验、查看先前的实验及结果,以及直观比较实验结果。

问:什么是 Amazon SageMaker Debugger?

Amazon SageMaker Debugger 能够在训练期间自动捕获实时指标(例如,混淆矩阵和学习梯度),帮助提高模型精度。SageMaker Studio 中会直观呈现来自 SageMaker 调试程序的指标,以便您理解。检测到常见的训练问题时,SageMaker 调试程序还会生成警告及提供修复建议。SageMaker Debugger 还可以自动实时监控和分析系统资源,例如 CPU、GPU、网络和内存,并提供有关重新分配这些资源的建议。这使您可以在训练期间有效使用资源,并有助于降低成本和资源。

问:Amazon SageMaker 是否支持分布式训练?

支持。Amazon SageMaker 可以自动在 AWS GPU 实例之间分配深度学习模型和大型培训集,只需花少量时间手动构建和优化这些分配策略即可。SageMaker 应用的两种分布式训练技术是数据并行和模型并行。通过在多个 GPU 实例之间平均划分数据,并允许每个实例同时进行训练,可应用数据并行,从而提高训练速度。模型并行对于太大而无法存储在单个 GPU 上,并且需要在将其分布到多个 GPU 之前划分为较小部分的模型很有用。只需在 PyTorch 和 TensorFlow 训练脚本中额外添加几行代码,SageMaker 就可以为您自动应用数据并行或模型并行,让您更快地开发和部署模型。SageMaker 将通过使用图形分区算法来确定拆分您的模型的最佳方法,以平衡每个 GPU 的计算量,同时尽量减少各 GPU 实例之间的通信。SageMaker 还可通过算法对您的分布式训练任务进行优化,这些算法充分利用 AWS 计算和网络,以实现近乎线性的扩展效率,从而让您比手动开源实施更快地完成训练。

问:什么是 Amazon SageMaker Training Compiler?

Amazon SageMaker Training Compiler 是一种深度学习 (DL) 编译器,可通过图形和内核级优化将 DL 模型训练速度提高多达 50%,从而更有效地使用 GPU。Training Compiler 与 SageMaker 中的 TensorFlow 和 PyTorch 版本集成,因此您可以在这些流行框架中以最少的代码更改加速训练。

问:SageMaker Training Compiler 如何运行?

SageMaker Training Compiler 通过将 DL 模型从其高级语言表示转换为硬件优化指令来加速训练任务,这些指令比使用本机框架的任务训练速度更快。更具体地说,SageMaker Training Compiler 使用图形级优化(运算符融合、内存规划和代数简化)、数据流级优化(布局转换、公共子表达式消除)和后端优化(内存延迟隐藏、面向循环的优化)来生成优化的模型训练任务,更有效地使用硬件资源,进而更快地训练。

问:如何使用 SageMaker Training Compiler?

Amazon SageMaker Training Compiler 内置于 SageMaker Python SDK 和 SageMaker Hugging Face 的 Deep Learning Containers 中。您无需更改工作流程即可获得其加速优势。您可以采用与之前相同的方式使用任何 SageMaker 界面来运行训练任务:Amazon SageMaker Notebook 实例、SageMaker Studio、AWS SDK for Python (Boto3) 和 AWS 命令行界面。您可以在创建框架估算器对象时通过添加 TrainingCompilerConfig 类作为参数来启用 SageMaker Training Compiler。实际上,这意味着将几行代码添加到单个 GPU 实例的现有训练任务脚本中。文档中提供了最新的详细文档、示例笔记本和示例。

问:SageMaker Training Compiler 如何定价?

Training Compiler 是 SageMaker Training 的一项功能,专为 SageMaker 客户免费提供。随着训练时间的减少,客户实际上可以通过 Training Compiler 降低成本。

问:什么是托管型 Spot 训练?

借助 Amazon SageMaker 的托管型 Spot 训练功能,您可以使用 Amazon EC2 竞价型实例来训练您的机器学习模型,同时降低最高 90% 的训练模型成本。

问:我如何使用托管型 Spot 训练?

您可以在提交训练作业时启用托管型 Spot 训练选项,同时您还可以指定希望等待 Spot 容量多长时间。然后,Amazon SageMaker 将使用 Amazon EC2 Spot 实例运行您的任务并管理 Spot 容量。您可以在训练任务运行及等待容量时全面了解其状态。

问:我应该在何时使用托管型 Spot 训练?

当您能灵活运行您的训练且您想最大限度降低训练任务成本时,托管型 Spot 训练适用。托管型 Spot 训练可帮助您将训练机器学习模型的成本最高降低 90%。

问:托管型 Spot 训练的工作原理是什么?

托管型 Spot 训练使用 Amazon EC2 Spot 实例进行训练,并且当 AWS 需要容量时可以先获得这些实例。因此,当容量可用时,托管型 Spot 训练任务可以以小的增量运行。当出现中断时,不需要从头开始重启训练任务,因为 Amazon SageMaker 可以使用最新的模型检查点恢复训练任务。SageMaker 的内置框架和内置计算机视觉算法支持定期检查点,并且您可以启用带有自定义模型的检查点。

问:使用托管型 Spot 训练时,我是否需要定期检查?

对于长期运行的训练任务,我们建议将定期检查点作为一般最佳实践。这将阻止您的托管型 Spot 训练任务在先取得容量时重新启动。当您启用检查点时,Amazon SageMaker 会从最近的检查点恢复您的托管型 Spot 训练作业。

问:如何计算使用托管型 Spot 训练任务节省的成本?

当托管的 Spot 训练任务完成后,您可以在 AWS 管理控制台中查看节省情况,并且还能通过训练任务运行持续时间与计费持续时间之间的百分比差异来计算成本节省。

无论您的托管型 Spot 训练任务中断了多少次,都只会根据下载数据的持续时间向您收取一次费用。

问:我可以将哪些实例用于托管型 Spot 训练?

可以将托管型 Spot 训练用于 Amazon SageMaker 中支持的所有实例。

问:哪些 AWS 区域支持托管型 Spot 训练?

目前提供 Amazon SageMaker 的所有 AWS 区域都支持托管型 Spot 训练。

问:对于可用于训练的数据集,有没有大小限制?

Amazon SageMaker 训练模型可以使用的数据集没有固定的大小限制。

问:Amazon SageMaker 使用哪些算法来生成模型?

Amazon SageMaker 包含一些内置算法,例如线性回归算法、逻辑回归算法、k-means 集群算法、主成分分析算法、因式分解机算法、神经主题建模算法、潜在狄利克雷分配算法、梯度提高树算法、序列到序列算法、预测时间序列 word2vec 和镜像分类算法等。SageMaker 还提供经过优化的 Apache MXNet、Tensorflow、Chainer、PyTorch、Gluon、Keras、Horovod、Scikit-learn 和 Deep Graph Library 容器。此外,Amazon SageMaker 还支持通过符合成文规格的 Docker 镜像提供的自定义训练算法。

问:什么是自动模型优化?

大多数机器学习算法都提供了各种各样的参数,这些参数控制了底层算法的运算方式。这些参数通常被称为超参数,它们的值会影响经过训练的模型的质量。Automatic Model Tuning 是为能够生成最优模型的算法寻找超参数组合的过程。

问:Automatic Model Tuning 可用来优化哪些模型?

只要在科学上可行,您就可以在 Amazon SageMaker 中基于任何算法运行自动模型优化,包括内置的 SageMaker 算法、深度神经网络算法或您通过 Docker 镜像引入 SageMaker 的任意算法。

问:可以在 Amazon SageMaker 之外使用 Automatic Model Tuning 吗?

目前不可以。只有在 Amazon SageMaker 内部使用它,才能获得最佳的模型优化性能和体验。

问:什么是底层优化算法?

目前,我们用于优化超参数的算法是对贝叶斯算法的自定义实现。其目的是在优化过程中优化客户指定的目标参数。具体来说,它检查已完成训练任务的目标参数,然后利用这一信息推断下一个训练任务的超参数组合。

问:系统是否针对需要优化的具体超参数提供建议?

不提供。某些超参数对模型性能的影响取决于各种各样的因素,很难肯定地说一个超参数比其他超参数更重要,因此需要对它进行优化。对于 Amazon SageMaker 的内置算法,我们会提示每个超参数是否可进行优化。

问:每个超参数优化任务用时多久?

超参数优化任务的用时长短取决于多种因素,包括数据的大小、底层算法和超参数的值。此外,客户可以选择同时执行的训练任务的数量和训练任务的总数量。所有这些选择都会影响超参数优化任务的用时。

问:能否像优化模型一样既快速又准确地同时优化多个目标?

目前不可以。目前,您需要指定一个目标参数来优化或更改您的算法代码,以生成一个新指标(该指标是两个或更多有用指标之间的加强平均值),并在优化过程中对该目标指标进行优化。

问:Automatic Model Tuning 是如何收费的?

超参数优化任务本身不收费。您需要按照模型训练定价为超参数优化作业启动的训练作业付费。

问:怎样判断是应该使用 Amazon SageMaker Autopilot 还是Automatic Model Tuning?

Amazon SageMaker Autopilot 可以自动处理典型的机器学习工作流程中的所有工作,包括特征预处理、算法选择和超参数优化,同时特别关注分类和回归使用场景。而 Automatic Model Tuning 用于优化任何模型,无论其是基于内置算法、深度学习框架还是自定义容器。为了获得灵活性,您必须手动选择具体算法、要优化的超参数和相应的搜索范围。

问:什么是强化学习?

强化学习是一项机器学习技术,可帮助代理运用从其自己的行为和经验中得到的反馈,通过反复试验在交互式环境中学习。

问:我是否可以在 Amazon SageMaker 中训练强化学习模型?

可以,除了监督学习和无监督学习训练模型之外,您还可以在 Amazon SageMaker 中训练强化学习模型。

问:强化学习与监督学习有何不同?

虽然监督学习与强化学习均使用输入和输出之间的映射,但强化学习使用延迟反馈,它对奖励信号进行了优化,以确保通过一系列操作实现长期目标,而不像监督学习那样,提供给代理的反馈是一组用于执行任务的正确操作。

问:什么时候应该使用强化学习?

监督学习技术的目标是根据训练数据中的模式找到正确的答案,无监督学习技术的目标是发现数据点之间的相同之处和不同之处。相比之下,强化学习 (RL) 技术的目标是学习如何实现预期结果,即使不清楚如何实现该结果。因此,RL 更适合实现智能应用,其中代理可以自主决策,例如机器人、无人驾驶车辆、暖通空调和工业控制等等。

问:我可以使用什么类型的环境训练 RL 模型?

Amazon SageMaker RL 支持许多不同的环境来训练 RL 模型。您可以使用 AWS 服务(如 AWS RoboMaker)、开源环境或自定义环境(使用 Open AI Gym 接口开发),或者使用商业模拟环境(如 MATLAB 和 SimuLink)。

问:我是否需要编写自己的 RL 代理算法来训练 RL 模型?

不需要,Amazon SageMaker RL 包含 RL 工具包(如 Coach 和 Ray RLLib),这些工具包提供 RL 代理算法的实现,如 DQN、PPO、A3C 等等。

问:我能否自带 RL 库和算法实现并在 Amazon SageMaker RL 中运行它们?

是的,您可以将您自己的 RL 库和算法实现引入 Docker 容器并在 Amazon SageMaker RL 中运行这些实现。

问:我是否可以使用 Amazon SageMaker RL 执行分布式部署?

可以。您甚至可以选择一个异构集群,其中训练可以在 GPU 实例上运行,而模拟可以在多个 CPU 实例上运行。

部署模型

问:Amazon SageMaker 提供哪些部署选项?

在您构建和训练模型以后,Amazon SageMaker 提供三种选项来部署它们,让您可以开始进行预测。实时推理适用于有毫秒级延迟要求的工作负载,它的负载最大为 6MB,处理时间最长为 60 秒。批量转换适用于对预付费用的大批量数据的离线预测。异步推理专门为没有亚秒级延迟要求,负载最大为 1GB,处理时间最长为 15 分钟的工作负载而设计。 

问:什么是 SageMaker 异步推理?

Amazon SageMaker 异步推理可异步对传入请求进行排列与处理。此选项适用于需要在到达时进行处理的负载大小较大和/或处理时间较长的请求。您还可以选择配置自动扩展设置,以便在未积极处理请求时缩减实例数量到零,从而节省成本。 

问:我该如何配置自动扩展设置,以便在未积极处理请求时缩减实例数量到零?

您可以缩减 Amazon SageMaker 异步推理终端节点实例数量到零,以便在您未积极处理请求时节省成本。您需要定义根据 “ApproximateBacklogPerInstance”自定义指标进行扩展的扩展策略,并且将“MinCapacity”值设置为零。如需了解分步说明,请查看《开发人员指南》的自动扩展异步终端节点部分。 

问:什么是 Amazon SageMaker 无服务器推理?

Amazon SageMaker 无服务器推理是一个专门构建的无服务器模型服务选项,可让您轻松部署和扩展 ML 模型。SageMaker 无服务器推理端点会自动启动计算资源并根据流量扩大和缩小它们,让您无需选择实例类型、运行预置容量或管理扩展。您可以选择为无服务器推理端点指定内存要求。您只需为运行推理代码的持续时间和处理的数据量付费,而无需为空闲时间付费。

问:为什么要使用 Amazon SageMaker 无服务器推理?

Amazon SageMaker 无服务器推理无需预先配置容量和管理扩展策略,从而简化了开发人员的体验。SageMaker 无服务器推理可以根据使用模式在几秒钟内立即从数十个推理扩展到数千个推理,使其成为具有间歇性或不可预测流量的 ML 应用程序的理想选择。例如,一家工资单处理公司使用的 Chatbot 服务在月底会遇到查询增加的情况,而在该月的其余时间,流量是间歇性的。在这种情况下,为整个月调配实例的成本效益不高,因为您最终要为闲置期付费。SageMaker 无服务器推理通过为您提供开箱即用的自动和快速扩展,而无需您预先预测流量或管理扩展策略,从而帮助解决这些类型的用例。此外,您只需为运行推理代码的计算时间(以毫秒计费)和数据处理支付费用,因此对于具有间歇流量的工作负载,这是一个经济有效的选择。

问:什么是 Amazon SageMaker Inference Recommender?

Amazon SageMaker Inference Recommender 是 Amazon SageMaker 的一项新功能,它通过跨 SageMaker ML 实例自动执行性能基准测试和优化模型性能,减少了将 ML 模型投入生产所需的时间。您现在可以使用 SageMaker Inference Recommender 将您的模型部署到提供最佳性能和最小成本的端点。您可以在几分钟内开始使用 SageMaker Inference Recommender,同时选择实例类型并在数小时内获得最佳端点配置的建议,从而消除数周的手动测试和调整时间。使用 SageMaker Inference Recommender,您只需为负载测试期间使用的 SageMaker ML 实例付费,无需额外费用。

问:为什么要使用 SageMaker Inference Recommender?

如果您需要有关正确端点配置的建议以提高性能并降低成本,则应使用 SageMaker Inference Recommender。以前,想要部署模型的数据科学家必须运行手动基准测试来选择正确的端点配置。他们必须首先根据模型的资源需求和样本有效负载,从 70 多种可用实例类型中选择正确的 ML 实例类型,然后优化模型以适应不同的硬件。接下来,他们必须进行广泛的负载测试,以验证是否满足延迟和吞吐量要求并且成本很低。SageMaker Inference Recommender 消除了这种复杂性,让您可以轻松地:1) 通过实例推荐在几分钟内开始使用;2) 跨实例类型进行负载测试,以在数小时内获得有关您的端点配置的建议;3) 自动调整容器和模型服务器参数,并为给定的实例类型执行模型优化。

问:SageMaker Inference Recommender 如何与其他 AWS 服务配合使用?

数据科学家可以从 SageMaker Studio、AWS SDK for Python (Boto3) 或 AWS CLI 访问 SageMaker Inference Recommender。他们可以在 SageMaker Studio 中的 SageMaker 模型注册表中为已注册模型版本获取部署建议。数据科学家可以通过 SageMaker Studio、AWS 开发工具包或 AWS CLI 搜索和筛选建议。

问:SageMaker Inference Recommender 能否支持多模型端点或多容器端点?

不,我们目前仅支持每个终端节点一个模型。

问:SageMaker Inference Recommender 支持哪些类型的终端节点?

目前我们只支持实时终端节点。

问:我可以在一个区域使用 SageMaker Inference Recommender 并在不同区域进行基准测试吗?

在发布时,我们将支持 SageMaker 支持的所有区域,AWS 中国区域除外。

问:SageMaker Inference Recommender 是否支持 Amazon EC2 Inf1 实例?

是的,我们支持所有类型的容器。Amazon EC2 Inf1 基于 AWS Inferentia 芯片,需要使用 Neuron 编译器或 SageMaker Neo 编译的模型构件。一旦您拥有 Inferentia 目标的编译模型和关联的容器映像 URI,您就可以使用 SageMaker Inference Recommender 对不同的 Inferentia 实例类型进行基准测试。


问:什么是 Amazon SageMaker Model Monitor?

开发人员能够使用 Amazon SageMaker Model Monitor 来检测和修复概念偏差。SageMaker Model Monitor 会自动检测已部署模型中的概念偏差,并提供详细的警报,帮助确定问题的根源。通过 SageMaker 训练的所有模型都会自动发送关键指标,这些指标可以在 SageMaker Studio 中收集和查看。从 SageMaker Studio 内部,您可以配置要收集的数据、查看方式以及提示的接收时间。

问:我能否访问运行 Amazon SageMaker 的基础设施?

不能。Amazon SageMaker 会代您运行计算基础设施,从而执行运行状况检查、应用安全补丁和执行其他例行维护。您也可以通过在自己托管的环境中训练自定义推理代码来部署模型项目。

问:如何在投产后扩展 Amazon SageMaker 模型的大小和性能?

Amazon SageMaker 托管使用 Application Auto Scaling 自动扩展到您的应用程序所需的性能。此外,您可以通过修改终端节点配置,在不停机的情况下手动更改实例的数量和类型。

问:如何监控我的 Amazon SageMaker 生产环境?

Amazon SageMaker 将性能指标发到 Amazon CloudWatch Metrics,这样您可以跟踪指标、设置警报,并自动响应生产流量变化。此外,Amazon SageMaker 还会将日志写入 Amazon CloudWatch Logs,让您能够监控生产环境并对其进行故障排除。

问:哪种模型能够通过 Amazon SageMaker 进行托管?

Amazon SageMaker 可托管符合推理 Docker 镜像的记录规格的任何模型,其中包括利用 Amazon SageMaker 模型项目和推理代码创建的模型。

问:Amazon SageMaker 支持的并发实时 API 请求的数量是多少?

Amazon SageMaker 旨在将每秒完成的事务量扩展到一个更大值。精确的数量因部署的模型以及部署模型的目标实例的数量和类型而有所不同。

问:什么是批量转换?

通过批量转换,您可以针对大批量或小批量数据运行预测。无需将数据集拆分为多个区块,也无需管理实时终端节点。使用一个简单的 API,您可以轻松快速地请求对大量数据记录进行预测并转换数据。

问:什么是 Amazon SageMaker Edge Manager?

Amazon SageMaker Edge Manager 是 Amazon SageMaker 中的一项新功能,可以更轻松地优化、保护、监控和维护智能相机、机器人、个人计算机和移动设备等边缘设备队列上的机器学习模型。SageMaker Edge Manager 帮助 ML 开发人员在各种边缘设备上大规模操作 ML 模型。

问:我如何开始使用 SageMaker Edge Manager?

要开始使用 SageMaker Edge Manager,您需要在云中编译并打包经训练的 ML 模型、注册设备、并使用 SageMaker Edge Manager SDK 准备设备。为准备模型以进行部署,SageMaker Edge Manager 使用 SageMaker Neo 为目标边缘硬件编译模型。编译模型后,SageMaker Edge Manager 用 AWS生成的密钥对模型进行签名,然后将模型及其运行时和必要凭证打包在一起,以使其准备好进行部署。在设备端,您可以使用 SageMaker Edge Manager 注册设备,下载 SageMaker Edge Manager 开发工具包,然后按照说明在设备上安装 SageMaker Edge Manager 代理。教程笔记本提供了有关如何准备模型以及如何使用 SageMaker Edge Manager 在边缘设备上连接模型的分步示例。

问:SageMaker Edge Manager 支持哪些设备?

Amazon SageMaker Edge Manager 支持采用Linux 和 Windows 操作系统、基于 CPU(ARM,x86)和 GPU(ARM,Nvidia)的设备。随着时间的推移,SageMaker Edge Manager 将扩展以支持更多 SageMaker Neo 也支持的嵌入式处理器和移动平台。

问:我是否需要使用 Amazon SageMaker 训练我的模型,才能使用 Amazon SageMaker Edge Manager?

不需要。您可以在其他地方训练模型,也可以使用源自开源代码或模型供应商的预训练模型。

问:我是否需要使用 Amazon SageMaker Neo 编译我的模型,才能使用 Amazon SageMaker Edge Manager?

是的,需要。Amazon SageMaker Neo 将您的模型转换并编译为可执行文件,然后将其打包并部署到您的边缘设备上。部署模型包后,Amazon SageMaker Edge Manager 代理将解压缩模型包并在设备上运行模型。

问:如何将模型部署到边缘设备?

Amazon SageMaker Edge Manager 将模型包存储在指定的 Amazon S3 存储桶中。您可以使用 AWS IoT Greengrass 提供的空中下载 (OTA) 部署功能,也可以使用您选择的任何其他部署机制将模型包从 S3 存储桶部署到设备。

问:Amazon SageMaker Edge Manager SDK与 SageMaker Neo 运行时 (dlr) 有何不同?

Neo dlr 是一个开源运行时,仅运行由 Amazon SageMaker Neo 服务编译的模型。与开源 dlr 相比,SageMaker Edge Manager 开发工具包包含一个具有附加安全性、模型管理和模型服务功能的企业级设备内置代理。SageMaker Edge Manager SDK 适用于大规模生产部署。

问:Amazon SageMaker Edge Manager 与AWS IoT Greengrass 有何关系?

Amazon SageMaker Edge Manager 与 AWS IoT Greengrass 可以在您的 IoT 解决方案中一起工作。将 ML 模型与 SageMaker Edge Manager 打包在一起后,即可使用 AWS IoT Greengrass 的 OTA 更新功能将模型包部署到设备上。AWS IoT Greengrass 允许您远程监控 IoT 设备,而 SageMaker Edge Manager 可帮助您监控和维护设备上的 ML 模型。

问:Amazon SageMaker Edge Manager 与AWS Panorama 有何关系? 何时应使用 Amazon SageMaker Edge Manager 与 AWS Panorama?

AWS 提供在边缘设备上运行模型的最大广度和最大深度功能。我们提供的服务可支持各种使用案例,包括计算机视觉、语音识别和预测性维护。

对于希望在摄像机和家电等边缘设备上运行计算机视觉的公司,您可以使用 AWS Panorama。Panorama 可随时为边缘设备部署计算机视觉应用程序。登录云控制台,指定要在 Amazon S3 或 SageMaker 中使用的模型,然后将业务逻辑作为 Python 脚本编写,即可轻松开始使用 AWS Panorama。AWS Panorama 会为目标设备编译模型并创建一个应用程序包,因此只需单击几下即可将其部署到您的设备上。此外,想要构建自己的自定义应用程序的独立软件提供商可以使用 AWS Panorama 开发工具包,并且设备制造商可使用 Device SDK 认证其设备以使用 AWS Panorama。

想要构建自己的模型并对模型功能进行更精细控制的客户,可以使用 Amazon SageMaker Edge Manager。SageMaker Edge Manager 是一项托管服务,用于跨各种边缘设备(如智能摄像机、智能扬声器和机器人)准备、运行、监控和更新机器学习模型,以用于自然语言处理、欺诈检测和预测性维护等使用案例。SageMaker Edge Manager 适用于希望控制其模型(包括设计不同的模型功能并监控模型漂移)的 ML 边缘开发人员。任何 ML Edge 开发人员都可以通过 SageMaker 控制台和 SageMaker API 使用 SageMaker Edge Manager。SageMaker Edge Manager 提供 SageMaker 的功能,可将云中的模型构建、训练和部署到边缘设备。

问:Amazon SageMaker Edge Manager 在哪些 AWS 区域提供?

Amazon SageMaker Edge Manager 可在六个 AWS 区域中提供:美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(俄勒冈)、欧洲(爱尔兰)、欧洲(法兰克福)和亚太地区(东京)。有关详细信息,请参阅 AWS 区域列表

问:什么是 Amazon SageMaker Neo?

Amazon SageMaker Neo 让机器学习模型训练一次即可在云和边缘站点中的任何位置运行。SageMaker Neo 可以自动优化使用常用的深度学习框架构建的模型,这些框架可用于在多个硬件平台上部署。优化的模型运行速度最多可提高 25 倍,并且所消耗的资源不到典型机器学习模型的十分之一。

问:如何开始使用 Amazon SageMaker Neo?

要开始使用 Amazon SageMaker Neo,请登录 Amazon SageMaker 控制台,选择受训模型,根据示例编译模型,然后将生成的模型部署到目标硬件平台上。

问:Amazon SageMaker Neo 有哪些主要组件?

Amazon SageMaker Neo 包含两个主要组件:编译器和运行时。首先,Neo 编译器读取由不同框架导出的模型。然后,它将框架特定的功能和操作转换为与框架无关的中间表示形式。接着,它会执行一系列优化。最后,编译器会为优化的操作生成二进制代码,并将其写入一个共享对象库。此外,编译器还会将模型定义和参数保存到各个文件中。在执行期间,Neo 运行时会加载编译器生成的构件(模型定义、参数和共享对象库)以运行模型。

问:我是否需要使用 Amazon SageMaker 训练我的模型,才能使用 Amazon SageMaker Neo 来转换模型?

不需要。您可以在其他位置训练模型,然后使用 Neo 为 Amazon SageMaker ML 实例或 AWS IoT Greengrass 支持的设备优化这些模型。

问:Amazon SageMaker Neo 支持哪些模型?

目前,Amazon SageMaker Neo 支持最常用的深度学习模型(此类模型支持计算机视觉应用程序),以及当今 Amazon SageMaker 中最常用的决策树模型。Neo 可以优化 MXNet 和 TensorFlow 中训练的 AlexNet、ResNet、VGG、Inception、MobileNet、SqueezeNet 和 DenseNet 模型的性能,以及 XGBoost 中训练的分类和随机砍伐森林 (Random Cut Forest) 模型的性能。

问:Amazon SageMaker Neo 支持哪些硬件平台?

您可以在 Amazon SageMaker Neo 文档中找到受支持的云实例边缘设备和框架版本的列表。

问:Amazon SageMaker Neo 在哪些 AWS 区域提供?

要查看支持区域的列表,请参阅 AWS 区域列表

Amazon SageMaker Savings Plans

问:什么是 Amazon SageMaker Savings Plans?

Amazon SageMaker Savings Plans 提供面向 Amazon SageMaker 的基于用量的灵活定价模式,您需要在一年或三年的期限内达到稳定的承诺用量(以 USD/小时为单位衡量)。Amazon SageMaker Savings Plans 的灵活性最高,最高可帮助您节省 64% 的费用。这些计划会自动应用于符合条件的 SageMaker ML 实例用量,包括 SageMaker Studio Notebooks、SageMaker 按需笔记本、SageMaker 处理、SageMaker Data Wrangler、SageMaker 训练、SageMaker 实时推理和 SageMaker 批量转换,无论实例系列、大小或区域如何。例如,您可以随时将在美国东部(俄亥俄)运行的 CPU 实例 ml.c5.xlarge 用量更改为在美国西部(俄勒冈)运行的 ml.Inf1 实例用量以用于推理工作负载,并自动继续支付 Savings Plans 价格。

问:为什么要使用 Amazon SageMaker Savings Plans?

如果您具有稳定的 Amazon SageMaker 实例用量(以 USD/小时为单位衡量)并且使用多个 SageMaker 组件,或者期望您的技术配置(例如实例系列、区域)随时间推移而变化,SageMaker Savings Plans 会帮助您更加轻松地实现最大程度的费用节省,与此同时,它还会根据应用程序需求或新创新来灵活更改基础技术配置。Savings Plans 费率会自动应用于所有符合条件的 ML 实例,无需进行手动修改。

问:如何开始使用 Amazon SageMaker Savings Plans?

您可以从 AWS 管理控制台中的 AWS Cost Explorer 或者通过 API/CLI 开始使用 Savings Plans。您可以按照 AWS Cost Explorer 中提供的建议,轻松承诺使用某个 Savings Plans 并实现最大的成本节省。建议的小时承付额基于您的历史按需使用量以及您选择的计划类型、期限长度和付款选项。注册 Savings Plans 后,您的计算用量将自动按 Savings Plan 折扣价格计费,超过承付额的任何用量都将按正常按需价格计费。

问:Savings Plans for Amazon SageMaker 与 Compute Savings Plans for Amazon EC2 有何不同?

Savings Plans for Amazon SageMaker 和 Savings Plans for EC2 的不同之处在于它们所提供的服务不同。SageMaker Savings Plans 仅适用于 SageMaker ML 实例用量。

问:Savings Plans 如何使用 AWS Organizations/整合账单?

可通过 AWS Organizations/整合账单系列中的任何账户购买 Savings Plans。默认情况下,Savings Plans 提供的优惠适用于 AWS Organization/整合账单系列中的所有账户的用量。不过,您也可以选择将 Savings Plans 的权益限定到仅购买过 Savings Plans 的账户。

了解有关 Amazon SageMaker 定价的更多信息

访问定价页面
准备好开始使用了吗?
注册
还有更多问题?
联系我们