亚马逊AWS官方博客

面向机器学习从业人员的新 AWS Deep Learning AMI

我们非常高兴宣布推出两个新版本的 AWS Deep Learning AMI:一个是基于 Conda 的 AMI,它具有单独的 Python 环境,面向通过 Conda 这个热门开源软件包和环境管理工具创建的深度学习框架;另一个是 Base AMI,它带有 GPU 驱动程序和库,可用来部署您自己的自定义深度学习模型。

在学术界和业界,从框架和算法到新的方法和理论,深度学习技术正在快速发展。对于需要快速安全测试算法、针对特定版本框架进行优化、运行测试和设置基准或从头开始合作项目的开发人员而言,这一切显得非常复杂。虚拟环境可为这些工作提供自由和灵活性,这就是我们现在向 AWS Deep Learning AMI 加入虚拟技术的原因。我们还准备了全新的开发人员资源,以帮助您详细了解这些 AMI,帮助您为项目选择合适的 AMI以及深入学习实践教程

基于 Conda 的新 Deep Learning AMI

基于 Conda 的 AMI 预安装了 Python 环境,适合使用 Conda 创建的深度学习。每个基于 Conda 的 Python 环境都配置为包括常见深度学习框架及其依赖项。将它视为一个完全备份的虚拟环境,随时可以运行您的深度学习代码,例如,用来训练神经网络模型。我们的分步指南提供了有关如何为所选深度学习框架激活环境或使用简单的单行命令在不同环境之间进行切换的说明。

该 AMI 的优势不止于此。该 AMI 上的环境以相互隔离、独立的沙盒形式运行。这意味着,当您在沙盒内运行自己的深度学习代码时,可以全面了解和控制其运行时环境。您可以安装新软件包、升级现有软件包或更改环境变量,完全不用担心影响 AMI 上的其他深度学习环境。  这种级别的执行环境灵活性和精细控制还意味着您现在可以对深度学习模型运行一致和随着时间推移可再现的测试以及设置性能基准。

最后,该 AMI 提供直接集成 Jupyter Notebook 的可视化界面,因此可以切入和切出环境、在所选环境中启动 Notebook,甚至是重新配置环境,这一切操作都只需从 Jupyter Notebook 浏览器中单击一下鼠标。我们的分步指南介绍这些集成以及其他 Jupyter Notebook 和教程。

基于 Conda 的新 Deep Learning AMI 附带以下深度学习框架的最新正式版本:

  • Apache MXNet 0.12 及 Gluon
  • TensorFlow 1.4
  • Caffe2 0.8.1
  • PyTorch 0.2
  • CNTK 2.2
  • Theano 0.9
  • Keras 1.2.2 和 Keras 2.0.9

该 AMI 还包括以下用于云端 GPU 加速的库和驱动程序:

  • CUDA 8 和 9
  • cuDNN 6 和 7
  • NCCL 2.0.5 库
  • NVidia Driver 384.81

新 Deep Learning Base AMI

Base AMI 预安装了深度学习基础构建块。包括用于在 Amazon Elastic Compute Cloud (EC2) 实例上加速和扩展机器学习的 NVIDIA CUDA 库、GPU 驱动程序和系统库。将 Base AMI 视为一个从头开始部署您的自定义深度学习环境的基础。

例如,对于致力于开源深度学习框架增强功能、甚至是构建全新深度学习引擎的开发人员来说,Base AMI 提供了一个基础,可安装您自己的自定义配置和代码存储库,以测试新的框架功能。Base AMI 默认随附安装 CUDA 9 环境,不过您也可以使用我们的分步用户指南中介绍的简单的单行命令切换到 CUDA 8 环境。

Base AMI 提供以下 GPU 驱动程序和库:

  • CUDA 8 和 9
  • CuBLAS 8 和 9
  • CuDNN 6 和 7
  • glibc 2.18
  • OpenCV 3.2.0
  • NVIDIA Driver 384.81
  • NCCL 2.0.5
  • Python 2 和 3

包含源代码的 Deep Learning AMI

除了今天推出的两个新 AMI 外,我们继续支持从统一 Python 环境中的源安装所有常见深度学习框架,并且 AMI 中包含这些框架的源代码。如果需要在共享基础环境中试用和比较多个框架,或者需要快速访问 AMI 自身中的源代码以使用一组自定义构建选项重新编译框架,此 AMI 就非常适合。

该 AMI 采用 CUDA 8 和 CUDA 9 版本以满足您要使用 AWS EC2 实例进行深度学习的特定需求。 

Deep Learning AMI 备忘单

现在,我们的 AWS Marketplace 提供三种 AWS Deep Learning AMI,支持机器学习从业人员的不同需求。请注意在我们的开发人员指南中查看 AMI 选择指南简单教程以及更多深度学习资源

基于 Conda 的 AMI Base AMI 包含源代码的 AMI
面向需要在单独的虚拟环境中预安装深度学习框架的 pip 软件包的开发人员 面向需要从头开始设置私有深度学习引擎存储库或自定义深度学习引擎版本的开发人员 面向需要在共享 python 环境中预安装深度学习框架及框架源代码的开发人员

Deep Learning AMI (Ubuntu)

Deep Learning AMI (Amazon Linux)

Deep Learning Base AMI (Ubuntu)

Deep Learning Base AMI (Amazon Linux)

对于 P3 实例:

包含源代码的 Deep Learning AMI (CUDA 9,Ubuntu)

包含源代码的 Deep Learning AMI (CUDA 9,Amazon Linux)

对于 P2 实例:

包含源代码的 Deep Learning AMI (CUDA 8,Ubuntu)

包含源代码的 Deep Learning AMI (CUDA 8,Amazon Linux)


作者简介

Cynthya Peranandam 是 AWS 人工智能解决方案的首席营销经理,帮助客户使用深度学习来实现业务价值。在闲暇时间,她喜欢跑步和音乐。