Author: Localization Team


《制作无人驾驶车辆》第 4 部分:通过 Apache MXNet,为您的自动驾驶车辆应用行为克隆技术

在我们无人驾驶车辆系列的第一篇博客文章中,您制作了一辆 Donkey 车并将导航服务器部署到了 Amazon EC2 实例上。在第二篇博客文章中,您学习了如何驾驶 Donkey 车辆,Donkey 车辆也学习了如何自行驾驶。在第三篇博客文章中,您学习了如何通过 AWS IoT 将 Donkey 车辆的遥测数据流式传输到 AWS 的过程。

在这篇博文中,我们将深入探讨实现车辆自行驾驶的深度学习框架,并介绍采用卷积神经网络 (CNN) 的行为克隆概念。CNN 是一项面向计算机视觉任务的先进建模技术,可帮助解答车辆可能会遇到的问题,例如,“我前面是轨道还是圆锥形路标?”


1) 在 AWS 上制造一辆无人驾驶车辆,并参加 re:Invent 机器人车拉力赛
2) 《制作无人驾驶车辆》第 2 部分:驾驶您的车辆
3) 《制作无人驾驶车辆》第 3 部分:连接您的无人驾驶车辆
4) 《制作无人驾驶车辆》第 4 部分:通过 Apache MXNet,为您的自动驾驶车辆应用行为克隆技术


P2 上的 Donkey 训练数据设置

我们已在博客文章 2 中详细演练了如何运行训练。但是,让我们在这里回顾一下关键步骤和命令:

  1. 将数据从 Pi 复制到 Amazon EC2 实例:
    $ rsync -rva --progress -e "ssh -i /path/to/key/DonkeyKP-us-east-1.pem" /home/pi/d2// ec2-user@ec2-your-ip.compute-1.amazonaws.com:~/d2/data/
  2. 启动训练过程:
    $ python ~/d2/manage.py train --model /path/to/myfirstpilot
  3. 将训练过的模型复制回 Pi:
    $: rsync -rva --progress -e "ssh -i /path/to/key/DonkeyKP-us-east-1.pem" ec2-user@ec2-your-ip.compute-1.amazonaws.com:~/d2/models/ /home/pi/d2/models/

模型幕后

在本部分中,我将讨论模型学习的内容以及它如何能够自行驾驶。目前制作的 Donkey 车辆使用 Keras 作为其默认的深度学习框架。AWS 正在添加面向 Apache MXNet、Gluon 和 PyTorch 等其他框架的支持。在这篇博文中,我们将使用 Apache MXNet 来深入分析实现自动驾驶的模型的内部工作原理。如前所述,我们使用名为行为克隆的技术来实现车辆的自动驾驶。基本上,此模型基于训练数据学习驾驶,而训练数据则是通过环绕轨道行驶收集而来的。保证大部分数据都很“干净”非常重要,也就是说,假定我们的目标始终未偏离轨道,那么训练数据中车辆脱离轨道或转弯错误的图像就不会太多。就像驾驶员控制方向盘,保证车辆在车道上行驶一样,我们将制作一个会根据当前场景确定转向角的模型,引导我们将问题模型化为“根据输入图像,我们需要采用哪种转向角?”。实际驾驶情况更复杂,因为涉及到了加速和变速齿轮等更多组件。为了简单起见,我们在开始的时候先把油门固定到某个百分比,然后再让车辆行驶。在实践中我们发现,对于备用训练数据,25-30% 的油门已被证明是 Donkey 车辆的最佳行驶速度。

为实现这一目标,我们将使用名为卷积神经网络 (CNN) 的深度学习技术。CNN 已成为面向计算机视觉问题的实际网络。CNN 由多个卷积层组成,其中每个节点都与一个名为感受野的小窗口关联。这可以让我们提取图像中的局部特征。像“图像中是否有轨道或人?”这样的问题就可以通过使用先前计算出来的这些局部特征进行计算。您可以在此处找到有关 CNN 工作原理的详细说明。

数据集

在这篇博文中我将使用一个数据集,这个数据集是车辆环绕轨道行驶大约 15 分钟收集来的。如前所述,我们会先过滤一下,将车辆明显不在轨道上的图像丢弃。Donkey 软件已经提供了一个基于浏览器的 UI,用来删除“坏”的图像 (命令: donkey tubclean <包含 Tub 的文件夹>)。与此类似的、车辆在轨道上行驶的图像数据集可在此处获取

(more…)

在 Amazon EMR 上运行带有多种 GPU 实例类型的深度学习框架

今天,AWS 很高兴地宣布 Amazon EMR 将支持 Apache MXNet 和新一代 GPU 实例类型,让您可以在进行机器学习工作流程和大数据处理的同时运行分布式深度神经网络。此外,您还可以在采用 GPU 硬件的 EMR 群集上安装并运行自定义深度学习库。通过使用深度学习框架,您可以使用新工具包来处理多种使用案例,包括无人驾驶车辆、人工智能、个性化医疗和计算机视觉。

Amazon EMR 提供一个 Hadoop 托管框架,可以让您轻松、快速且经济高效地使用 Apache Spark、Apache Hive、PrestoApache HBase 和 Apache Flink 等框架处理 Amazon S3 中的大量数据。您可以低成本安全、高效地处理大量大数据使用案例,包括日志分析、Web 索引、数据转换 (ETL)、财务分析、科学模拟、实时处理和生物信息。

多年来,EMR 一直致力于帮助您运行可扩展的机器学习工作负载。2013 年,我们增加了对 Apache Mahout 的支持,以帮助您使用 Apache Hadoop MapReduce 来运行分布式机器学习工作负载。2014 年,客户开始利用 Apache Spark (我们在 2015 年增加了官方支持),以便利用 Spark ML 中提供的各种开源机器学习库来轻松构建可扩展的机器学习管道。

在过去 2 年内,我们还增加了对 Apache Zeppelin 笔记本、易于安装的 Jupyter 笔记本以及适用于交互式 Spark 工作负载的 Apache Livy 的支持,从而让数据科学家可以轻松快速地开发、培训以及将机器学习模型投入生产。EMR 的按秒计费方式以及使用 Amazon EC2 竞价型实例可实现的高达 80% 的成本节约,使您可以低成本轻松运行大规模的机器学习管道。 (more…)

re:Invent 大会期间的 AWS 云幕后故事

当您漫步在 AWS re:Invent 大会现场时,不妨花点时间来思考一下,对于需要整合在一起的所有要素,您有哪些期望…

从会议地点开始,我的同事们选择最合适的场馆,精心设计各种研讨会,挑选发言嘉宾,制定日程表,选择色彩方案,准备电子或印刷的所有指示牌等等,我们所有这些努力的目标是,希望为您和成千上万的其他 AWS 客户创造一个优良的学习环境。

不过,通常情况下,您看到的只是表面的那一部分而已。在幕后,我们将人员、流程、计划和系统有机地组织起来,将所有这些基础设施安排到位,让各个部分都运作得如此顺利,以至于您通常不会注意到这些细节。

今天我想说的是,re:Invent 大会基础设施的关键部分实际上位于地下。除了为您的手机、平板电脑、相机、笔记本电脑和其他设备提供一流的 Wi-Fi 连接之外,我们还需要确保在从现场直播主题演讲到 WorkSpaces 支持的动手实验室等各项活动中,彼此之间的连接以及互联网连接正常工作。要确保在沿着拉斯维加斯大道上各个酒店中举办的各项活动正常开展,可靠、低延迟的连接至关重要!

感谢 CenturyLink/Level3 的大力支持
多年以来,我们一直在与 Level3 的优秀员工合作,共同实现这一目标。他们最近成为了 CenturyLink 的一份子;CenturyLink 现在是 re:Invent 大会的官方网络赞助商,负责提供将各个 re:Invent 会场连接在一起的光纤网络和线路等服务。

为了让大会顺利举办,他们在大道下面埋设了两英里的暗光纤,路由到两个独立的 AWS 区域中的多个可用区。金沙博览中心配备了 10 Gb 冗余连接,其他场馆 (Aria、MGM、Mirage 和 Wynn) 分别预配置了 2 到 10 Gb 连接,这意味着大道半数以上的区域都支持 Direct Connect。根据某处设施 IT 经理的说法,这可能是拉斯维加斯有史以来配置的最大临时混合网络。

在 Wi-Fi 方面,showNets 接通到同一个网络;您的设备可以直接与 Direct Connect 接入点通信 (这太酷了!)。

下图概要说明了这些功能如何结合在一起:

CenturyLink 团队将在 re:Invent 大会现场值班,并通过推特发布整周内的实时网络统计数据。

我希望我们在幕后和街道下的这些工作,能够让您愉悦地享受本次盛会!

Jeff

98、99、100 个 CloudFront 接入点!

九年前,我向您展示了如何使用 Amazon CloudFront 分发内容。2008 年我们推出 CloudFront 时它有 14 个接入点,然后就快速扩展。CloudFront 现在有 89 个边缘站点和 11 个区域边缘缓存,能够为世界各地数百万查看者生成的流量提供支持。

23 个国家/地区,50 个城市,并且还在不断增长
100 个接入点遍布全球,站点分布在 23 个国家/地区的 50 个城市。在过去 12 个月中,我们的网络扩大了约 58%,增加了 37 个接入点,其中 9 个位于以下新增城市:

  • 德国,柏林
  • 美国明尼苏达州,明尼阿波利斯
  • 捷克共和国,布拉格
  • 美国马萨诸塞州,波士顿
  • 德国,慕尼黑
  • 奥地利,维也纳
  • 马来西亚,吉隆坡
  • 美国宾夕法尼亚州,费城
  • 瑞士,苏黎世

还有更多接入点正在筹划中,包括阿拉伯联合酋长国的一个边缘站点,目前计划在 2018 年第一季度开放。

为客户创新
如前所述,我们的网络由边缘站点和区域边缘缓存组成。区域边缘缓存是在 re:Invent 2016 大会上首次发布的,它位于我们的边缘站点和您的来源服务器之间,内存量甚至高于边缘站点,使用它,我们可以将内容存储在查看者附近以便提高传输速度,同时减小来源服务器的负担。

虽然位置很重要,但位置只是我们的出发点。我们继续关注安全性,最近发布了 Security Policies 功能,并宣布 CloudFront 是一项 符合 HIPAA 要求的服务。我们发布了 Lambda@Edge,让您可以在用户附近运行 AWS Lambda 函数,从而为您提供更多内容服务和内容生成选项。

我们还致力于加快缓存失效和配置更改的处理速度。我们现在可以在请求后数毫秒内接受失效,并确认请求通常在 60 秒内就可以在全球范围得到处理。这有助于确保您的客户获得新鲜及时的内容。

请访问我们的 Amazon CloudFront 入门 页面获取注册信息、教程、网络研讨会、点播视频、办公时间等信息。

Jeff

全新 – AWS OpsWorks for Puppet Enterprise

在去年的 AWS re:Invent 大会,我们推出了 AWS OpsWorks for Chef Automate,这使客户能够将自己的 Chef Automate 服务器交由 AWS 管理。根据客户反馈,今天我们非常激动地将 Puppet Enterprise 引入到 OpsWorks 中。

使用 Puppet Enterprise,您可以通过每个托管节点上部署的 puppet 代理 自动设置、配置和管理实例。您只需定义一次配置,然后使用自动回滚和偏差检测将其应用于数千个节点。AWS OpsWorks for Puppet Enterprise 使您无需维护自己的 Puppet Master,同时无缝地配合您的现有 Puppet 工作清单。

OpsWorks for Puppet Enterprise 将为您管理 Puppet Master 服务器并完成安装、升级和备份等运营任务。它还可以简化节点注册并提供实用的初学者工具包来引导您的节点。更多详情请见下方。

创建托管 Puppet Master

在 OpsWorks 中创建托管 Puppet Master 非常简单。首先导航到 OpsWorks 控制台的 Puppet 部分,然后单击“Create Puppet Enterprise Server”。

在设置的第一部分,为您的 Puppet Master 配置区域和 EC2 实例类型。c4.large 支持最多 450 个节点,而 c4.2xlarge 可以支持超过 1600 个节点。Puppet Enterprise 服务器将预配置最新版本的 Amazon Linux (2017.09) 和最新版本的 Puppet Enterprise (2017.3.2)。

在下一个设置屏幕上,您可以选择配置用于连接 Puppet Master 的 SSH 密钥。当您进行任何重大的自定义设置时,这非常有用,但通常情况下,最好通过客户端工具与 Puppet 交互,而不是在实例本身上直接交互。

在此页上还可以设置 r10k 存储库以提取动态配置。

在高级设置页面中,可以选择有关 VPC、安全组、IAM 角色和实例配置文件的常规部署选项。如果选择使用 OpsWorks 为您创建实例安全组,请务必注意,该组默认处于打开状态,因此必须在稍后限制对它的访问。

该页面上要注意的两个组件是维护窗口和备份配置。如果有新的 Puppet 软件次要版本可用,并通过了 AWS 测试,系统维护机制会自动在 Puppet Master 上更新 Puppet Enterprise 的次要版本。AWS 会进行大量测试,确认 Puppet 升级已达到生产就绪状态,在部署时不会中断现有客户环境。通过自动备份,您可以将 Puppet Master 的持久备份存储在 S3 中并随时从这些备份中还原。您可以根据业务需求调整备份频率和保留期。

使用 AWS OpsWorks for Puppet Enterprise

当 Puppet Master 在进行预配置时,此控制台会提供两个有用的信息框。

您可以下载登录凭证以及示例 userdata,用于将 puppet 代理安装到您的 Windows 和 Linux 节点上。这里需要注意的是,如果本地节点能够连接到 Puppet Master,您还能够管理本地节点。

在完全预配置 Puppet Master 后,您可以像往常一样访问 Puppet Enterprise http 控制台和使用 Puppet。

实用详细信息

AWS OpsWorks for Puppet Enterprise 按托管节点的节点小时数收费。价格为每节点小时 0.017 USD 起,节点数量越大,价格越低 – 有关完整定价的页面,请访问此处。您还需要为运行 Puppet Master 所需的基础资源付费。在推出时,AWS OpsWorks for Puppet Enterprise 在美国东部 (弗吉尼亚北部) 区域、美国西部 (俄勒冈) 区域和欧洲 (爱尔兰) 区域提供。当然,您在控制台中看到的所有操作也可以通过 AWS 开发工具包和 CLI 实现。有关更多信息,请参阅入门指南

Randall

新交互式 AWS 成本管理器 API

我们在几年前发布了 AWS 成本管理器,以便您能够跟踪、分配和管理 AWS 成本。无论是该工具的发布还是之后进行的补充,反响都很不错。但是,客户的反应却和 Jeff Bezos 说的一样:“精美、出色,但不满意。”

我每天都对此深有感触。每当我们发布一些产品,就会激发客户提出更多要求。例如,当许多客户完全转向 AWS 云并将许多 IT 基础设施迁入其中后,就会请求获得馈送到成本管理器中的原始数据。这些客户希望以编程方式了解其 AWS 成本、按应用程序和部门成本更新账目和会计系统,构建用于汇总开支的高级别控制面板。有些客户甚至已经开始从成本管理器提供的图表和报告中提取数据并遇到了问题!

新成本管理器 API
今天,我们将以编程方式获得馈送到成本管理器中的基础数据。借助新成本管理器 API 提供的一组函数,您可以完成上述所有操作。您可以跨多个维度 (服务、关联帐户、标签、可用区等等) 对成本和使用率数据进行筛选和分组,按天或按月汇总,然后进行检索。这样一来,您就可以从简单处着手 (每月总成本),然后将请求细化到所需的任何细节层次 (写入已标记为 production 的 DynamoDB 表),并在数秒内就获得响应。

以下是具体操作:

GetCostAndUsage – 使用筛选和分组功能检索单个账户或所有账户 (组织中的主账户可以访问所有的成员账户) 的成本和使用率指标。

GetDimensionValues – 针对指定筛选条件,检索指定时间段内的可用筛选值。

GetTags – 检索指定时间段内的可用标签键和标签值。

GetReservationUtilization – 使用每日或每月粒度,加上筛选和分组功能,检索指定时间段内的 EC2 预留实例使用率。

我相信这些函数及其返回的数据能够让您做一些真正有趣的事情,帮助您更好地了解自己的业务。例如,您可以标记用于支持各个市场营销活动或开发项目的资源,然后深入研究成本以衡量业务价值。现在,您就能够知道为了应对网络星期一黑色星期五等重要事件而在基础设施上花了多少钱,分毫不差。

需知信息
在您开始思考如何使用 API 时,请记住以下几点:

分组 – 成本管理器 Web 应用程序为您提供了一个分组级别;API 提供了两个。例如,您可以先按服务然后再按区域对成本或 RI 使用率进行分组。

分页 – 函数可以返回大量数据并按照 AWS 范围的模型进行分页,方法是在其他数据可用时包含 nextPageToken 。您只需再次调用相同的函数,然后提供令牌,就能继续。

区域 – 服务终端节点位于美国东部 (弗吉尼亚北部) 区域,返回所有公有 AWS 区域的使用率数据。

定价 – 每个 API 调用花费 0.01 USD。就这一点而言,让我们假定您使用此 API 构建一个控制面板,每月的用户点击量为 1000 次。这个控制面板的运营成本应该为 10 USD 左右;这比设置自己的系统来提取和获取数据并响应交互式查询的成本要低得多。

成本管理器 API 现已推出,您可以立即开始使用。要了解更多信息,请参阅成本管理器 API

Jeff

Amazon QuickSight 更新 – 地理空间可视化、私有 VPC 访问及其他

在 AWS,我们通常不看重或庆祝周年纪念日。我们提供近 100 种服务,如果每个都纪念的话,那我们可能每周都要庆祝好几次,大家一起吃蛋糕、喝香槟。尽管这听起来很有趣,但我们宁愿将工作时间用在倾听客户需求和创新上。话虽如此,Amazon QuickSight 面世至今已有一年多了,我想在此为大家做一个快速更新!

操作中的 QuickSight
如今,成千上万的客户 (从初创公司到企业,遍及交通、法律、采矿和医疗保健等各行各业) 都在使用 QuickSight 来分析和报告其业务数据。

下面是几个示例:

Gemini 为加利福尼亚州的工伤律师提供法律证据收集服务。他们需要完成一系列工作,从创建自定义报告和运行一次性查询到创建和共享动态 QuickSight 控制面板以及细分列表和筛选条件。QuickSight 用于跟踪销售管道、衡量订单吞吐量并发现订单处理流程中的瓶颈。

Jivochat 提供了一个实时消息收发平台,从而连接访客和网站所有者。借助 QuickSight,他们可以创建和共享交互式控制面板,并提供对基础数据集的访问权限。这样一来,他们不仅可以共享静态电子表格,还能确保所有人同时查看,并能够根据当前数据及时做出决策。

Transfix 是一个技术驱动的货运市场,可以满足零售、餐饮、制造和其他行业中位列财富 500 强的配送商的货运需求,并提高物流的可见性。借助 QuickSight,不管是 BI 工程师还是非技术业务用户都可以执行分析。他们审视关键的业务和运营指标,包括运输路线、配送公司效率和流程自动化。

回顾过去/展望未来
QuickSight 上的反馈意见非常有帮助。客户告诉我们,他们的员工都在使用 QuickSight 连接公司数据、执行分析并依据数据快速做出决策,而完成所有这些工作无需设置或运行他们自己的 BI 基础设施。我们很乐意听取任何反馈意见,并利用它们推动我们的路线图,从而在短短一年内推出 40 多项新功能。总结如下:

展望未来,我们的客户群正在形成一个有趣的趋势。随着这些客户仔细观察他们分析和报告数据的方式,他们发现无服务器方法可以提供一些实际优势。他们将 Amazon Simple Storage Service (S3) 用作数据湖,并结合使用 QuickSight 和 Amazon Athena 进行查询,从而获得敏捷性和灵活性,而无需静态基础设施。他们还充分利用 QuickSight 的控制面板功能,监控业务成果和运营指标,然后与数百位用户分享他们的见解。如果您对此方法感兴趣,请参阅 Building a Serverless Analytics Solution for Cleaner Cities使用 Amazon Athena 和 Amazon QuickSight 执行无服务器大数据分析

新功能和增强功能
我们仍然在尽最大努力倾听和学习,并确保 QuickSight 能够继续满足您的需求。今天,我非常高兴地宣布,我们将新增七个重要功能:

地理空间可视化 – 您现在可基于地理数据集创建地理空间视觉对象。

私有 VPC 访问 – 您现在可以注册访问新功能的预览版,从而安全连接 VPC 或本地数据,而无需公有终端节点。

平面表支持 – 除了数据透视表以外,您现在可以使用平面表进行表格报告。如需了解更多信息,请参阅使用表格报告

计算 SPICE 字段 – 您现在可以在分析过程中对 SPICE 数据执行运行时运算。请参阅在分析中添加计算字段了解更多信息。

宽表支持 – 您现在可以使用包含多达 1000 列的表格。

其他存储桶 – 您可以将较长的高基数数据总结到存储桶中,正如使用 Amazon QuickSight 中的视觉对象类型中所述。

HIPAA 合规性 – 您现在可以在 QuickSight 上运行符合 HIPAA 要求的工作负载。

地理空间可视化
每个人似乎都在期盼这个功能!现在,您只需单击几下即可获取包含地理标识符 (国家/地区、城市、州或邮政编码) 的数据,并创建美观的可视化效果。QuickSight 将对您提供的标识符进行地理编码,还可以接受经纬度地图坐标。您可以使用此功能按州可视化销售情况、将店铺对应到运输目的地等等。下面是一个可视化示例:

要了解关于此功能的更多信息,请参阅使用地理空间图 (地图) 添加地理空间数据

私有 VPC 访问预览
如果您在 AWS 中 (可能在 Amazon RedshiftAmazon Relational Database Service [RDS] 或 EC2 中) 或在本地 Teradata 以及不具有公共连接的服务器上的 SQL Server 中拥有数据,则非常适合使用此功能。适用于 QuickSight 的私有 VPC 访问使用弹性网络接口 (ENI) 与 VPC 中的数据源进行安全的私有通信。借助此功能,您还可使用 AWS Direct Connect 为本地资源创建安全的私有链接。以下网址提供了图示:

如果您已准备好加入预览版,可以立即注册

Jeff

宣布为 Apache MXNet 推出 ONNX 支持

今天,AWS 宣布推出 ONNX-MXNet,它是一种用于将 Open Neural Network Exchange (ONNX) 深度学习模型导入到 Apache MXNet 的开源 Python 程序包。MXNet 是功能齐全且可扩展的深度学习框架,可以跨 Python、Scala 和 R 等多种热门语言提供 API。通过 MXNet 的 ONNX 格式支持,开发人员可以使用 PyTorch、Microsoft Cognitive Toolkit 或 Caffe2 等其他框架构建和训练模型,然后将这些模型导入 MXNet 中运行,从而使用 MXNet 高度优化且可扩展的引擎进行推理。

我们还很激动地告诉大家,AWS 将在 ONNX 格式方面参与合作。我们将与 FacebookMicrosoft 和深度学习社区合作,进一步开发 ONNX,让深度学习从业人员都可以访问和使用它。

什么是 ONNX?

ONNX 是一种用于对深度学习模型进行编码的开源格式。ONNX 定义神经网络计算图的格式以及图中使用的大量运算符的格式。随着越来越多的框架和硬件供应商支持 ONNX,从事深度学习的开发人员可以轻松地在框架间移动,选择最适合当前任务的框架。

快速入门

我们将介绍如何使用 ONNX-MXNet 将 ONNX 模型导入 MXNet,以及如何使用导入的模型进行推理,从 MXNet 优化的执行引擎中获益。

步骤 1:安装

首先,根据 ONNX 存储库相关说明安装 ONNX。

然后,安装 ONNX-MXNet 程序包:

$ pip install onnx-mxnet

步骤 2:准备要导入的 ONNX 模型

在此示例中,我们将演示导入 Super Resolution 模型,以增加图像的空间分辨率。此模型使用 PyTorch 构建和训练,并且使用 PyTorch 的 ONNX 导出 API 导出到 ONNX。有关模型设计的更多详情,请参阅 PyTorch 示例

将 Super Resolution ONNX 模型下载到您的工作目录:

$ wget https://s3.amazonaws.com/onnx-mxnet/examples/super_resolution.onnx

步骤 3:将 ONNX 模型导入 MXNet

现在我们已经准备好 ONNX 模型文件,接下来让我们使用 ONNX-MXNet 导入 API 将其导入 MXNet。在 Python 外壳中运行以下代码:

import onnx_mxnet
sym, params = onnx_mxnet.import_model('super_resolution.onnx')

此代码在 Python 运行时中创建了两个实例: sym – 模型的符号图和 params – 模型的权重。现在已完成导入 ONNX 模型,我们生成了一个标准的 MXNet 模型。

(more…)

AWS Deep Learning Conda AMI 和 Base AMI 入门

今天,AWS 宣布发布两个新版本的 AWS Deep Learning AMI:基于 Conda 的 AMI 和 Base AMI。本文介绍有关如何充分利用新 AMI 的说明和其他资源。

带 Conda 托管环境的新 Deep Learning AMI

这些面向 Amazon LinuxUbuntu 的新 Deep Learning AMI 预安装了 Python 环境,用于使用 Conda 这个热门开源软件包和环境管理工具创建的深度学习。Conda 托管 Python 环境针对常见深度学习框架 (包括 Apache MXNet、TensorFlow、Caffe2、PyTorch、Keras、CNTK 和 Theano) 进行了预先配置。此外,每个 Python 环境都有两个版本 – Python 2 和 Python 3。使用 AWS 管理控制台登录 AWS EC2 实例之后,系统会提供一条控制台消息,列出所有 Conda 环境。

您也可以运行以下命令获取此列表:

conda env list

接下来,为所选深度学习框架 (如 MXNet) 激活 Python 环境,运行以下命令:

对于 Python 2

source activate mxnet_p27

对于 Python 3

source activate mxnet_p36

处于 Python 环境之后,可以运行以下命令查看已安装软件包的列表:

conda list

(more…)

面向机器学习从业人员的新 AWS Deep Learning AMI

我们非常高兴宣布推出两个新版本的 AWS Deep Learning AMI:一个是基于 Conda 的 AMI,它具有单独的 Python 环境,面向通过 Conda 这个热门开源软件包和环境管理工具创建的深度学习框架;另一个是 Base AMI,它带有 GPU 驱动程序和库,可用来部署您自己的自定义深度学习模型。

在学术界和业界,从框架和算法到新的方法和理论,深度学习技术正在快速发展。对于需要快速安全测试算法、针对特定版本框架进行优化、运行测试和设置基准或从头开始合作项目的开发人员而言,这一切显得非常复杂。虚拟环境可为这些工作提供自由和灵活性,这就是我们现在向 AWS Deep Learning AMI 加入虚拟技术的原因。我们还准备了全新的开发人员资源,以帮助您详细了解这些 AMI,帮助您为项目选择合适的 AMI以及深入学习实践教程

基于 Conda 的新 Deep Learning AMI

基于 Conda 的 AMI 预安装了 Python 环境,适合使用 Conda 创建的深度学习。每个基于 Conda 的 Python 环境都配置为包括常见深度学习框架及其依赖项。将它视为一个完全备份的虚拟环境,随时可以运行您的深度学习代码,例如,用来训练神经网络模型。我们的分步指南提供了有关如何为所选深度学习框架激活环境或使用简单的单行命令在不同环境之间进行切换的说明。

该 AMI 的优势不止于此。该 AMI 上的环境以相互隔离、独立的沙盒形式运行。这意味着,当您在沙盒内运行自己的深度学习代码时,可以全面了解和控制其运行时环境。您可以安装新软件包、升级现有软件包或更改环境变量,完全不用担心影响 AMI 上的其他深度学习环境。  这种级别的执行环境灵活性和精细控制还意味着您现在可以对深度学习模型运行一致和随着时间推移可再现的测试以及设置性能基准。

最后,该 AMI 提供直接集成 Jupyter Notebook 的可视化界面,因此可以切入和切出环境、在所选环境中启动 Notebook,甚至是重新配置环境,这一切操作都只需从 Jupyter Notebook 浏览器中单击一下鼠标。我们的分步指南介绍这些集成以及其他 Jupyter Notebook 和教程。

(more…)