亚马逊AWS官方博客

Category: 计算

EC2 内存中处理更新:具有 4 到 16 TB 内存 + SAP HANA 横向扩展到 34 TB 的实例

我每个月都会多次在西雅图的执行简报中心与 AWS 客户畅谈。我会介绍我们的创新过程,并讨论如何根据客户的要求和反馈更好地制定每个 AWS 产品的路线图。一个很好的例子就是,在我们的努力下,AWS 已经成为 SAP 业务解决方案产品组合的理想平台。多年来,我们的客户向我们透露,他们在 AWS 中运行大规模 SAP 生产应用程序,而我们一直努力为他们提供旨在满足其工作负载的 EC2 实例。由于 SAP 安装始终是任务关键型应用产品,因此 SAP 对其产品可以在特定类型和大小的 EC2 实例上使用进行认证。我们直接与 SAP 合作以取得认证,并使 AWS 成为运行其产品的强大可靠的平台。下面快速回顾我们在这个领域的一些最重要的公告: 2012 年 6 月 – 我们扩大了在 AWS 上提供的经过 SAP 认证的解决方案系列。2012 年 10 月 – 我们宣布 SAP HANA 内存中数据库现在可以在 AWS 上开展生产运行。2014 年 3 月 – 我们宣布,SAP HANA 现在可以在具有高达 244 GB 内存的 cr1.8xlarge […]

Read More

带您玩转Lambda,轻松构建Serverless后台!

Amazon CTO Werner Vogels曾经在AWS re:Invent大会上提到: 如果把云计算理解成一个执行环境,那么,在这个环境里,函数(即业务逻辑的载体)+数据(即跟业务相关的输入与输出)就是应用的核心,有了Functions、Data、Event这三者,其它任何代码和框架,无非是整个应用的胶水和UI罢了。那么,最理想的情况就是用最少的时间写胶水,将更多的时间投入到核心应用的开发中,甚至,彻底实现整个软件栈的微服务化。 那么能不能做到呢?答案是肯定的。AWS Lambda也在这样的背景下应运而生了,其实在很多人眼里,Lambda是一个具有“革命性”的服务,我本人也非常喜欢Lambda这个服务,因为它给我的感觉是: 轻、快、高可用!能够快速将想法写成代码,并应用到生产,不需要关心底层基础设施的运维。接下来,让我们一起搭建一个serverless的后台! 【1】AWS Lambda怎么用? 怎么学习Lambda呢?让我们从一个简单的数学问题开始,10以内乘法和加法运算,获得随机的一个数字。代码有注释,如下: //Node.js尽量全使用严格模式 ‘use strict’; //利用console.log可以将日志自动打到CloudWatch里面 console.log(‘Loading function’); exports.handler = (event, context, callback) => {     //定义一个最小值为2     var min = 2;     //定义一个最大值为10     var max = 10;     //生成一个随机数,乘以最大值,再加上一个最小值     var generatedNumber = Math.floor(Math.random() * max) + min;     //利用callback回调,得到结果。     callback(null, generatedNumber); […]

Read More

使用AWS控制台或命令行将AWS IAM角色附加到现有的Amazon EC2实例中

简介 AWS IAM(身份和访问管理服务)中的角色使您的应用程序在Amazon EC2上能够使用临时的安全凭证自动实现AWS服务的创建,发布和内容修改。使用这样的临时凭证是IAM的最佳做法,因为您不再需要在实例上维护一个或多个长期密钥。对EC2使用IAM角色也无需再使用必须手动或以编程方式管理的长期AWS访问密钥。 例如,应用程序必须通过AWS证书签署API请求。因此,如果您是应用程序开发人员,您需要一个策略来为EC2实例上运行的应用程序管理证书。您可以安全地将您的AWS证书分配至实例,从而允许这些实例上运行的应用程序使用您的证书签署请求,并保护其免受其他用户的影响。但是,要将凭证安全地分配至每项实例有一定难度,尤其是AWS以您的名义创建的实例,例如竞价型实例或Auto Scaling组中的实例。当您更换AWS证书时,您还必须能够更新每项实例上的证书。IAM角色能够委托授权以发出API请求,而不用创建并分配您的AWS证书。详细解决方案,请查阅文档适用于Amazon EC2的IAM角色。 之前,IAM角色只能在实例创建设置时添加,这导致了过去创建的实例和忘记添加IAM角色的实例无法使用IAM角色操作实例,从而被迫重新部署实例及应用程序。从现在开始,您可以通过将IAM角色附加到现有的尚未被角色附加的EC2实例,来使用AWS提供的临时安全证书操作EC2实例,您还可以随时替换附加到现有EC2实例的IAM角色。 适用范围 文中的操作步骤已于2017年2月23日验证通过,其中AWS CLI版本1.11.48,在AWS全球和AWS中国区均能正常使用。 解决方案 1.   创建IAM角色 2.   将IAM角色附加给现有EC2实例(最初没有IAM角色附加) 3.   更换附加到Amazon EC2的IAM角色 4.   移除附加到Amazon EC2的IAM角色 本文假设您具有创建IAM角色的权限,并具有调用EC2 API的权限。 AWS命令行操作步骤中所有出现的占位符{Some Words},都应该替换为实际资源名称。 AWS控制台操作步骤 1.  打开EC2控制面板,并选择左侧边栏的“实例”。 2.  选择您的实例,依次点击上方的操作->实例设置->Attach/Replace IAM role 3.  打开IAM role下拉菜单,选择您想要附加给当前EC2的IAM角色,No Role代表不附加角色,选好后点击右侧的Apply按钮。选择并应用的过程实际上包含了:将IAM角色附加给现有EC2实例(最初没有IAM角色附加);更换附加到Amazon EC2的IAM角色;移除附加到Amazon EC2的IAM角色。 4.  如果您选择了No Rule(即移除EC2上的IAM角色),会显示如下页面: 5.  如果您未作出有效的修改,会显示如下页面: 6.  如果您的修改有效,会显示如下页面: AWS命令行操作步骤 开始操作之前,请确保您的CLI版本大于等于1.11.48。如果您对当前自己的CLI版本有疑问,可以在命令行中执行以下命令进行版本查询: $aws –version 如果您已经有 pip 和支持的 Python 版本,则可以使用以下命令安装 […]

Read More

敬请期待——Amazon EC2 Elastic GPU

在之前的文章中,我们曾经探讨过基于GPU的通用计算所带来的优势,而最近P2实例更是升级到可以搭载16 块GPU。正如之前所提到,GPU能够提供极为强大的处理能力与资源规模,同时可有效降低您时间及整体计算成本。 今天,我很高兴向大家公布一项我们正在努力开发的全新GPU功能。大家将能够很快向现有的各种EC2实例类型中加入图形加速机制。在使用G2或者P2实例时,实例的具体规模将决定其中包含的GPU数量。虽然这种方式适用于多数应用类型,但我们认为,同样存在大量需要配合更新且更为灵活的GPU使用模式的应用实例。 Amazon EC2 Elastic GPU 即将推出的Amazon EC2 Elastic GPU允许大家充分发挥这两类优势。大家可以选择最适合自身应用的EC2实例类型及规模,而后在启动该实例时指定您需要使用Elastic GPU,并从以下四种选项中做出选择: 名称 GPU内存 eg1.medium 1 GiB eg1.large 2 GiB eg1.xlarge 4 GiB eg1.2xlarge 8 GiB 现在,大家已经能够在启动新实例时自由创建EBS分卷。而在这项服务推出后,您将可以通过类似的方式使用Elastic GPU,即在启动过程中通过停止、修改与启动等选项指定必要的GPU资源规模——整个变更过程非常轻松。 从 OpenGL开始 我们的Amazon优化型OpenGL库将自动检测并使用Elastic GPU。作为初步方案,目前我们能够在Windows环境下支持Open GL,并计划未来为Amazon Linux AMI及其它OpenGL版本提供支持。我们还将整合对其它3D API的支持能力,具体包括DirectX以及Vulkan(如果大家对此抱有兴趣,请与我们联系)。我们还将在未来的版本中把Amazon优化型OpenGL库添加至现有微软Windows AMI当中。 OpenGL在渲染方面表现出色,但客户要如何查看渲染后的成果?问得好!选项之一是利用NICE的桌面云可视化工具将渲染内容以流媒体形式交付至任意HTML 5兼容型浏览器或者设备当中(AWS于今年早些时候收购了NICE)。支持最新版的Firefox与Chrome浏览器,以及全部智能手机与平板设备。   我相信这种独特的硬件与软件结合方案将适用于各类3D视觉与技术计算应用的托管用例。我们目前已经有两家客户与我们分享春反馈意见。 ANSYS公司企业解决方案与云副总裁Ray Milhem告诉我们: ANSYS Enterprise Cloud提供一套虚拟化模拟数据中心,其专门面向AWS进行优化。该云服务提供丰富的交互式图形体验,可用于支持端到端工程技术模拟流程,帮助我们的客户交付各类创新型产品设计方案。利用Elastic GPU,ANSYS公司将能够更为轻松地以符合客户价格与性能需求的方式提供出色体验。我们已经对运行在Elastic GPU上的ANSYS应用进行了认证,旨在帮助客户更为高效地立足云环境实现创新。 西门子产品生命周期管理(简称PLM)公司NX产品管理副总裁Bob Haubrock同样给出了非常积极的反馈意见: Elastic GPU堪称云环境下计算机辅助设计(简称CAD)的游戏规则改变者。凭借Elastic GPU的帮助,我们的客户现在能够在Amazon EC2之上配合专业级图形处理能力运行西门子PLM NX,同时充分发挥AWS提供的灵活性、安全性及全球化规模优势。西门子PLM对于NX在EC2 […]

Read More

Amazon Lightsail – 兼具 AWS 的强大功能与 VPS 的简易性

有的人喜欢用零件组装复杂系统 (房屋、计算机或者家具)。他们喜欢规划流程,认真研究每个零件,然后挑选那些能够按照他们的期望平衡强大功能与灵活性的零件。通过这样的规划,他们享受着将零件组装完工的过程。而有些人并不觉得这种自助 (DIY) 的方式有吸引力或者具有价值,他们只对尽快获得结果感兴趣,并不想在此过程中做出太多决策。 是不是听起来很熟悉? 我认为这种模式同样也适用于系统架构和系统构建。有时候您想要花时间去亲手挑选每个 AWS 组件 (服务器、存储、IP 地址等等),然后自己组装起来。但有的时候,您只是需要一个预先配置且预先组装的系统,您希望这个系统已准备就绪,可以让您运行自己的 Web 应用程序,而不必自己费力去构建系统。 在很多情况下,那些寻求预组装系统的人会求助于虚拟私有服务器 (或 VPS)。VPS 会为您呈现一些选项,每个选项都已准备就绪可运行,您通过支付可预测的每月费用便可使用。 VPS 是一个完美的入门工具,但随着时间的推移,其使用环境就会逐渐受限。从某种意义上来说,随着您的需求增长,您可能需要跨出现有计划的边界,但却发现您毫无选择,无法完成渐进式改进,因而就面临着需要作出颠覆性改变的境况。或者,您可能会发现自己可用于自动扩展或故障转移的选择有限,而且您需要自己来完成所有设置。 隆重推出 Amazon Lightsail 目前,我们正在推出 Amazon Lightsail。只需几次点击,您就可以从菜单中选择一种配置,并启动一个预配置了基于 SSD 的存储、DNS 管理和静态 IP 地址的虚拟机。您可以启动自己最喜欢的操作系统 (Amazon Linux AMI 或 Ubuntu)、开发人员堆栈 (LAMP、LEMP、MEAN 或 Node.js) 或应用程序 (Drupal、Joomla、Redmine 和 GitLab 等),而定价计划当中每月支付的固定费率自 5 美元起,还包括普遍支持的数据传输。 下面是相关计划和配置: 您将获得 VPS 的简便性,并有 AWS 的强大功能、可靠性和安全性作为后盾。随着您的需求增长,您将能够顺利跨出初始边界,连接额外的 AWS 数据库、消息发送和内容分配服务。 最重要的是,Lightsail 是您开始使用 AWS […]

Read More

GPU为Amazon Graphics WorkSpaces提供助力

从之前发表的《我爱我的Amazon WorkSpaces》一文就能看出,我是个WorkSpace的狂热支持者——我也从不不否认这一点。 自从这篇文章发表以来,我发现很多朋友都跟我有着同样的选择。众多AWS客户都乐于享受这种酣畅淋漓的安全桌面计算环境管理体验,我自然也是其中一员。作为用户,我们热爱WorkSpace这种强大的设备支持广度与能力——从Windows到Mac计算机、PCoIP Zero客户端、Chromebook、iPad、Fire平板乃至Android平板皆在其中。作为管理员,我们感激WorkSpace能够为任意数量的用户提供高水平云桌面。而作为企业领导者,我们则喜爱按小时或者按月付费来使用这套桌面方案的方式。 全新Graphics选项 此前爱好者们已经拥有多种硬件选项:Value版、Standard版与Performance版组合。其vCPU(虚拟CPU)数量为1或2个,内存为2到7.5 GiB,这些组合适用于多种办公生产型用例。 今天我们迎来了WorkSpace家族中的全新GPU助力型Graphics组合。这套组合提供的高端虚拟桌面非常适合3D应用开发者、3D建模师以及需要使用CAD、CAM或者CAE等工具的工程师用户。下面来看其规格参数: 显示——英伟达GPU,包含1536个CUDA核心与4 GiB显存。 处理——8个vCPU。 内存——15 GiB。 系统存储分卷——100 GB。 用户存储分卷——100 GB。 这套新的组合包已经在提供WorkSpaces服务的各服务区推出,且同样可在前文中提到的设备平台上运行。大家可以运行内含许可的操作系统(Windows Server 2008配合Windows 7 Desktop Experience),或者自行准备Windows 7或者10系统许可。各应用程序可使用其中的OpenGL 4.x、DirectX、CUDA、OpenCL,另外英伟达GRID SDK亦能够发挥其中GPU的性能优势。 在考虑PB级别数据的分析与可视化处理时,请注意这些实例能够与EC2、RDS、Amazon Redshift、S3以及Kinesis进行紧密协作。具体来讲,大家能够在服务器端处理计算密集型分析任务,而后对其进行渲染并直接在手边的WorkSpace上显著其结果。我个人对利用这些AWS服务组合创建令人赞叹的应用程序抱有信心,而且此类应用显然无法通过其它具备同样成本效益的方式加以实现。 Graphics Bundle与其它捆绑包之间存在一大重要区别。考虑到底层硬件的运作方式,运行此捆绑包的WorkSpaces在与AutoStop运行模式相结合时(我之前曾在〈Amazon WorkSpaces更新——按小时使用与Root分卷扩展〉一文中提到),其不会存储本地状态(包括运行中的应用以及已打开的文档)。我们建议大家在断开与WorkSpace间的连接或者不再续用之前,保存已打开的文档并关闭应用程序。 演示 我个人在工作中并不需要构建3D应用或者使用CAD、CAM乃至CAE工具。不过,我非常喜欢用乐高积木设计并搭建有趣的东西!我在这里启动了最新版本的乐高数字设计师(简称LDD),并花了一段时间雕琢自己的设计成果。虽然没有进行任何基准测试,但这套GPU强化型版本确实带来了理想的运行速度,且能够快速生成高质量成品。下面来看我做的一点设计研究工作: 设计完成之后,接下来就是搭建工作了。相较于挪动显示器来查看自己的设计方案,我得以直接利用自己的Fire平板登录Graphics WorkSpace。我能够快速缩放并旋转自己的设计方案——虽然这台平板本身的计算能力非常有限。下面来看Fire平板上WorkSpace的实际表现: 如大家所见,两套屏幕(台式机与Fire平板)的显示内容一模一样!我可以根据平板上的设计在自己的桌上排布乐高积木,并快速查看设计效果: 价格 Graphics WorkSpaces目前提供按小时计费的使用选项。大家需要支付小额的固定费用按月购买基础设施与存储资源,并在周期之内每小时支付额外的WorkSpace使用费。AWS开出的价格为美国东部服务区(北弗吉尼亚州)每月22美元加每小时1.75美元; 感兴趣的朋友可以点击此处查看WorkSpaces价格页面以了解更多信息。 作者:Jeff Barr, 亚马逊AWS首席布道师 原文链接: https://aws.amazon.com/cn/blogs/aws/new-gpu-powered-amazon-graphics-workspaces/

Read More

基于AWS 平台跳板机配置

很多用户通过跳板机对部署在AWS平台的应用系统进行日常维护,为管理私有网络的服务器提供便利,最小化了应用系统的安全风险,从而有利于提升整体架构的安全。 为达到更好的安全性,需要进行恰当的规划,通常可以考虑以下几个问题: 跳板机应该放置在哪个子网? 如何安全访问跳板机? 跳板机如何安全访问受管理服务器? 以下是结合这些问题基于AWS部署linux跳板机相关步骤。 一.网络规划 对于vpc的规划通常需要划分为若干个子网,分为公有子网和私有子网。公有子网中的实例可以直接从 Internet 接收入站数据流,私有子网中的实例则不可。公有子网中的实例可以直接向 Internet 发送出站数据流,私有子网中的实例则不可。但是,私有子网中的实例可以使用位于公有子网中的网络地址转换 (NAT) 网关访问 Internet。 根据以上描述不同子网的特点,我们需要把跳板机放置在公有子网中,以便接受管理人员通过internet的访问,受管理的服务器根据其在业务系统中充当的角色选择放置在公有子网或私有子网。在实际生产环境中根据需要可为跳板机设置一个独立的公有子网 。 如下图所示的vpc规划中,为跳板机实例划分了一个专用的公有子网,管理员可以通过登录到跳板机对放置在私有子网的服务器的管理: 二.跳板机部署 请参考以下链接,在公有子网中部署一台linux EC2实例,并为跳板机EC2分配  EIP: http://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/EC2_GetStarted.html 在实际部署中考虑到跳板机所需的工作负载,可以部署配置较低的实例类型。此外,出于成本和安全考虑,您也可以在不进行运维操作的时候将跳板机状态设置为”停止”,在每次运维需要的时候再“开启”跳板机。 为跳板机实例配置安全组。在创建EC2的过程中,在安全组规则中添加SSH服务的安全规则,根据实际情况限定连接的源 IP地址。如下图所示,只接受特定的 管理终端连接: 配置受管理服务器的安全组。配置安全组规则仅接受来自跳板机所对应安全组的访问请求: 配置管理终端。在管理终端依次导入跳板机和受管理服务器的证书私钥,登录跳板机后私钥信息将转发到受管理服务器完成身份验证。以下是针对linux环境和windows环境的管理终端为例: 在linux管理终端下通过ssh从跳板机登录到受管理服务器: 步骤一:在linux管理终端上运行ssh-agent启动ssh-agent进程 步骤二:将跳板机和受管理服务器对应证书的私钥依次添加到管理终端,执行方式如下(例如,私钥文件名称为xxx.pem): ssh-add  xxx.pem 步骤三:使用ssh -A 参数登录跳板机,-A 表示通过跳板机转发本地管理端保存的私钥信息,实现跳板机与受管理服务器之间的身份验证: ssh  –A  ec2-user@跳板机公网 ip地址  ——(以下假定linux ssh用户名为ec2-user) 步骤四:从跳板机直接通过受管理服务器的内网IP SSH登录服务器: ssh  ec2-user@受管理服务器的内网ip地址  在windows环境下通过Putty从跳板机登陆到受管理的服务器: 下载putty客户端,并且通过puttygen将私有证书生成ppk格式。 下载Putty环境下的SSH agent—-pageant 步骤一:将受管理服务器及跳板机所对应证书的私钥添加进pageant 启动pageant并右击图标,您可以先查看key list,如果受访问服务器所需私钥没有添加进key […]

Read More

我喜欢我的Amazon WorkSpaces

去年年初,我的同事 Steve Mueller 来到我的办公室,告诉我一项他认为我会感兴趣的内部试点计划。他解释说,他们正准备在 Amazon 上运行 Amazon WorkSpaces,并提出把我加入候选名单。我是一个喜欢生活在最前沿的人,自然接受了他的提议。 开始使用 此后不久,我开始在办公室的桌面上运行 WorkSpaces 客户端,那台电脑配置非常好,有两台显示器,内存充足。当时,我在工作日使用该桌面,出差或者在家办公时有一台单独的笔记本电脑。虽然我使用 Amazon WorkDocs 在两个环境之间共享文件,但切换环境时还是有些不顺畅。我得到了两组不同的浏览器标签、书签,诸如此类。无论我如何尝试,就是没有办法在各环境之间保持办公应用程序的同步。 在办公室使用 WorkSpaces 两周后,我意识到它的速度和响应能力与我的桌面相当。从此之后,我开始使用 WorkSpaces 作为我的主要工作环境,并慢慢脱离我曾经信赖的桌面。 我每周有两到三天在家办公。我家里的桌面配备了两个大屏幕显示器、大量内存、顶级的机械键盘,并运行 Ubuntu Linux。我在 Linux 系统上运行 VirtualBox 和 Windows 7。换句话说,我有一个快速且像素丰富的环境。 在我习惯了办公室的 WorkSpaces 之后,我在家里也安装了客户端并开始使用。这对我来说是向前迈进了一大步,瞬间开启了新的世界。现在,我能够使用快速而像素丰富的家用环境去访问我的工作环境。 此刻,您可能在想,客户端虚拟化和服务器虚拟化的组合一定很慢、有延迟,或者响应能力不如本地设备。但事实并非如此。我是一个非常苛刻的用户。我敲键盘速度飞快,我会同时打开大量窗口并频繁快速在窗口间切换,而且我绝对不能忍受被系统拖后腿。我的 WorkSpaces 速度快、响应能力强,让我拥有更高的工作效率。 移至零客户端 在我使用 WorkSpaces 几个月后,Steve 发消息跟我谈到了他的计划,他想要给试点计划的成员提供一些零客户端设备。我很喜欢他的想法,并同意参与。他和他的帮手 Michael Garza 帮我设置了 Dell 零客户端,并从 Steve 的办公桌下面搬来两台全新的显示器。此时,我的办公室桌面对我已经不再有用处了。我拔掉它的接线,向它的精诚服务表示敬意,然后把它送到复印室的硬件回收架。现在,我已经没有退路,只能完全依赖我的 WorkSpaces 和我的零客户端了。 零客户端是一个小巧而安静的设备。它没有风扇,也没有内部存储。它简单地连接至本地外围设备(显示器、键盘、鼠标、音箱和耳机)以及网络。它的发热量极小,并且与整套桌面相比可大量节能。 那时,我也经常需要到国内外各地出差。我开始在路上登录我的 WorkSpaces。这样做之后,我意识到我现在实现了一件非常酷的事,我拥有一个统一的工作环境,它可以横跨我的办公室、我的家庭和我的笔记本电脑。我有一套文件和一套应用程序,我可以从任意设备访问它们。现在我拥有一个便携式桌面,并且几乎可以从任何地点访问它。 我在使用远程 WorkSpaces 而不是本地计算能力的事实,很快就变得可以忽略不计。有一天早上,我用带有刺激性的标题给团队发了一封电子邮件说“我的 […]

Read More

分布式神经网络框架 CaffeOnSpark在AWS上的部署过程

一、介绍 Caffe 是一个高效的神经网络计算框架,可以充分利用系统的GPU资源进行并行计算,是一个强大的工具,在图像识别、语音识别、行为分类等不同领域都得到了广泛应用。有关Caffe的更多内容请参考项目主页: http://caffe.berkeleyvision.org/ 不过Caffe的常用部署方式是单机的,这就意味着它的水平扩展能力受到了限制。使用者可以通过在系统中添加多个GPU的方式提高并发度,不过其并发能力最终受到单系统可支撑的GPU数量的限制。同时,神经网络计算往往又是计算消耗很大的,所以人们在使用Caffe的时候都可能会希望有一种并行计算框架可以支持Caffe。 而我们知道Spark是基于内存的计算框架,基于Yarn, Mesos或者是Standalone模式,它可以充分利用多实例计算资源。因此,如果能够结合Caffe和Spark,Caffe的能力将得到更充分的发挥。 基于这些原因,Yahoo开源的CaffeOnSpark框架受到的极大的关注。 有关CaffeOnSpark的源代码和相关文档,请大家参考: https://github.com/yahoo/CaffeOnSpark 今天我们要进一步讨论的是如何在AWS EC2上部署CaffeOnSpark, 充分利用AWS服务提供的GPU实例构建强大的分布式神经网络计算框架。 在CaffeOnSpark的文档中有明确指出EC2上部署CaffeOnSpark的步骤,具体请参考: https://github.com/yahoo/CaffeOnSpark/wiki/GetStarted_EC2 但是文档的一些部分写得比较简单,初步接触的读者可能在执行过程中遇到一些问题,所以在这里将我个人的安装配置过程整理了一下供大家参考。 安装过程大概可以分为四部分: 下面会在“环境准备”一节中具体描述这几个步骤的细节。 二、环境准备 首先我们打开文档https://github.com/yahoo/CaffeOnSpark/wiki/GetStarted_EC2, 看看文档中刚开始的部分对于环境准备的要求。 里面首先提到我们需要准备“EC2 Key pair”, 就是要准备EC2启动需要的密钥对。当然,为了创建“EC2 Key pair”,为了启动EC2,你首先需要一个AWS账号。有关AWS账号的申请和基本使用这里就不细述了,请参考其它相关文档。需要注意的是你拿到的AWS账号需要有基本的权限才能完成CaffeOnSpark的安装工作,其中包括创建EC2实例,创建安全组等。 “EC2 Key pair”是你在创建EC2实例时创建的密钥对,创建过程中你有一次机会下载私钥文件,就是文中提到的pem文件。如果你之前没有创建过EC2,你也可以直接在EC2控制台的“网络与安全->密钥对”界面中点击“创建密钥对”按钮进行创建。同样,创建过程中你有一次机会下载pem文件,下载后注意保管好该文件,后面都会依赖这个文件。 按文档的描述,有了以上的资源以后就可以执行以下命令: 为了准备环境,我们需要先理解一下上面的脚本。脚本的刚开始部分是一系列变量的定义,我们先了解这些变量的作用。 第一句比较简单,从变量名可以知道这是指定了要使用的AMI的ID: 这个镜像是一个已经安装好Spark、CaffeOnSpark,并加载了常用神经网络测试数据的Ubuntu镜像。该镜像由CaffeOnSpark团队提供,已经共享给所有AWS账号。 不过稍有AWS使用经验的同学会意识到,这样的命令是针对特定的区域(Region)的,因为同一个AMI镜像拷贝到不同AWS区域时它们的AMI ID是不一样的。在命令行中如果指定了一个AMI的ID,就意味着这些命令只能在特定的AWS区域正常工作。 所以我们需要继续查看后续命令,看看哪里指定了区域。幸运的是,命令的第二行就是指定区域的命令: 我们知道区域代码“eu-west-1”指的是欧洲(爱尔兰) 区域,意味着我们运行完这个样例后我们的CaffeOnSpark群集是运行在欧洲(爱尔兰) 区域的。因为EC2 key pair也是按区域分的,所以我们创建的EC2 key pair也应该是在欧洲(爱尔兰) 区域。 为了在欧洲(爱尔兰) 区域创建你的EC2 key pair,你可以点击AWS控制台右上角的区域选择框,选择欧洲(爱尔兰) 区域,然后再按步骤进入EC2的控制台创建EC2 key pair. 同时,你也可以去EC2控制台的“映像->AMI”界面查找镜像ID为ami-5ff7782c的镜像,记得查看时选择“映像类型”为“公有映像”,而不是“我拥有的”。找到这个镜像你还可以仔细查看一下其它相关信息。 如果你发现镜像列表中没有ID为ami-5ff7782c的镜像,有可能你阅读本文的时候相关方已经更新了新的镜像,你可以去CaffeOnSpark的主页 https://github.com/yahoo/CaffeOnSpark […]

Read More

将VMware 中的Ubuntu 12.04 映像导入成Amazon EC2 AMI

(本操作文档部分叙述内容与技术知识引用自AWS官方网站) 要在 Amazon EC2 中使用您的 VM,您必须首先将其从虚拟化环境中导出,然后使用 AWS Command Line Interface (AWS CLI) 或 API 工具将其导入 Amazon EC2。(AWS Console不支持从VM导入AWS的操作功能。) 从总体上看,要将VM导入到Amazon EC2中,需要经过以下五个步骤: 1. 安装 AWS CLI。 2. 为 VM 导入 Amazon EC2 做准备。 3. 从虚拟化环境中导出 VM。 4. 将 VM 导入 Amazon EC2。 5. 在 Amazon EC2 中启动实例。 本次实验使用VMware Workstation 10,把Ubuntu原生镜像ubuntu-12.04.5-desktop-amd64.iso导入到VMware Workstation 10。自行个性化操作后,利用VMware Workstation 10导出OVF映像的功能,获得VM的vmdk文件。并用AWS CLI,以流优化型 ESX 虚拟机磁盘 […]

Read More