亚马逊AWS官方博客

业务现代化的必备秘密武器:团队云培训

现代培训师的任务不是砍倒丛林,而是浇灌沙漠。 — C.S. Lewis

我很荣幸能够知晓数百位来自全球最大公司的高管们是如何使用现代技术和云实现企业转型的。转型并非易事 — 企业内部少数值得做的事 — 并且,在我看来,变化最大的阻力通常来自企业内部。人们 (天然) 对未知事物心存畏惧。任 Dow Jones 的 CIO 和 AWS 的 Enterprise Strategy 负责人时,我都发现,帮助团队成员克服对未知事物的恐惧最好办法    是对他们进行培训。

这也是我认为 Maureen Lonergan — 我个人的朋友,同时也是 AWS 的培训和认证负责人 — 肩负着世界上最重要的工作之一的原因。Maureen 和她的团队致力于对尽量多的人进行全面的云培训和教育。

今天,我十分高兴主持介绍 Maureen 的一篇文章,概述如何进行团队培训。
很多大型和小型企业正在考虑过渡到云技术,但是不知道自己的团队如何才能以最好的方式在业务中应用这项技术。作为 AWS 培训和认证部门的主管,我认为要最大程度利用云投资,最好的办法是投资于培训,帮助组织内的员工掌握云技能。这样可以利用现有员工的技能,更快实现业务目标,并对组织能够最大程度利用云技术充满信心。

这篇文章将探讨为什么培训是重要、有价值的云之旅步伐,以及具体来说,AWS 可以如何帮助您过渡到云并让您的员工变成真正的专家。

您已经有了所需的人

去年,Stephen Orban 撰写文章讨论过现有员工云技能培训的重要性。他说,“推动云迁移所需的所有人才都已经到位,您只需要激发他们即可。”

培训可以帮助您的员工利用他们已有的基本 IT 技能和系统知识转变为云角色。因为不必雇用新员工来担任云角色,所以培训现有的员工可以节省时间和资金。

从根本上说,无论采用什么云平台,越快评估现有角色和所需要的人才,然后投资于培训来培养员工,您的工作就越轻松。

培训可帮助您更快实现业务目标

员工经过培训,可以更好地使用云,从而让您更高效地完成业务目标。云培训可以让员工获得更快速地进行创新所需要的技能。

对于正在进行复杂迁移的组织来说,培训尤其重要。下面是培训可帮助加速角色转换的几个主要方面:

  • 培训将帮助员工了解如何使用云。例如,他们可以学习使用 AWS 有效管理、操作和部署应用程序。
  • 通过对团队进行知识培训,从而缓解团队焦虑感,这种方式可以增进内部认同。
  • 培训让员工有共识,他们可以更高效地合作。
  • 无论是在 AWS 还是其他平台方面进行了培训的员工,都能够更快地找到所需要的服务和解决方案,这意味着可以快速为客户开发更好的解决方案。

通过认证来验证掌握了知识

鼓励员工通过认证,让团队中的每个人都为所拥有的技能感到自信。AWS 认证核心团队有助于领导组织完成转变和实施最佳实践。认证可帮助您确定组织中哪些人可以获得晋升。

如果组织需要更多有云技术经验的人才,可以考察通过认证的人,这样您能够充满信心地任用这些人才。

AWS 培训和认证导览

AWS 培训和认证可帮助培养云技能,让您更轻松地过渡到 AWS 云,从而更快地最大程度利用投资。

AWS 培训有几种方式:

宣传日:

在培训开始之前或培训期间,您可以要求 AWS 前往您的公司,举办“宣传日”活动。如果您正苦于组织中其他人不认同云技术,或者只是需要有人帮忙更清晰地展示云技术优势,这会是特别有用的资源。“宣传日”各环节介绍诸多内容,如 AWS 常规优势,如何成为敏捷组织,以及云帮助创新的诸多方式。您可以联系 AWS 培训团队安排举办“宣传日”活动。

基于角色的培训:

AWS 为架构开发运营角色的员工提供基于角色的学习方法。每种方法都包括与员工使用 AWS 的方式最为相关的培训、实验和认证。每种方法都有助理级和专业级认证考试,以便员工检验其新技能的掌握情况。

自定义培训:

您可以与 AWS 合作制定自定义培训策略,包括安排哪些人参加哪些培训的分步指导和时间表。这样,可按照清晰的路线图培训员工。下面是一个示例,介绍组织如何分阶段进行培训:

第 1 阶段:对广大员工进行云宣传和基础知识培训

第 2 阶段:对技术员工和关键业务部门员工进行基于角色的基础培训

第 3 阶段:对具有相关经验的优秀技术员工进行助理级认证

第 4 阶段:根据需要对优秀技术员工进行高级专业的培训

第 5 阶段:对具有相关经验的优秀技术员工进行专业级认证

在线培训:

员工掌握基础知识后,可以通过免费或低成本的实验进行 AWS 实践练习。他们还可以了解有关大数据和安全性等主题的免费在线课程产品。通过这种简单、经济高效的方法,员工可以掌握组织云所需的技能。

使用方便:

无论您倾向于实际课堂培训还是在线培训,自学课程还是导师指导课程,AWS 都有适合您组织的选择。培训在全球以 8 种语言通过 AWS 和 APN 合作伙伴培训网络提供。这意味着培训可在您所在的位置以您当地的语言和自定义选项提供。

不止于知识

AWS 培训和认证可以帮助员工为迁移到云做好准备。归根结底,培训不只是增长知识和了解新事物。而在于帮助您的企业以更少的投入更快实现目标。通过适当的培训,员工将掌握云方面的知识,可帮助您利用云实现更多创新,更快地将产品投放市场。AWS 与授权 AWS 培训合作伙伴网络合作,在全球提供培训服务。您可以立即联系 AWS 培训和认证,开始制定您的培训策略。

 

Amazon ML 解决方案实验室简介

我们非常激动地宣布推出 Amazon ML 解决方案实验室,这是一项新计划,可将 Amazon 的机器学习专家与 AWS 客户联系在一起,帮助识别客户业务中机器学习的创新用途,并引导客户开发支持机器学习的新型功能、产品和流程。

Amazon 在机器学习方面的投入超过 20 年,在配送和物流、个性化和建议、预测、防欺诈以及供应链优化等领域均有创新。Amazon ML 解决方案实验室可让您与专家沟通联系,他们构建了许多以 Amazon Machine Learning 为强大后盾的产品和服务。Amazon ML 解决方案实验室合作旨在让您完成实施机器学习的整个过程;我们会举办各种教学研讨会和新手训练营、提供咨询专业服务并且在实践操作中帮助您使用自己的数据构建自定义模型。

在 Amazon ML 解决方案实验室的帮助下实施机器学习

Amazon ML 解决方案实验室在以下三个方面提供协助:

  1. 头脑风暴和目标公式化 – Amazon 的机器学习专家将与您合作,同时从您的潜在机会中反思,帮助您确定机器学习在哪些方面可发挥作用,解决您所面临的各种挑战,并指明一条清晰明确的途径帮助您取得成功。
  2. 自定义建模 – Amazon 的机器学习科学家将使用您自己的数据来构建可部署到生产环境中的自定义模型。这些科学家在解决诸如配送和物流、个性化和建议、防欺诈、异常检测、交易风险管理、安全性、预测、容量规划、文本和移动分析以及供应链优化等领域都有着丰富的经验。
  3. 培训 – Amazon ML 解决方案实验室不仅可以帮助您快速从概念转向原型,还可以通过这个过程向您传授知识和经验,让您接受专业培训。这样,您的开发人员能够在整个组织内传授知识、讲解新的经验体会并传播对机器学习的热情,建立良好的机器学习实践和打造一流的卓越中心。

各种各样的合作模式

Amazon ML 解决方案实验室将与您一起,根据您的需求定制合作模式,包括邀请您使用西雅图 AWS 总部的专用设施,或者将机器学习模型开发人员派驻到现场与您一起工作。另外,根据解决方案的性质,合作时间长度可以从几周到几个月不等。如果您已经准备好用于机器学习的数据,AWS 建议您参加 Amazon ML Solutions Lab Express 计划。这是一个为期四周的计划,时间安排比较密集,从在 Amazon 举办的为期一周的新手训练营开始,之后是三周与 Amazon Machine Learning 专家一起紧张地构建问题解决和机器学习模型。

Amazon ML 解决方案实验室将为您提供切实可行的模型。此外,您可以预期通过研讨会、辅导和新手训练营等形式接受各种各样的培训和教育,使得开发人员可以将他们在这个过程中学到的知识应用到组织的其他地方。

准备好开始使用?

请联系您的 AWS 客户经理,了解如何开始。如果您还没有 AWS 客户经理,请联系销售人员。有关计划细节的更多信息,请访问 https://aws.amazon.com/ml-solutions-lab


作者简介

Vinayak Agarwal 是 AWS 深度学习高级产品经理。他满怀热忱地工作,目的是让全球 AWS 客户能够更轻松地学习和使用深度学习,工作重点是通过 Amazon ML 解决方案实验室计划为客户提供支持。在业余时间,他喜欢参加志愿项目、打网球、阅读哲学和社会心理学书籍。

《制作无人驾驶车辆》第 4 部分:通过 Apache MXNet,为您的自动驾驶车辆应用行为克隆技术

在我们无人驾驶车辆系列的第一篇博客文章中,您制作了一辆 Donkey 车并将导航服务器部署到了 Amazon EC2 实例上。在第二篇博客文章中,您学习了如何驾驶 Donkey 车辆,Donkey 车辆也学习了如何自行驾驶。在第三篇博客文章中,您学习了如何通过 AWS IoT 将 Donkey 车辆的遥测数据流式传输到 AWS 的过程。

在这篇博文中,我们将深入探讨实现车辆自行驾驶的深度学习框架,并介绍采用卷积神经网络 (CNN) 的行为克隆概念。CNN 是一项面向计算机视觉任务的先进建模技术,可帮助解答车辆可能会遇到的问题,例如,“我前面是轨道还是圆锥形路标?”


1) 在 AWS 上制造一辆无人驾驶车辆,并参加 re:Invent 机器人车拉力赛
2) 《制作无人驾驶车辆》第 2 部分:驾驶您的车辆
3) 《制作无人驾驶车辆》第 3 部分:连接您的无人驾驶车辆
4) 《制作无人驾驶车辆》第 4 部分:通过 Apache MXNet,为您的自动驾驶车辆应用行为克隆技术


P2 上的 Donkey 训练数据设置

我们已在博客文章 2 中详细演练了如何运行训练。但是,让我们在这里回顾一下关键步骤和命令:

  1. 将数据从 Pi 复制到 Amazon EC2 实例:
    $ rsync -rva --progress -e "ssh -i /path/to/key/DonkeyKP-us-east-1.pem" /home/pi/d2// ec2-user@ec2-your-ip.compute-1.amazonaws.com:~/d2/data/
  2. 启动训练过程:
    $ python ~/d2/manage.py train --model /path/to/myfirstpilot
  3. 将训练过的模型复制回 Pi:
    $: rsync -rva --progress -e "ssh -i /path/to/key/DonkeyKP-us-east-1.pem" ec2-user@ec2-your-ip.compute-1.amazonaws.com:~/d2/models/ /home/pi/d2/models/

模型幕后

在本部分中,我将讨论模型学习的内容以及它如何能够自行驾驶。目前制作的 Donkey 车辆使用 Keras 作为其默认的深度学习框架。AWS 正在添加面向 Apache MXNet、Gluon 和 PyTorch 等其他框架的支持。在这篇博文中,我们将使用 Apache MXNet 来深入分析实现自动驾驶的模型的内部工作原理。如前所述,我们使用名为行为克隆的技术来实现车辆的自动驾驶。基本上,此模型基于训练数据学习驾驶,而训练数据则是通过环绕轨道行驶收集而来的。保证大部分数据都很“干净”非常重要,也就是说,假定我们的目标始终未偏离轨道,那么训练数据中车辆脱离轨道或转弯错误的图像就不会太多。就像驾驶员控制方向盘,保证车辆在车道上行驶一样,我们将制作一个会根据当前场景确定转向角的模型,引导我们将问题模型化为“根据输入图像,我们需要采用哪种转向角?”。实际驾驶情况更复杂,因为涉及到了加速和变速齿轮等更多组件。为了简单起见,我们在开始的时候先把油门固定到某个百分比,然后再让车辆行驶。在实践中我们发现,对于备用训练数据,25-30% 的油门已被证明是 Donkey 车辆的最佳行驶速度。

为实现这一目标,我们将使用名为卷积神经网络 (CNN) 的深度学习技术。CNN 已成为面向计算机视觉问题的实际网络。CNN 由多个卷积层组成,其中每个节点都与一个名为感受野的小窗口关联。这可以让我们提取图像中的局部特征。像“图像中是否有轨道或人?”这样的问题就可以通过使用先前计算出来的这些局部特征进行计算。您可以在此处找到有关 CNN 工作原理的详细说明。

数据集

在这篇博文中我将使用一个数据集,这个数据集是车辆环绕轨道行驶大约 15 分钟收集来的。如前所述,我们会先过滤一下,将车辆明显不在轨道上的图像丢弃。Donkey 软件已经提供了一个基于浏览器的 UI,用来删除“坏”的图像 (命令: donkey tubclean <包含 Tub 的文件夹>)。与此类似的、车辆在轨道上行驶的图像数据集可在此处获取

(more…)

在 Amazon EMR 上运行带有多种 GPU 实例类型的深度学习框架

今天,AWS 很高兴地宣布 Amazon EMR 将支持 Apache MXNet 和新一代 GPU 实例类型,让您可以在进行机器学习工作流程和大数据处理的同时运行分布式深度神经网络。此外,您还可以在采用 GPU 硬件的 EMR 群集上安装并运行自定义深度学习库。通过使用深度学习框架,您可以使用新工具包来处理多种使用案例,包括无人驾驶车辆、人工智能、个性化医疗和计算机视觉。

Amazon EMR 提供一个 Hadoop 托管框架,可以让您轻松、快速且经济高效地使用 Apache Spark、Apache Hive、PrestoApache HBase 和 Apache Flink 等框架处理 Amazon S3 中的大量数据。您可以低成本安全、高效地处理大量大数据使用案例,包括日志分析、Web 索引、数据转换 (ETL)、财务分析、科学模拟、实时处理和生物信息。

多年来,EMR 一直致力于帮助您运行可扩展的机器学习工作负载。2013 年,我们增加了对 Apache Mahout 的支持,以帮助您使用 Apache Hadoop MapReduce 来运行分布式机器学习工作负载。2014 年,客户开始利用 Apache Spark (我们在 2015 年增加了官方支持),以便利用 Spark ML 中提供的各种开源机器学习库来轻松构建可扩展的机器学习管道。

在过去 2 年内,我们还增加了对 Apache Zeppelin 笔记本、易于安装的 Jupyter 笔记本以及适用于交互式 Spark 工作负载的 Apache Livy 的支持,从而让数据科学家可以轻松快速地开发、培训以及将机器学习模型投入生产。EMR 的按秒计费方式以及使用 Amazon EC2 竞价型实例可实现的高达 80% 的成本节约,使您可以低成本轻松运行大规模的机器学习管道。 (more…)

re:Invent 大会期间的 AWS 云幕后故事

当您漫步在 AWS re:Invent 大会现场时,不妨花点时间来思考一下,对于需要整合在一起的所有要素,您有哪些期望…

从会议地点开始,我的同事们选择最合适的场馆,精心设计各种研讨会,挑选发言嘉宾,制定日程表,选择色彩方案,准备电子或印刷的所有指示牌等等,我们所有这些努力的目标是,希望为您和成千上万的其他 AWS 客户创造一个优良的学习环境。

不过,通常情况下,您看到的只是表面的那一部分而已。在幕后,我们将人员、流程、计划和系统有机地组织起来,将所有这些基础设施安排到位,让各个部分都运作得如此顺利,以至于您通常不会注意到这些细节。

今天我想说的是,re:Invent 大会基础设施的关键部分实际上位于地下。除了为您的手机、平板电脑、相机、笔记本电脑和其他设备提供一流的 Wi-Fi 连接之外,我们还需要确保在从现场直播主题演讲到 WorkSpaces 支持的动手实验室等各项活动中,彼此之间的连接以及互联网连接正常工作。要确保在沿着拉斯维加斯大道上各个酒店中举办的各项活动正常开展,可靠、低延迟的连接至关重要!

感谢 CenturyLink/Level3 的大力支持
多年以来,我们一直在与 Level3 的优秀员工合作,共同实现这一目标。他们最近成为了 CenturyLink 的一份子;CenturyLink 现在是 re:Invent 大会的官方网络赞助商,负责提供将各个 re:Invent 会场连接在一起的光纤网络和线路等服务。

为了让大会顺利举办,他们在大道下面埋设了两英里的暗光纤,路由到两个独立的 AWS 区域中的多个可用区。金沙博览中心配备了 10 Gb 冗余连接,其他场馆 (Aria、MGM、Mirage 和 Wynn) 分别预配置了 2 到 10 Gb 连接,这意味着大道半数以上的区域都支持 Direct Connect。根据某处设施 IT 经理的说法,这可能是拉斯维加斯有史以来配置的最大临时混合网络。

在 Wi-Fi 方面,showNets 接通到同一个网络;您的设备可以直接与 Direct Connect 接入点通信 (这太酷了!)。

下图概要说明了这些功能如何结合在一起:

CenturyLink 团队将在 re:Invent 大会现场值班,并通过推特发布整周内的实时网络统计数据。

我希望我们在幕后和街道下的这些工作,能够让您愉悦地享受本次盛会!

Jeff

AWS之旅:混合云构建及常见的应用场景

作者:袁春华,AWS解决方案架构师

混合云融合了公有云和私有云,是企业上云的中间之旅,也是云计算发展过程中的一种模式和阶段。出于如信息保密、行业合规、市场细分等因素或考虑,有些企业更愿意将数据存放在本地数据中心或私有云中,但是同时又希望可以获得公有云的计算资源、存储资源。在这种情况下,混合云在企业上云之初被广泛的采用。

1     构建混合云的关键技术点

1.1   网络连接

第一点,公有云具备用户自定义网络的能力。这里自定义网络泛指云上的私有网络,Amazon VPC允许企业用户在AWS云上自定义逻辑隔离的专用网络的能力,包括允许用户可以自行划分子网、配置路由,设置公网、VPN网关等基础能力。

第二点,多样、稳定的网络接入能力。混合云最突出的特点就是连接,连接方式主要分为两种:公网接入和专线接入。

为保护用户的信息安全,公网接入在Internet上的流量通常需要经过IPsec VPN加密,AWS提供了托管VPN服务和用户自建VPN两种方式,如果采用用户自建方式,一般小型VPN网关(200Mbps以下)可以通过虚拟软件VPN网关实现,中或大型VPN网关(300Mbps及以上)可通过硬件VPN网关设备实现。VPN部署一般半天即可完成,可以快速满足企业用户需求。

AWS Direct Connect(简称DX专线)为企业上云提供了专线接入能力,能够全时段、全方位的保障用户数据传输隔离加密,并保证可用网络带宽,用户无需担心容量太大而无法承载的问题。

示图1:AWS DX专线与VPN混合组网示意图

1.2   安全与监控

混合云在网络层面上将私有云和公有云进行了连接,如果发生网络故障或者攻击,需要有能力保障网络间故障不会相互影响,将攻击或者故障限制在一定范围之内。云上的网络环境需要具备灵活、易配置的网络安全访问控制能力。Amazon VPC提供了有状态的EC2实例级别的网络防火墙功能(安全组),还则提供了无状态的子网级别的网络访问控制(网络ACL)。

监控方面,Amazon VPC 提供了流日志(flow log)功能,可以利用此项功能来捕获传入和传出的网络IP流量信息。流日志数据使用 Amazon CloudWatch Logs 存储,创建流日志后,用户可以在 Amazon CloudWatch Logs 中监控和查看其VPC网络的流量传入和传出状态,并可通过CloudWatch预设告警策略以及时反馈网络异常。VPC流日志还可以帮助用户排查网络故障等问题,比如流量为什么没有进入到EC2实例的原因。另外,针对VPC流日志的分析,可以帮助检查AWS云上的网络安全设置,消除网络安全漏洞。

1.3   统一服务,混合云管理平台

云管理平台的定义是Gartner提出来的,总结起来就是两块,第一是管理,管理公有云、私有云,形成混合云。第二是自服务,镜像划分,计量与计费,以及基于策略的负载优化。云管理平台最终的目标是应用在云平台上运行时取得最优化的效果。

企业用户构建混合云平台之后,首先需要解决的就是服务门户的统一,资源状态监控界面的统一,在一个平台上实现本地数据中心(或私有云)和公有云资源的统一申请、统一审批、统一监控、统一计费。这样能够大幅度降低用户跨平台切换带来的复杂运维工作量,让用户跨平台的资源使用与监控更加方便。

示图2:混合云管理平台(CMP)功能示例图

2     常见的混合云应用场景

2.1   利用AWS公有云应对业务的爆发式增长

大多数互联网业务呈指数型增长,很难预测基础设施的储备量。一般在业务成长初期很长一段时间内,小规模的物理机托管可以满足用户需求。但随着市场推广活动展开,业务规模爆发增长,原物理托管机房可部署机位有限,只能选择公有云作为弹性手段,快速部署业务,满足用户需求。

今天已经有越来越多的企业用户将他们的互联网业务系统,诸如电子商务系统、Web网站、移动端产品和信息订阅服务系统迁移到AWS云上。应对业务规模爆发增长的用户需求,AWS云服务采用多种方式确保应用系统的可靠性和稳定性,作为最基础的云服务,Amazon EC2提供了大小可调的计算容量,用户可以根据自己的实际需求,完全控制所需的计算资源。配合AWS的Auto Scaling功能,用户可以按照事先设定的条件自动扩展Amazon EC2容量,确保所使用的Amazon EC2数量在需求峰值期间实现无缝增长以保持性能,同时也可以在需求平淡期间自动减少Amazon EC2数量以降低成本。此外,Elastic Load Balancing可以在多个Amazon EC2实例之间自动分配应用程序的访问流量,也可以检测出系统中不健康的实例并自动更改路由,将应用的访问流量导向健康的实例。通过不同功能云服务之间的组合,AWS云平台可以确保应用系统的高可靠性和稳定性。

示图3:混合云架构下的电商平台三层系统架构图

与早期基于传统数据中心的系统相比,依托AWS云平台的新系统在稳定性、可靠性和响应速度等方面都有了极大的提升,同时大幅度降低了固定资产投资(CAPEX)和运营成本(OPEX)。在传统数据中心模式下,用一台服务器的寿命大约为5年来计算,购入一台与Amazon EC2 c3.4xlarge机型(16 vCPU,30 GB 内存)配置对应的物理服务器,加上网络和托管费用, 核算出5年的总费用;如果按这个需求迁移到AWS云平台后,企业用户在总费用上可以节省20%。

使用AWS云服务也大幅度降低了用户的运营成本。在传统数据中心模式,企业用户的运维团队工作任务繁重,需要做很多简单、重复的工作,比如服务器的上下架、系统重装、硬件检修等。采用AWS云服务之后,运维人员可以把主要精力放在研究和部署更好的技术架构和方案上,提升了工作效率,减少了人力投入,运维人员的人力成本可以节省一半左右。

2.2   利用AWS公有云实现多地容灾的高可用架构部署

与前一类用户不一样,很多企业用户已经具有很大规模,在本地数据中心或运营商机房中运行大量服务器,他们的核心问题不再是担心基础设施部署速度无法满足业务增长,更多的是从稳定性、可靠性等寻求从单中心向多中心化发展,通过消灭单点,解决单数据中心故障带来的业务风险。

根据业务可靠性要求不同,一般多地容灾常见的采用方式有同城容灾、异地双活、两地三中心等。按照传统建设模式,用户只能重新选址并租赁数据中心,发起服务器、网络设备采购,部署网络环境等,中间涉及到一系列的商务沟通、基础设施建设等操作,周期往往从6个月到1年不等。而在公有云蓬勃发展的今天,他们可以不必担心此类问题,直接注册个账号,购买服务器,拉个专线,基础架构就搞定了。

AWS的混合云容灾架构,就是在AWS的云环境中实现“两地三中心”,同时利用AWS云中资源的弹性大幅度降低资源成本和建设以及运维的复杂性。AWS云资源池通过软件定义的方式,能够打造与企业内部完全相同的复杂IT环境,实现企业级应用的完整镜像。

成立于2005年的IGG,是全球领先的手机游戏开发商及运营商,为全球游戏玩家提供游戏和相关服务。为了给玩家提供最佳的用户体验,IGG需要在全球多个区域部署服务器。在使用AWS云服务之前,IGG拥有自建的机房,同时也采用多家公司的主机租用服务。随着业务的快速发展,原有的服务部署模式开始面临多方面的挑战,主要体现在三个方面:其一是服务器资源管理不方便、扩展性和灵活性受限制,当访问峰值来临时,部署新服务器的周期较长,而当某款游戏的访问量暂时降低时,又会造成已有服务器资源的浪费;其二是开发和运营新游戏时难以控制成本,因为对游戏运营公司来说,一款游戏是否成功受很多因素的影响,但在运营每一款新游戏时都需要投入大量的IT资源,万一不成功,则会浪费已购置的服务器资源;其三是如何建立双活的灾备系统以确保在任何情况下都能为全球玩家提供持续可靠的服务。

为了应对这些挑战,IGG开始考虑采用公有云服务作为自有数据中心(下面简称:自有IDC)的补充。经过考察、分析和对比,IGG决定采用AWS云服务,并从几年前开始尝试使用AWS在新加坡、法兰克福、日本、美国等可用区的云服务部署海外游戏节点。2016年8月,为了提升整个游戏运营系统的稳定性和可靠性,IGG决定为其位于北加州的核心业务系统建立双活灾备系统。使用AWS云服务给IGG带来的最大好处是用较低的成本建立起远程的双活灾备中心,实现了核心业务异地实时同步备份,在主机房出现故障时能快速切换到云端,保证服务的连续性。整个灾备系统完全满足IGG的业务需求:RTO不超过30分钟、RPO为0,增强了IGG游戏运营系统的稳定性和可靠性。除此之外,使用AWS云服务也节省了灾备系统的成本,因为利用AWS云服务建立双活灾备系统时并不需要1:1的资源配置,这点相比传统的本地灾备具有极大的性价比优势。

示图4: 基于AWS云服务的IGG双活灾备中心

AWS混合云容灾架构的用户价值: 从容灾系统的TCO上看,AWS混合云容灾解决方案更是具备明显优势。无需前期对硬件、软件的采购和安装,省去了大量前提投入成本。更重要的是,容灾方案中AWS云中资源可以选择不开机或只开启少量小机型资源,对于不开机的资源将完全不收取EC2虚拟机资源的费用,又能保持EC2虚拟机的状态和后台数据的增量更新。经过我们的测算,一个典型的容灾系统项目,以5年为周期进行计算,TCO只需花费原有私有云容灾环境的1/3,而第一年的投入资金更是传统项目的1/10。

另外,随着应用容灾系统迁移至AWS云中,可以将企业现有的容灾中心转变成生产中心,从而扩大客户自建数据中心的承载能力,或大幅降低IT资源的运营成本,享受更多AWS云带来的好处。下图从AWS混合云容灾开始,到容灾切换,到生产系统平滑上云的进阶演进图:

 示图5:AWS混合云容灾,到容灾切换,到生产系统平滑上云的进阶演进图

2.3   利用AWS公有云实现混合云备份

将数据备份到云端的好处显而易见:管理和操作更加便捷,无需搭建IT备份系统架构、将一次性大额支付变为每月或每年的按需付费,进而减少企业对IT资源的投入等等。现在越来越多的企业客户更倾向于通过其现有的备份软件或云网关,将其现有的备份体系架构扩展到云上。这样做的好处可以用云备份替换离线磁带,大大降低本地存储的资源开销,利用云端完成备份工作,更具性价比。

AWS Storage Gateway (又称“AWS存储网关”,架构图见示图6)是AWS提供的一种混合云存储服务,企业本地数据中心的内部应用程序可以借助它来无缝地使用 AWS 云上的存储资源(如S3,Glacier等),AWS存储网关可以帮助企业用户实现本地数据中心向AWS云端进行备份、存档、灾难恢复、云突增、分级存储分层和迁移。并具有无缝集成能力,企业应用程序或备份工具可以使用 NFS、iSCSI 等标准存储协议通过本地存储网关镜像设备连接到AWS云端的该存储网关,同时存储网关连接 Amazon S3、Amazon Glacier、Amazon EBS 等 AWS 存储服务,可实现文件、卷和虚拟磁带的存储或备份。

示图6:AWS存储网关服务架构示意图(Gateway-Cached Volume)

AWS存储网关具有高度优化的数据传输机制,能够进行带宽管理、自动实现网络弹性、高效传输数据,并为活动数据的低延迟本地访问提供本地缓存。

当然从企业用户的混合云备份需求角度,通常需要考虑:

  • 如何实现对于虚拟机和物理机进行统一管理?
  • 如何缩短备份时间?
  • 如何快速恢复? 能否恢复到任何环境(如物理机,虚拟机,云中的虚拟机) ?
  • 能否确保备份与恢复数据的完整性及安全性?
  • 如何实现冷热数据的分级存储,降低云上的存储成本?
  • 如何避免重复备份数据?

目前已经有很多国内外备份服务厂商基于AWS存储网关构建了一体化AWS混合云备份方案,利用AWS云存储资源便宜的特点帮助企业用户实现AWS云端备份,而且方案能很好的满足前述提到用户对混合云备份的要求。下图为国内某备份服务厂商基于AWS存储网关的混合云备份解决方案。

示图7:国内某备份服务厂商基于AWS存储网关的混合云备份解决方案

该备份服务厂商的AWS混合云备份解决方案具有如下优势和技术特点:

  • 操作简便:提供功能丰富,操作简便的用户界面,支持手工备份、时间计划、多任务多计划、备份状态监控、版本管理、恢复操作、并提供一键式故障转移切换功能。
  • 块级别全局重复删除数据:基于源端的重复数据删除技术,相同数据块仅发送和存储一次,可以减少备份时间80%以上,这不仅带来效率的提高、带宽、存储空间的节约;还保证窄带宽条件下大数据异地灾备。
  • 瞬间恢复:通过Snapshot技术,保证备份期间不需要关闭应用,定时对发生变更的数据块进行标记并实施迁移 (最小支持一分钟),在下一个备份时间点只检索被标记的数据块,这不仅节省磁盘IO,并且能够瞬间恢复数据。
  • 冷热数据分级存储功能:充份利用Amazon S3提供的生命周期管理策略的功能,用户通过简单的策略制定就可以自动化实现冷热数据的分级存储,冷数据自动归档存储到更便宜的Amazon Glacier上,既实现了用户长期归档的需求,还可以大幅降低云上的存储成本。
  • 支持Windows/Linux/Unix等多种环境的网络集中备份,同时支持多种应用服务类型,如各种常见的应用服务器、数据库(如MySQL、SQL Server、Oracle、Sybase、DB2)、 Domino、AD、Exchange、File server等等。
  • 三重数据安全:
  1. 硬盘锁:数据与设备进行绑定,数据只能恢复到原有硬件
  2. 无规则存放:数据以无规则的块存储,避免坚守自盗
  3. 通信与数据加密:私有通信协议,可选AES数据加密
  • 异地灾备与恢复: 备份到异地云计算中心,支持恢复到本地物理机、虚拟机、AWS云上虚拟机等多种不同平台,当本地数据中心出现物理故障时,这种异地恢复机制既可以满足企业用户异地灾备恢复的需求,还可以实现数据异地使用的业务价值。
  • 传输优化:经优化的灾难恢复和复制,几分钟内返回到联机状态。

作者介绍:

袁春华,AWS解决方案架构师,负责AWS合作伙伴生态系统的云计算方案架构咨询和设计,同时致力于AWS云服务在国内的应用和推广。在加入AWS之前,在IBM中国担任解决方案架构师,负责金融行业的方案咨询和架构设计,在企业软件架构、数据库、中间件软件等方面有丰富经验。

98、99、100 个 CloudFront 接入点!

九年前,我向您展示了如何使用 Amazon CloudFront 分发内容。2008 年我们推出 CloudFront 时它有 14 个接入点,然后就快速扩展。CloudFront 现在有 89 个边缘站点和 11 个区域边缘缓存,能够为世界各地数百万查看者生成的流量提供支持。

23 个国家/地区,50 个城市,并且还在不断增长
100 个接入点遍布全球,站点分布在 23 个国家/地区的 50 个城市。在过去 12 个月中,我们的网络扩大了约 58%,增加了 37 个接入点,其中 9 个位于以下新增城市:

  • 德国,柏林
  • 美国明尼苏达州,明尼阿波利斯
  • 捷克共和国,布拉格
  • 美国马萨诸塞州,波士顿
  • 德国,慕尼黑
  • 奥地利,维也纳
  • 马来西亚,吉隆坡
  • 美国宾夕法尼亚州,费城
  • 瑞士,苏黎世

还有更多接入点正在筹划中,包括阿拉伯联合酋长国的一个边缘站点,目前计划在 2018 年第一季度开放。

为客户创新
如前所述,我们的网络由边缘站点和区域边缘缓存组成。区域边缘缓存是在 re:Invent 2016 大会上首次发布的,它位于我们的边缘站点和您的来源服务器之间,内存量甚至高于边缘站点,使用它,我们可以将内容存储在查看者附近以便提高传输速度,同时减小来源服务器的负担。

虽然位置很重要,但位置只是我们的出发点。我们继续关注安全性,最近发布了 Security Policies 功能,并宣布 CloudFront 是一项 符合 HIPAA 要求的服务。我们发布了 Lambda@Edge,让您可以在用户附近运行 AWS Lambda 函数,从而为您提供更多内容服务和内容生成选项。

我们还致力于加快缓存失效和配置更改的处理速度。我们现在可以在请求后数毫秒内接受失效,并确认请求通常在 60 秒内就可以在全球范围得到处理。这有助于确保您的客户获得新鲜及时的内容。

请访问我们的 Amazon CloudFront 入门 页面获取注册信息、教程、网络研讨会、点播视频、办公时间等信息。

Jeff

全新 – AWS OpsWorks for Puppet Enterprise

在去年的 AWS re:Invent 大会,我们推出了 AWS OpsWorks for Chef Automate,这使客户能够将自己的 Chef Automate 服务器交由 AWS 管理。根据客户反馈,今天我们非常激动地将 Puppet Enterprise 引入到 OpsWorks 中。

使用 Puppet Enterprise,您可以通过每个托管节点上部署的 puppet 代理 自动设置、配置和管理实例。您只需定义一次配置,然后使用自动回滚和偏差检测将其应用于数千个节点。AWS OpsWorks for Puppet Enterprise 使您无需维护自己的 Puppet Master,同时无缝地配合您的现有 Puppet 工作清单。

OpsWorks for Puppet Enterprise 将为您管理 Puppet Master 服务器并完成安装、升级和备份等运营任务。它还可以简化节点注册并提供实用的初学者工具包来引导您的节点。更多详情请见下方。

创建托管 Puppet Master

在 OpsWorks 中创建托管 Puppet Master 非常简单。首先导航到 OpsWorks 控制台的 Puppet 部分,然后单击“Create Puppet Enterprise Server”。

在设置的第一部分,为您的 Puppet Master 配置区域和 EC2 实例类型。c4.large 支持最多 450 个节点,而 c4.2xlarge 可以支持超过 1600 个节点。Puppet Enterprise 服务器将预配置最新版本的 Amazon Linux (2017.09) 和最新版本的 Puppet Enterprise (2017.3.2)。

在下一个设置屏幕上,您可以选择配置用于连接 Puppet Master 的 SSH 密钥。当您进行任何重大的自定义设置时,这非常有用,但通常情况下,最好通过客户端工具与 Puppet 交互,而不是在实例本身上直接交互。

在此页上还可以设置 r10k 存储库以提取动态配置。

在高级设置页面中,可以选择有关 VPC、安全组、IAM 角色和实例配置文件的常规部署选项。如果选择使用 OpsWorks 为您创建实例安全组,请务必注意,该组默认处于打开状态,因此必须在稍后限制对它的访问。

该页面上要注意的两个组件是维护窗口和备份配置。如果有新的 Puppet 软件次要版本可用,并通过了 AWS 测试,系统维护机制会自动在 Puppet Master 上更新 Puppet Enterprise 的次要版本。AWS 会进行大量测试,确认 Puppet 升级已达到生产就绪状态,在部署时不会中断现有客户环境。通过自动备份,您可以将 Puppet Master 的持久备份存储在 S3 中并随时从这些备份中还原。您可以根据业务需求调整备份频率和保留期。

使用 AWS OpsWorks for Puppet Enterprise

当 Puppet Master 在进行预配置时,此控制台会提供两个有用的信息框。

您可以下载登录凭证以及示例 userdata,用于将 puppet 代理安装到您的 Windows 和 Linux 节点上。这里需要注意的是,如果本地节点能够连接到 Puppet Master,您还能够管理本地节点。

在完全预配置 Puppet Master 后,您可以像往常一样访问 Puppet Enterprise http 控制台和使用 Puppet。

实用详细信息

AWS OpsWorks for Puppet Enterprise 按托管节点的节点小时数收费。价格为每节点小时 0.017 USD 起,节点数量越大,价格越低 – 有关完整定价的页面,请访问此处。您还需要为运行 Puppet Master 所需的基础资源付费。在推出时,AWS OpsWorks for Puppet Enterprise 在美国东部 (弗吉尼亚北部) 区域、美国西部 (俄勒冈) 区域和欧洲 (爱尔兰) 区域提供。当然,您在控制台中看到的所有操作也可以通过 AWS 开发工具包和 CLI 实现。有关更多信息,请参阅入门指南

Randall

新交互式 AWS 成本管理器 API

我们在几年前发布了 AWS 成本管理器,以便您能够跟踪、分配和管理 AWS 成本。无论是该工具的发布还是之后进行的补充,反响都很不错。但是,客户的反应却和 Jeff Bezos 说的一样:“精美、出色,但不满意。”

我每天都对此深有感触。每当我们发布一些产品,就会激发客户提出更多要求。例如,当许多客户完全转向 AWS 云并将许多 IT 基础设施迁入其中后,就会请求获得馈送到成本管理器中的原始数据。这些客户希望以编程方式了解其 AWS 成本、按应用程序和部门成本更新账目和会计系统,构建用于汇总开支的高级别控制面板。有些客户甚至已经开始从成本管理器提供的图表和报告中提取数据并遇到了问题!

新成本管理器 API
今天,我们将以编程方式获得馈送到成本管理器中的基础数据。借助新成本管理器 API 提供的一组函数,您可以完成上述所有操作。您可以跨多个维度 (服务、关联帐户、标签、可用区等等) 对成本和使用率数据进行筛选和分组,按天或按月汇总,然后进行检索。这样一来,您就可以从简单处着手 (每月总成本),然后将请求细化到所需的任何细节层次 (写入已标记为 production 的 DynamoDB 表),并在数秒内就获得响应。

以下是具体操作:

GetCostAndUsage – 使用筛选和分组功能检索单个账户或所有账户 (组织中的主账户可以访问所有的成员账户) 的成本和使用率指标。

GetDimensionValues – 针对指定筛选条件,检索指定时间段内的可用筛选值。

GetTags – 检索指定时间段内的可用标签键和标签值。

GetReservationUtilization – 使用每日或每月粒度,加上筛选和分组功能,检索指定时间段内的 EC2 预留实例使用率。

我相信这些函数及其返回的数据能够让您做一些真正有趣的事情,帮助您更好地了解自己的业务。例如,您可以标记用于支持各个市场营销活动或开发项目的资源,然后深入研究成本以衡量业务价值。现在,您就能够知道为了应对网络星期一黑色星期五等重要事件而在基础设施上花了多少钱,分毫不差。

需知信息
在您开始思考如何使用 API 时,请记住以下几点:

分组 – 成本管理器 Web 应用程序为您提供了一个分组级别;API 提供了两个。例如,您可以先按服务然后再按区域对成本或 RI 使用率进行分组。

分页 – 函数可以返回大量数据并按照 AWS 范围的模型进行分页,方法是在其他数据可用时包含 nextPageToken 。您只需再次调用相同的函数,然后提供令牌,就能继续。

区域 – 服务终端节点位于美国东部 (弗吉尼亚北部) 区域,返回所有公有 AWS 区域的使用率数据。

定价 – 每个 API 调用花费 0.01 USD。就这一点而言,让我们假定您使用此 API 构建一个控制面板,每月的用户点击量为 1000 次。这个控制面板的运营成本应该为 10 USD 左右;这比设置自己的系统来提取和获取数据并响应交互式查询的成本要低得多。

成本管理器 API 现已推出,您可以立即开始使用。要了解更多信息,请参阅成本管理器 API

Jeff

Amazon QuickSight 更新 – 地理空间可视化、私有 VPC 访问及其他

在 AWS,我们通常不看重或庆祝周年纪念日。我们提供近 100 种服务,如果每个都纪念的话,那我们可能每周都要庆祝好几次,大家一起吃蛋糕、喝香槟。尽管这听起来很有趣,但我们宁愿将工作时间用在倾听客户需求和创新上。话虽如此,Amazon QuickSight 面世至今已有一年多了,我想在此为大家做一个快速更新!

操作中的 QuickSight
如今,成千上万的客户 (从初创公司到企业,遍及交通、法律、采矿和医疗保健等各行各业) 都在使用 QuickSight 来分析和报告其业务数据。

下面是几个示例:

Gemini 为加利福尼亚州的工伤律师提供法律证据收集服务。他们需要完成一系列工作,从创建自定义报告和运行一次性查询到创建和共享动态 QuickSight 控制面板以及细分列表和筛选条件。QuickSight 用于跟踪销售管道、衡量订单吞吐量并发现订单处理流程中的瓶颈。

Jivochat 提供了一个实时消息收发平台,从而连接访客和网站所有者。借助 QuickSight,他们可以创建和共享交互式控制面板,并提供对基础数据集的访问权限。这样一来,他们不仅可以共享静态电子表格,还能确保所有人同时查看,并能够根据当前数据及时做出决策。

Transfix 是一个技术驱动的货运市场,可以满足零售、餐饮、制造和其他行业中位列财富 500 强的配送商的货运需求,并提高物流的可见性。借助 QuickSight,不管是 BI 工程师还是非技术业务用户都可以执行分析。他们审视关键的业务和运营指标,包括运输路线、配送公司效率和流程自动化。

回顾过去/展望未来
QuickSight 上的反馈意见非常有帮助。客户告诉我们,他们的员工都在使用 QuickSight 连接公司数据、执行分析并依据数据快速做出决策,而完成所有这些工作无需设置或运行他们自己的 BI 基础设施。我们很乐意听取任何反馈意见,并利用它们推动我们的路线图,从而在短短一年内推出 40 多项新功能。总结如下:

展望未来,我们的客户群正在形成一个有趣的趋势。随着这些客户仔细观察他们分析和报告数据的方式,他们发现无服务器方法可以提供一些实际优势。他们将 Amazon Simple Storage Service (S3) 用作数据湖,并结合使用 QuickSight 和 Amazon Athena 进行查询,从而获得敏捷性和灵活性,而无需静态基础设施。他们还充分利用 QuickSight 的控制面板功能,监控业务成果和运营指标,然后与数百位用户分享他们的见解。如果您对此方法感兴趣,请参阅 Building a Serverless Analytics Solution for Cleaner Cities使用 Amazon Athena 和 Amazon QuickSight 执行无服务器大数据分析

新功能和增强功能
我们仍然在尽最大努力倾听和学习,并确保 QuickSight 能够继续满足您的需求。今天,我非常高兴地宣布,我们将新增七个重要功能:

地理空间可视化 – 您现在可基于地理数据集创建地理空间视觉对象。

私有 VPC 访问 – 您现在可以注册访问新功能的预览版,从而安全连接 VPC 或本地数据,而无需公有终端节点。

平面表支持 – 除了数据透视表以外,您现在可以使用平面表进行表格报告。如需了解更多信息,请参阅使用表格报告

计算 SPICE 字段 – 您现在可以在分析过程中对 SPICE 数据执行运行时运算。请参阅在分析中添加计算字段了解更多信息。

宽表支持 – 您现在可以使用包含多达 1000 列的表格。

其他存储桶 – 您可以将较长的高基数数据总结到存储桶中,正如使用 Amazon QuickSight 中的视觉对象类型中所述。

HIPAA 合规性 – 您现在可以在 QuickSight 上运行符合 HIPAA 要求的工作负载。

地理空间可视化
每个人似乎都在期盼这个功能!现在,您只需单击几下即可获取包含地理标识符 (国家/地区、城市、州或邮政编码) 的数据,并创建美观的可视化效果。QuickSight 将对您提供的标识符进行地理编码,还可以接受经纬度地图坐标。您可以使用此功能按州可视化销售情况、将店铺对应到运输目的地等等。下面是一个可视化示例:

要了解关于此功能的更多信息,请参阅使用地理空间图 (地图) 添加地理空间数据

私有 VPC 访问预览
如果您在 AWS 中 (可能在 Amazon RedshiftAmazon Relational Database Service [RDS] 或 EC2 中) 或在本地 Teradata 以及不具有公共连接的服务器上的 SQL Server 中拥有数据,则非常适合使用此功能。适用于 QuickSight 的私有 VPC 访问使用弹性网络接口 (ENI) 与 VPC 中的数据源进行安全的私有通信。借助此功能,您还可使用 AWS Direct Connect 为本地资源创建安全的私有链接。以下网址提供了图示:

如果您已准备好加入预览版,可以立即注册

Jeff