亚马逊AWS官方博客

AWS Team

Author: AWS Team

如何使用Amazon EC2 Systems Manager自动创建数据一致的EBS快照(Part 2)

作者:王宇 上一期我们讨论了如何在不关机的前提下实现AWS上实例的数据一致性快照问题,传送门:《如何使用Amazon EC2 Systems Manager自动创建数据一致的EBS快照(Part 1)》 在本文的介绍中,我们将共同探索如何利用Amazon EC2 Systems Manager(SSM)和Microsoft VSS (Volume Shadow Copy Service)来创建数据一致的EBS快照。 SSM + VSS数据一致快照的原理 VSS (Volume Shadow Copy Service)是一个Windows操作系统内置的服务,用来协调与VSS兼容的应用程序(如SQL Server、Exchange Server等)的备份工作,如冻结或释放这些应用程序的I/O操作等。 VSS服务能够启动和监督副本拷贝的创建。“副本拷贝”是指一个逻辑卷在某一个时间点上的数据一致快照。比如:“C:”是一个逻辑卷,它与EBS快照不同。创建副本拷贝的步骤包括: 请求方向VSS发出创建副本拷贝的请求。 VSS provider创建并维护副本拷贝。 VSS写入器(writer)保证数据的一致性。写入器负责在VSS provider创建副本拷贝之前固化临时数据并冻结I/O操作,并在VSS provider完成创建后释放I/O操作。通常情况下,会为每一个与VSS兼容的应用程序分配一个独立的写入器(writer)。 我们可以使用Run Command在windows实例中运行一个PowerShell脚本: $EbsSnapshotPsFileName = “C:/tmp/ebsSnapshot.ps1” $EbsSnapshotPs = New-Item -Type File $EbsSnapshotPsFileName -Force Add-Content $EbsSnapshotPs ‘$InstanceID = Invoke-RestMethod -Uri http://169.254.169.254/latest/meta-data/instance-id’ Add-Content $EbsSnapshotPs ‘$AZ = […]

Read More

混合云架构顿悟时刻

每周,我都会与好几个高管会面,他们正在使用云改变技术为其业务带来价值的方式。开始使用云的动机各不相同,但在我的谈话中,一个始终如一的主题是云可让组织将更多的资源投放在其核心业务上、更快地移动且更安全。 这种转变不会在一夜之间发生,我经常将这个过程称为旅程。在此期间,您的企业仍然需要运营现有 IT 资产以保持业务正常运行。虽然我提及的大多数企业都正在将其 IT 项目组合中的部分或全部项目迁移到云,但他们也意识到,云并不是一个“全有或全无”的价值主张。当每个企业都意识到这一点时,他们就能够将其本地 IT 资产与云联系起来,并利用这种联系逐渐将其 IT 项目组合的重心迁移到云。 去年,我写了有关云中的混合架构的三个神话的文章,时至今日,我在与高管讨论混合云架构时仍会遇到这些问题。如果您仍在梳理有关您的组织的混合云架构的观点,我建议您考虑一下我在那篇文章中提到的要点。 这篇文章的其余内容详述了当我担任 Dow Jones 的首席信息官以及我们首次实现混合云架构时,我的团队和我的“顿悟”时刻。 混合顿悟时刻 2012 年,我的老板 (随后成为了 Dow Jones 的首席执行官) 提出了一个假设,我们都认为这是一个巨大的商机:如果华尔街日报 (Dow Jones 旗舰 B2C 产品之一) 的所有订户拥有全球大部分财富,Factiva 和 Dow Jones Newswires (Dow Jones 的 B2B 产品) 的所有订户管理全球大部分财富,那么我们可以为他们提供一种用于相互联系和通信的机制来创建一个有价值的平台。 我们从零开始,并且想快速行动。我们组建了一个非常小的工程师和设计师团队来构建这个概念,让他们能够自由地选择他们认为可以完成这项工作的工具。6 周后,通过几个开源的自动化 AWS 服务以及大量的艰苦工作,我们便启动并运行了一个高可用性且不受灾难影响的应用程序。我们新发现的将技术交付给业务的能力很快成为了我们的“英雄”项目,并帮助我们鼓励我的团队和管理层利益相关者与我们一起踏上旅程。 随着我们将此应用程序集成到我们的更多产品中,我们发现还需要将它与我们的一些仅限内部使用的身份管理系统集成。这些系统中的一些系统不会 (也不应) 公开到 Internet 上,因此无法通过我们的在公共 Internet 中的 AWS 上运行的应用程序进行访问。 我们的网络、基础设施和开发团队的工程师已开始寻找解决这个问题的方法。经过一番研究,我们发现我们可利用 Amazon VPC 在我们内部的 IP […]

Read More

向员工传授云知识时需要考虑的 11 个注意事项

告诉我,我会忘掉。教导我,我会记住。让我参与,我能掌握。- Benjamin Franklin 我在上一篇文章中提到,只要让员工接受适当的教育,您就拥有了充分发挥云技术优势所需的资源。 那么,您 (首席变更管理官) 该如何教育员工,以便他们能够加快您的云之旅?每个组织的云之旅都将是独一无二的,但根据我的观察,取得成功的组织还是有一些共通之处的。以下是有关这些共通之处的 11 个注意事项: 1. 从有意义但很基本的事情做起。 当您的团队完成对业务至关重要的事情后,他们会即刻明白云技术的实际优势。我见过有些公司将工作重点放在了无足轻重的小事上面,结果,他们取得的进展比预想的要慢。当然,您肯定不希望在头几个项目上冒太大的风险,但您需要从足够重要、能够展示业务收益的项目开始。这样的项目有很多 — 简单的网站、移动应用程序、简化数据访问的 API 或文件备份/灾难恢复改进项目。如果将团队教育扎根于实际应用之中,他们就能更快地将学到的知识应用于更多的项目。 2. 利用 AWS 培训。 我在以前的文章中提到过 AWS 提供的几个很好的培训项目。这些项目帮助了成百上千家公司掌握了云技能。AWS 将每次培训合作都当成是改进的机会,开发了多样化的课程和各种授课机制,允许组织定制满足其特定需求的培训。我在道琼斯工作时,我们团队里的几乎每一位技术人员都接受过培训,这些培训内容后来汇总成了 AWS 技术基础知识课程。除了帮助我们的员工获得新技能以外,这些培训还打消了他们刚刚踏上云之旅时出现的莫名恐惧感。 3. 给团队一些时间进行试验。 营造试验文化是云之旅的下一条最佳实践,在激励员工学习时,这一点非常有用。创新来自于试验。借助云技术,您不必进行大量前期投资就能尝试各种新想法,这可帮助您的团队创造出颠覆性的行业产品。给您的团队一些自由度,让他们以新的方式实现现有项目。 4. 设定鼓励学习和试验的目标。 大多数公司会为员工设定目标和/或关键绩效指标,并将这些目标与绩效挂钩。这些现有机制是强化您的策略并产生您所期望的行为的良好途径。您可以围绕各种主题设置目标,例如:相关培训课程的完成度、释放了多少预算、采用适当的云架构后运营卓越性有多大改善等。这样做可以传递“领导层真心希望为每个人创造试验和学习机会”的信号。 5. 设定时间限制和前进步伐。 当您转向试验文化时,这一点尤为重要。毕竟,结果才是最重要的。您可以通过设定每个项目的截止日期来帮助团队成员在试验和运用其已学到的知识之间取得平衡。有时,您的团队可能会因为这些约束而作出妥协。随着云之旅进程的深入,您需要制定一个应对此类妥协的机制。但是,您的团队将一刻不停地学习和提高技能,以便为下一个项目做好准备。 6. 发现并消除变革阻力。 所有这些注意事项都旨在为员工提供帮助他们获得成功所需的工具,以减少员工对变革的抵制。但即使做好所有这一切,您的组织中还是会有人继续抵制变革。在阐明目的一文中,我对这一挑战作了说明。您需要理解团队的忧虑,心平气和地看待做得好和做得不好的地方,并迅速消除不必要的摩擦。这引出了我要讲述的下一个要点。 7. 不要害怕赋予员工新的角色。 以有意义的方式迁移到云不仅仅是技术转型,同样也是一场文化变革。我发现,给予员工担任新角色的机会可以帮助他们克服对变革的抵制。我一直偏向于首先检视公司内部,因为系统知识非常宝贵,通常是不必要的损失。在 Bloomberg 的 11 年任期里,我担任过六种差异极大的角色。拥有如此多的机会是我一直呆在 Bloomberg 的主要原因之一。寻找为员工提供新机会的方法可加强他们的参与感,有助于留住员工。 8. 向员工指明其在组织整体蓝图中的作用。 当您知道自己在组织大局中的作用时,很容易对自己的工作感到兴奋。请务必考虑到每一个角色,并传达其在团队中的重要作用。我再强调一下,了解组织如何将其目标与部门和/或个人目标协调一致,并找到一种方法来针对每个角色进行调整。 9. 参加行业活动,了解他人在做些什么。 大多数人可从他人的成功和失败经历中学到很多东西。到目前为止,我从事为大型公司制定云支持技术战略的工作已经五年多了。但令我惊讶的是,每次出席 AWS re:Invent、AWS 峰会及其他技术活动,我还是能学到不少的知识。请给您的员工一些时间,让他们梳理知识、了解新思想。了解各种各样的想法 (即使是您确定不会赞同的想法) 是创造教育机会和加强您的策略的良好途径。 10. 向您的合作伙伴学习。 […]

Read More

产品更新 – Amazon EC2 P3 实例多达 8 个 NVIDIA Tesla V100 GPUs 提供支持

自从我们于 2006 年发布最初的 m1.small 实例以来,在客户需求的推动以及不断发展的先进技术的支持下,我们后续推出了各种强调计算能力、超频性能、内存大小、本地存储和加速计算的实例。 新的 P3 现在,我们正在打造下一代 GPU 加速的 EC2 实例,这些实例将会在 4 个 AWS 区域提供。P3 实例由多达 8 个 NVIDIA Tesla V100 GPU 提供支持,可用于处理计算密集型的机器学习、深度学习、计算流体动力学、计算金融学、地震分析、分子模拟和基因组学工作负载。 P3 实例使用运行速度可高达 2.7 GHz 的 Intel Xeon E5-2686v4 定制处理器。有三种大小的实例可供选择 (所有均仅限 VPC 和 EBS): 模型 NVIDIA Tesla V100 GPU GPU 内存 NVIDIA NVLink vCPU 主内存 网络带宽 EBS 带宽 p3.2xlarge 1 16 GiB […]

Read More

现已推出 – 兼容 PostgreSQL 的 Amazon Aurora

去年年底,我提到过我们向 Amazon Aurora 添加 PostgreSQL 兼容性的计划。公告发布后不久,我们推出了封闭测试版,并于今年年初发布了一个公开预览版。在测试版和预览版期间,我们收到了很多极好的反馈,我们将倾尽全力确保产品满足乃至超出大家的期望! 现已正式发布 非常高兴告诉大家:兼容 PostgreSQL 的 Amazon Aurora 现已正式发布,您现在就可以在四个 AWS 区域 (将在更多区域发布) 使用它。它兼容 PostgreSQL 9.6.3,可自动扩展为支持高达 64 TB 的存储 (后台采用 6 路复制技术以提升性能和可用性)。 与兼容 MySQL 的 Amazon Aurora 一样,这是一个完全托管版本,非常容易设置和使用。在性能方面,吞吐量最高可达您自己运行 PostgreSQL 时的 3 倍 (可以参阅 Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases 了解我们如何做到这一点)。 您可以从 RDS 控制台启动兼容 PostgreSQL 的 Amazon Aurora 实例:引擎选择 […]

Read More

研究热点:基于 Apache MXNet 的开源 BNN (二值神经网络) 库 – BMXNet

这是一篇由德国波茨坦 Hasso Plattner 研究所的 Haojin Yang、Martin Fritzsche、Christian Bartz 和 Christoph Meinel 发布的客座文章。我们很高兴看到研究工作促进了深度学习在低功耗设备上的实际实施。这项工作在将强大的智能功能拓展到我们日常生活的过程中发挥着举足轻重的作用。 近年来,深度学习技术在学术界和行业里取得了良好的业绩和众多突破。但是,最先进的深度模型计算成本高昂、占用大量存储空间。移动平台、可穿戴设备、自主机器人、IoT 设备等领域的众多应用也对深度学习有着强烈的需求。如何在这样的低功耗设备上有效实施深度模型成了一大难题。 最近提出的二值神经网络 (BNN) 使用位运算代替标准算术运算,大大降低了存储器大小和访问要求。通过显著提高运行时效率和降低能耗,我们得以在低功耗设备上实施最先进的深度学习模型。这项技术与对开发人员友好 (相比 VHDL/Verilog 而言) 的 OpenCL 相结合,也使 FPGA 成为了深度学习的可行选择。 在这篇文章中,我们将为大家介绍一种基于 Apache MXNet 的开源 BNN (二值神经网络) 库 – BMXNet。开发完成的 BNN 层可以无缝应用于其他标准库组件,并且在 GPU 和 CPU 模式下均可工作。BMXNet 由 Hasso Plattner 研究所的多媒体研究小组维护和开发,在 Apache 许可证下发布。https://github.com/hpi-xnor 提供了该程序库以及一些示例项目和预训练二值模型等下载资源。 框架 BMXNet 提供支持输入数据和权重二值化的激活、卷积和全连接层。这些层称作 QActivation、QConvolution 和 QFullyConnected,经过专门设计,可直接替换相应的 MXNet 变体。它们提供了一个附加参数 […]

Read More

使用 Astro 如何构建 Astrobot Voice —— 电子邮件语音辅助工具

这是 Astro Technology, Inc. 首席技术官 Roland Schemers 撰写的一篇客座文章。用他们自己的话说,Astro “在人工智能的支持下,为人员和团队创建适用于 Mac、iOS 和 Android 的现代电子邮件应用程序。现在,使用应用内电子邮件语音辅助工具 Astrobot Voice,您不用离开 Astro 的应用程序即可阅读、管理和回复电子邮件。” 最近,Astro 发布了 Astrobot Voice,这是第一款应用内电子邮件语音辅助工具。这意味着,现在,您不用离开 Astro 的 iOS 或 Android 应用程序即可阅读、管理和回复电子邮件。 在 6 月份 Astro 发布 Amazon Alexa 技能后,我们期待让更多人能够通过语音管理电子邮件。在这篇文章中,我们从技术角度详细介绍了我们为何选择这条路、我们如何完成目标以及我们所使用的技术。 为何要构建应用内语音? 我们是 Amazon Echo 的所有者和粉丝,为了表示欢迎和对我们自己的 Alexa 技能进行 dogfood 测试,我们实际上为每位 Astro 新员工提供了 Echo Dot。我们看到技能获得了成功,并想出了多种与更多人在更多场合进行互动的方法。因此,我们决定探索构建应用内语音的可行性。 选择软件 在确定如何构建应用内语音时,我们考虑了一些选项,但同时谨记以下几点目标: 尽可能重复使用我们基于文本的辅助功能 (在 api.ai 上运行) 或 […]

Read More

使用 Amazon Rekognition 快速构建智能照片库

简介 在数据爆炸式增长的今天,数据在给生活的方方面面提供了便利的同时,也造成了一些困扰。以照片为例,过去以胶卷相框存储的形式被大量电子设备存储逐渐取代,现代虽然提供了更大容量的存储性能,却更难在短时间内找到指定的照片,我们不得不一页页的翻动照片库寻找某一张特定的照片。 AWS 提供了丰富的人工智能服务,在文本处理、语音、图像等方面解决了这些困扰。对于照片的例子而言,Amazon Rekognition 能快速有效的解决这样的问题。 Amazon Rekognition 是一种让您能够轻松为应用程序添加图像分析功能的服务。利用 Rekognition,您可以检测对象、场景和面孔;识别名人;还可以识别图像中的不当内容。您还可以搜索和比较面孔。借助 Rekognition 的 API,您可以快速为应用程序添加基于深度学习的复杂视觉搜索和图像分类功能。 应用场景 图像审核。在部分场景下,需要鉴定图片是否包含明显和暗示性的内容。例如自动审核提供给幼儿的读物,自动审核影片镜头的合规性。 对象场景检测。Rekognition 可识别数千种对象 (如车辆、宠物或家具) 并提供置信度。Rekognition 还可以检测出图像内的场景,如日落或沙滩。这可以应用在以图搜图、关键字搜图、图片自动分类等场景中。 其余图像处理场景。Rekognition 面部分析功能可以定位到图像中的面孔并分析面孔特征;Rekognition 面孔比较功能可以衡量两张图像中的面孔是否属于同一个人;Rekognition 面部识别功能可以在海量图像中找出相似的面部;Rekognition 名人识别功能可以识别出图像中名人的面孔并显示他们的名字。上述四个场景主要涉及到图像中面部元素的识别处理,可以应用在智能家居主客识别、人脸密码、酒店快捷入住等场景中。 效果展示 上传图片。 图一 显示图片,标签均自动生成。 图二 搜索标签。 图三 整体架构 您将使用到 Amazon S3, Amazon Cognito, Amazon Elasticsearch Service, Amazon Rekognition 以及用于生成以上资源的 AWS CloudFormation 来构建智能照片库。整体架构为无服务(Serverless)架构,简要工作流程如下: 终端用户使用 S3 静态网站功能运行前端静态网站。 使用 Cognito Federated Identities Pool […]

Read More

Amazon SQS 成本分配标签

您在很早以前就能够标记 AWS 资源并逐个标签地查看费用细分。训练营、认证和认证考试成本分配功能于 2012 年发布 (参阅客户账单的 AWS 成本分配),此后我们不断地添加更多服务支持,最新支持的服务为 DynamoDB (Amazon DynamoDB 成本分配标签简介)、Lambda (AWS Lambda 支持标签和成本分配) 和 EBS (全新 – AWS 快照的成本分配)。 现在,我们将发布适用于 Amazon Simple Queue Service (SQS) 的基于标签的成本分配。您现在可以将标签分配到您的队列并使用它们在任何需要的级别管理您的成本:应用程序、应用程序阶段 (针对通过队列进行通信的松散耦合的应用程序)、项目、部门或开发人员。在标记您的队列后,您可以使用 AWS 标签编辑器来搜索具有相关标签的队列。 下面是我要将三个标签 (应用程序、阶段和部门) 添加到我的一个队列的方法: 此功能现已在所有 AWS 区域推出,您可以立即开始使用!要了解有关标记的更多信息,请阅读标记您的 Amazon SQS 队列。要了解有关通过标签进行成本分配的更多信息,请阅读使用成本分配标签。要详细了解如何使用消息队列为现代应用程序构建松散耦合的微服务,请阅读我们的博客文章 (利用 Amazon SQS 和 Amazon SNS 构建松散耦合、可扩展的 C# 应用程序),并观看我们最近的网络研讨会使用 Amazon SQS 和 Amazon SNS 解耦和扩展应用程序的录像。 […]

Read More