Author: AWS Team

多么充实的一周！Tara、Randall、Ana 和我一直忙于为我们在 AWS 纽约峰会上发布的公告撰写博客文章。下面提供的汇总信息可帮助您初步了解这一活动： Amazon Macie – 这项新服务可以帮助您发现、分类和保护海量的内容。以机器学习和使用自然语言处理 (NLP) 为强大后盾，Macie 可以识别模式并提醒您各种可疑行为，并帮助您完成治理、合规和审计工作。您可以阅读 Tara 的博文，了解如何使用 Macie；您可以选择感兴趣的存储桶，自定义分类设置，并在 Macie 控制面板中查看结果。 AWS Glue – Randall 的博文 (带有精美动画 GIF) 向您介绍了这种新的提取、转换和加载 (ETL) 服务。Glue 采用完全托管的无服务器架构；正如您在博文中看到的那样，Glue 可以爬取您的数据，推断模式，并使用 Python 生成 ETL 脚本。您利用各种各样的转换来定义将数据从一个位置移动到另一个位置的作业，每个作业都以代码形式表示，并以人类可读的形式存储。Glue 使用开发终端节点和笔记本，为您提供用于所构建脚本的测试环境。我们还宣布，Amazon Athena 现在已与 Amazon Glue 集成，并且 Apache Spark 和 Hive 在 Amazon EMR 上可用。 AWS Migration Hub – 这项新服务可帮助您将应用程序产品组合迁移到 AWS。我的博文简要介绍了主要步骤，并说明了 Migration Hub 如何加速、跟踪和简化您的迁移工作。您可以从发现步骤开始，也可以跳过这些步骤并直接开始迁移。Migration […]

我们乐于向客户提供有帮助的信息；在这里我非常高兴地向大家介绍另一个非常棒的系列。AWS 合作伙伴系列网络研讨会是一系列直播和录播演示视频，讲述各种各样的主题，涵盖不同的技术水平以及各种规模。与我们的 AWS 在线技术讨论稍有不同，每个 AWS 合作伙伴系列网络研讨会主持人包括一位 AWS 解决方案架构师，和一位已经成功帮助客户评估和实施了 AWS 的工具、方法和技术的 AWS 能力合作伙伴。 观看本月的网络研讨会，让我们知道您认为哪些内容对您最有用！所有时间安排都采用太平洋时间 (PDT)。 安全网络研讨会 Sophos 更进一步了解：ATLO 软件通过 AWS Link 上的 SophosUTM 来保护劳教所的在线培训解决方案。 2017 年 8 月 17 日 | 上午 10:00 (太平洋时间) F5 AWS 上的 F5：MailControl 如何提高应用程序的可见性和安全性 2017 年 8 月 23 日 | 上午 10:00 (太平洋时间) 大数据网络研讨会 Tableau、Matillion、47Lining、NorthBay 通过在 AWS 上实现数据仓库的现代化，获得洞察力并降低成本 2017 年 […]

和全球每一站AWS技术峰会一样，纽约站也是大咖云集、高朋满座，每一个参会者都怀着执掌未来的梦想和对云计算技术的信仰，前来学习、分享与碰撞创新的火花！ 给力新服务 今年AWS 技术峰会2017 纽约站的主题演讲环节，由AWS云架构战略副总裁Adrian Cockcroft主持。 Adrian Cockcroft在云计算界可谓声名显赫。此前他曾在Battery Ventures、Netflix和eBay等公司任职，曾经负责Netflix云架构的搭建，是公认的云架构领域的大牛！ 在主题演讲中，Adrian Cockcroft与AWS人工智能负责人Matt Wood博士重点介绍了多项令人激动人心的AWS新服务与新特性。这其中包括： Amazon Macie Amazon Macie使用机器学习和NLP技术帮助客户自动发现、分类和保护敏感信息，来防止丢失AWS中的数据。Amazon Macie能够自动识别敏感数据，如个人身份信息（PII）或知识产权等，并为客户提供仪表板和警报，以便了解这些数据的访问或移动。完全托管的服务能够持续监控异常的数据访问活动。当Amazon Macie检测到未经授权的访问风险或无意的数据泄漏时，它会生成详细的警报。 现在，Amazon Macie可以保护存储在Amazon Simple Storage Service（Amazon S3）中的数据，并将在今年晚些时候支持其他AWS数据存储。客户可以从AWS管理控制台启用Amazon Macie，并仅需在分析Amazon S3中内容和分析的AWS CloudTrail事件时，按照GB来付费，无需前期成本或软件购买。 AWS Glue正式上线 AWS Glue是一个完全托管的，提取、转换和加载（ETL）服务，使客户能够轻松准备和加载他们的数据到Amazon Simple Storage Service（Amazon S3）、Amazon Redshift、Amazon Relational Database Service（Amazon RDS）中，以及加载数据到运行在Amazon EC2上的数据库，来进行查询和分析。 只要在AWS管理控制台上点击几下鼠标，客户就能创建和运行ETL作业。接下来，客户只需将AWS Glue指向存储在AWS上的数据，AWS Glue就能发现关联的元数据（例如表定义）并对其进行分类，生成用于数据转换的ETL脚本，并将转换的数据加载到目标数据存储中，为需要的基础设施完成工作。使用AWS Glue，数据可以在几分钟内进行分析，并且由于AWS Glue是无服务器的，客户只需在执行数据准备和加载作业时，支付其消耗的计算资源。 AWS Migration Hub AWS Migration Hub提供了一个单一位置来跟踪跨越多个AWS和合作伙伴解决方案的迁移。使用AWS Migration Hub允许您选择最适合您需求的、来自AWS和合作伙伴迁移工具，同时让您可以了解整个应用程序组合中的迁移状态。这样您可以快速获得所有迁移的进度更新，轻松识别和排除任何问题，并减少迁移项目花费的总体时间和精力。 如果迁移工具在该地区可用，AWS Migration Hub可帮助您监控所有AWS地区迁移的状态。已连接的迁移工具会将状态发送到美国西部（俄勒冈州）的Migration […]

译者：殷实，AWS专业服务咨询顾问 |原文链接 动态DevOps环境中的IT治理 治理涵盖安全和生产力运营的协调，其目的是确保公司实现业务目标。 正在迁移到云端的客户可能处于实现治理的各个阶段。 每个阶段都有自己的挑战。 在这篇博文中（系列中的第一篇文章），我将讨论四步走的方法来自动化AWS服务的治理。 治理和DevOps环境 具有DevOps和敏捷思维的开发人员负责构建和运营服务。他们经常依靠中央安全小组制定和实施安全策略，寻求安全审查和批准，或实施最佳实践。 这些安全策略和规则并没有得到安全小组的严格执行。它们被视为开发人员为获得更多的使用AWS的灵活性而遵循的准则。然而，由于时间限制或重视度不足，开发人员可能并不总是遵循最佳实践和标准。如果这些最佳实践和规则得到严格执行，安全小组就可能成为瓶颈。 对于迁移到AWS的客户，这篇博文中描述的自动化治理机制将为开发人员保留灵活性，同时为安全团队提供控制。 在动态开发环境中，以下是一些常见的挑战： 通过捷径完成任务，例如将安全凭证硬编码在代码中。 成本管理，例如控制启动的实例的类型。 知识传递。 手动流程。 治理步骤 四步走的自动化治理方法： 在治理开始的时候，你需要实施一些（1）高风险操作的控制。在控制就绪后，你需要（2）监控你的环境，以确保你正确地配置了资源。监控将帮助你发现想要（3）尽快修复的问题。你还将需要定期地生成一份（4）审核报告，以展示所有内容都符合要求。 这篇博文中的例子协助阐明了四步走的自动化治理方法：中央IT团队允许其Big Data团队运行一个基于Amazon EMR集群的测试环境。该团队在100个t2.medium实例运行EMR任务，但是当一个团队成员使用100个r3.8xlarge实例来更快地完成任务时，业务会产生意外的费用。 中央IT团队关心治理，采取一些措施来防止这种情况再次发生： 控制要素：团队使用CloudFormation来限制实例的数量和类型，并使用AWS身份和访问管理来允许只有某个组可以修改EMR集群。 监控要素：团队使用AWS标记，AWS Config和AWS Trusted Advisor来监控EMR实例限制，并确定是否有人超额使用了被允许的实例数。 修复：团队创建一个自定义的AWS Config规则来终止那些不是指定类型的EMR实例。 审核：团队在AWS Config中审查EMR实例的生命周期。 控制 你可以通过标准化配置（通过AWS CloudFormation），限制配置的选项（通过AWS服务目录）和控制权限（通过IAM）来防范错误。 AWS CloudFormation可以帮助你在单个软件包中控制工作流环境。 在这个示例中，我们使用CloudFormation模板来限制实例的数量和类型，使用AWS标记来控制环境。 例如，团队可以通过使用限制了实例类型和数量的CloudFormation来阻止选择r3.8xlarge实例类型的选用。 CloudForamtion模板示例 包含标记的EMR集群 { “Type” : “AWS::EMR::Cluster”, “Properties” : { “AdditionalInfo” : JSON object, “Applications” : [ […]

作者：Sabari Radhakrishnan, Amazon Web Services（AWS）的合作伙伴解决方案架构师 译者：戴俊, Amazon Web Services（AWS）的专业服务团队SAP顾问 | 原文链接 您是否计划将SAP应用程序迁移到SAP HANA平台或使用SAP HANA启动新的实施？ 如果是这样，您可能会想知道Amazon Web Services（AWS）提供什么选项来运行SAP HANA工作负载。 在这篇博文中，我想讨论SAP HANA所需的核心基础架构组件以及AWS提供的构建模块，以帮助您构建AWS上的SAP HANA虚拟设备。 我希望这些信息可以帮助您了解概念层面的部署选项。 这是我们将在AWS主题上发布各种SAP的一系列博文中的第一篇，因此请经常回来看看。 如果您遵循SAP HANA定制数据中心集成（TDI）模式，内存，计算，存储和网络是SAP HANA所需的四个关键基础架构组件。 其中，内存是唯一取决于您的数据大小的变量。 计算，存储和网络的要求是从内存大小预设或派生的。 例如，根据内存大小，SAP已经有了标准的CPU核数到内存比的要求，以确定您需要进行计算的CPU核心数量。 关于存储，无论内存大小如何，您需要能够满足SAP HANA硬件配置检查工具（HWCCT）指南中规定的不同块大小和其他KPI的特定吞吐量要求。 最后，对于网络，特别是对于横向扩展情况，不论内存大小，您都需要能够在SAP HANA节点之间至少支持9.5 Gbps的网络吞吐量。 在过去的几年中，AWS与SAP紧密合作，以验证在AWS平台上运行SAP HANA工作负载的计算和存储配置。 我们如何实现这个目标的呢？ 答案是，AWS已经设计了具有不同内存大小的Amazon Elastic Compute Cloud（Amazon EC2）实例，以满足SAP对SAP HANA的所有严格的性能要求，包括适用于计算的CPU核心到内存比例。 此外，Amazon Elastic Block Store（Amazon EBS）在许多情况下满足了TDI模型的存储KPI。 最后，EC2实例的网络带宽满足或超过了横向扩展模式下节点间通信的9.5 Gbps要求。 我们来仔细看看这些构建模块和配置选项。 内存和计算 AWS提供了几种EC2实例类型来支持不同类型的工作负载。有两个EC2实例系列非常适合SAP HANA工作负载：内存优化的R3和R4实例以及高内存X1实例。这些实例系列是针对内存中的工作负载（如SAP HANA）专门制定的。这些实例系列及其包含的实例类型为您提供了运行SAP […]

距离 2017 年 11 月 27 日只剩 110 天时间，我和我的同事正在努力进行 re:Invent 2017 的准备工作。我尚未开始写博客文章，也未开始任何新的 LEGO 创作，但是我已经看过初始启动工作清单，并已准备好迎接一、两个月的繁忙时间！ 与以往相比，我们增加了场地数量，扩大了会场规模，并将提供更多的内容 (1,000 多场讲座)、黑客马拉松、训练营、研讨会和认证机会。除了 Tatonka 挑战赛和 re:PLAY 派对等长盛不衰的活动外，我们还添加了冰上扫帚球 (一个有久远历史的 Amazon 传统活动) 和一些全明星健身活动。 每年，我都会在最后关头接到很久不联系的熟人发来的求票短信、求票电子邮件和打来的求票电话，然后不得不拒绝他们 (我仍在等着那些开头是“我肯定我们曾一起上过一年级……”的消息，不过你们懂的)。即使每年扩大容纳人数，我们仍然预计票会再次销售一空。我建议您立即注册，以免拿不到票。 维加斯见！ — Jeff；

在上个博客“在AWS云上快速搭建高性能计算(HPC)集群”中，我们介绍了高性能计算的使用场景，框架和如何在AWS Global创建HPC集群，但在光环新网运营的AWS中国（北京）区域并不支持使用CFNCluster直接创建HPC，因此我们需要使用CloudFormation手工创建集群，整个过程并不复杂。步骤如下： 1.进入光环新网运营的AWS中国（北京）区域的Console，然后进入CloudFormation的服务。如下图： 2.点击 “Create New Stack”后，弹出下面的界面。 3.在界面中制定CloudFormation的模板文件如下。 https://s3.cn-north-1.amazonaws.com.cn/cfncluster-cn-north-1/templates/cfncluster.cfn.json 4.在后续界面中下面参数必须定义： Stack name：要创建HPC集群的名称 AvailablityZone：指定要在那个可用区创建HPC集群 VPCId：指定需要创建集群的VPCId MasterSubnetId：指定Master节点的子网ID KeyName：指定EC2服务器访问的key Scheduler：指定高性能计算的管理框架，默认是SGE，有Openlava,Torque等可以选择。 5.可选参数定义： InitialQueueSize:HPC集群的初始节点数 ComputeInstanceType:集群计算节点的类型 MasterInstanceType：Master节点的类型 MaxQueueSize:集群最大节点数 PlacementGroup：节点的放置组 对于全部的配置参数说明，可以参考下面链接： http://cfncluster.readthedocs.io/en/latest/configuration.html 6.点击Next后，输入集群的tag。 7.点击左下方的checkbox运行AWS Cloudformation帮助创建资源，然后点击创建。 8.等待当前HPC集群的创建状态变为COMPLETE，查看下方的Outputs消息输出，找到HPC Master节点的IP。 9.使用前面Output中的Master节点的IP或去Console中的EC2里面找到刚才创建的Master节点的机器，通过ssh连接，然后运行HPC的命令。 总结 在AWS中国区，你可以使用CloudFormation快速的创建HPC集群，AWS提供了丰富的服务器类型供你选择，你可以选择基于CPU或GPU等不同类型的服务器，也可以选择SGE,OpenLava等分布式资源管理软件来调度你的程序，如果我们不配置，默认的资源管理软件是SGE。 作者介绍 蓝勇，AWS解决方案架构师，负责基于AWS的云计算方案架构的咨询和设计，同时致力于AWS云服务在国内的应用和推广，在DR解决方案、数据仓库、RDS服务、企业应用、自动化运维等方面有着广泛的设计和实践经验。在加入AWS之前，在甲骨文中国担任资深售前工程师，负责售前方案咨询和架构设计，在数据库，中间件，大数据及企业应用方面有丰富经验。

1. 高性能计算的应用场景 科学家、工程师及科研者等经常需要使用大规模高性能计算集群（HPC）来解决计算密集或存储密集型计算的问题，常见的使用高性能计算的场景包括基因处理、金融建模与仿真、计算化学、物理建模与仿真、政府及科研项目等。在这些HPC应用中，通常需要使用HPC集群来帮助我们快速完成计算，从而减少研发成本和时间。比如基因公司为了完成遗传病组学研究，通常一次需要研究上万份基因的样本，分析上百T的数据，如果用自己机房的服务器来完成计算分析，需要数年的时间，如果使用HPC集群，提交基因分析任务，我们能使用集群的分布式资源管理器来调度并最大化的利用机器资源，在数天内完成分析任务，大大的节省计算的时间。常见的高性能计算的场景还包括：视频转码与编码、流体力学、天气预测、材料仿真、汽车碰撞仿真、风险建模、分子建模、上下文搜索、物流建模、地震勘探数据处理、基因数据计算、天体物理、深度学习、动画建模、微电子验证、图像处理、地理信息系统等。 2. 什么是高性能计算 通常所说的高性能计算使用的硬件一般分为两种情况： 高性能计算机 高性能计算机通常指使用了很多处理器（作为单个机器一部分）的机器。 比如说国内的高性能计算机“天河”、“曙光”、“神威-太湖之光”等，如“神威-太湖之光”由40个运算机柜和8个网络机柜组成，一台机柜装有1024块处理器，计算速度12亿亿次浮点运算次数。 高性能计算机集群 使用某一集群中的多台计算机（作为单个计算资源操作）的计算系统和环境。 这是通过将多台计算机，通过软件的方式组成集群，由集群的分布式资源管理器来负责集群中服务器资源的监控、调度等，我们可以将集群看做单个计算资源，然后将任务提交到集群，分布式资源管理器负责将任务调度到具体服务器执行。 比如在2013年的超级计算机500强的竞赛中，AWS使用多个C3实例组建了高性能计算机集群，使用了26496个核，计算峰值速度达593.5万亿次浮点运算次数，当年排名世界第64位。 当我们需要高性能计算的时候，通常由于机房的资源比较固定，很难有很多服务器给我们来组建集群，而借用高性能计算机如“曙光“，”神威“的成本非常高，也不太现实。这时在云上搭建高性能计算集群就非常方便，因为云上有无限量的计算及存储的资源，资源更弹性，计算过程中可以根据业务压力，调整集群服务器数量；在完成计算后，我们可以释放所有计算资源，大大降低了计算成本。 3. 如何使用AWS云搭建HPC集群 通过 AWS，您能在数分钟内完成高性能计算集群的创建，并将并行 HPC 任务的数量增加到大多数本地 HPC 环境都无法支持的规模，从而提高研究速度并缩短获得成效的时间。AWS 可按需提供针对特定应用程序进行优化的 CPU、GPU 和 FPGA 服务器，有众多的服务器类型选择，无需巨额资金投入，从而帮助降低成本。您有权限访问面向紧密耦合、IO 密集型和存储密集型工作负载的完全等分的高带宽网络，这使您能够在数千个核心之间横向扩展，从而更快获得成效。 4. 集群管理软件CFNCluster 您的HPC集群可能拥有成百上千台机器，手工搭建HPC集群意味着你需要创建所有服务器，配置所有软件，这个过程太复杂。为了简化这个操作，AWS提供了CFNCluster集群管理软件，它是由AWS开发和维护的高性能计算集群的框架，能帮助你在数分钟内完成集群的创建和生产部署，CFNCluster创建的集群支持SGE,OpenLava，Torque等高性能计算框架。下图是CFNCluster和HPC集群的关系图： 通过上图可知，通常我们需要在一台服务器上安装CFNCluster软件，然后通过CFNCluster创建和管理多个HPC的集群，HPC集群中的服务器安装了SGE, OpenLava等分布式资源管理器，你可以根据需要配置分布式资源管理器的类型 ，你也可以使用Cloudwatch监控服务，根据业务压力动态调整(AutoScaling)HPC集群计算节点的数量。当HPC集群创建完成后，你可以像以往使用HPC集群一样通过Master节点访问你的HPC集群。下面示例详细介绍了安装CFNCluster和创建HPC集群的详细过程： (1) 在AWS云中创建一台EC2服务器（使用Amazon Linux的AMI），并运行sudo pip install cfncluster安装CFNCluster，示例如下： sudo pip install cfncluster You are using pip version 6.1.1, however version 9.0.1 is available. […]

Emily Freebairn，亚马逊AWS软件开发工程师 翻译 Ye Zhou | 原文链接 通常，工程师希望在一组实例中执行操作任务。 但是，这些任务中的许多任务需要以受控的速度进行，并在出现问题时获得反馈。 此外，管理员还通常希望确保工程师只能执行指定的操作。 “运行命令”是Amazon EC2系统管理器（SSM）的一部分，旨在让您远程和安全地管理实例。 “运行命令”提供了一种简单的方法来自动执行常见的管理任务，如运行shell脚本、安装软件或修补程序等等。 “运行命令”允许您在多个实例上执行命令，并提供对结果的可见性。通过与AWS身份和访问管理（IAM）的集成，您可以精确控制用户可以在实例上执行的操作权限。 “运行命令”执行的所有操作均由AWS CloudTrail记录，允许您审核对系统的更改。 在本文中，演示了如何执行命令来收集实例的诊断信息。 由于系统容量是按需添加，系统的容量会随时变化。为了减少实例出现意外的可能性，命令可以以受控的速度运行。 如果出现失败，您将收到通知以进行事后分析。 要确保您不会意外运行其他命令，请使用具有锁定权限的自定义操作来执行指定任务。 演练 在本节中，我将向您展示如何使用Auto Scaling设置实例，创建自定义SSM文档，然后在Auto Scaling组中的所有实例上运行命令。 同时展示了如何设置Amazon CloudWatch事件，以便在遇到问题时收到通知。 步骤1：使用Auto Scaling组启动实例 要使用“运行命令”，实例需要以下内容： 安装并运行Amazon SSM代理 出站互联网连接 附加适当的IAM角色 SSM代理与“运行命令”服务通信以接收命令并发送输出，并使用IAM角色授予调用服务的权限。 对于这篇文章，使用Auto Scaling组来创建一组正确配置的实例。 有关分步说明，请参阅Auto Scaling入门。 这里是一个使用了五个实例的Auto Scaling组的示例。 步骤2：创建自定义文档 “运行命令”使用文档来指定要在实例上执行的操作。文档是由JSON定义的AWS资源，它们包括您指定的步骤和参数。 AWS提供了一组执行常见任务的文档，例如运行shell脚本，配置CloudWatch，安装应用程序等。 此外，您可以为自己的文档编写特定任务。 因为IAM策略允许您控制用户被授权使用哪些文档，因此可以通过将一个指定用户限制到某个文档子集来锁定该用户可以执行的操作。 这里是一个文档的例子，它找出最消耗内存的进程。 { “schemaVersion”: “2.0”, “description”: “Instance Diagnostics”, “parameters”: { }, […]

假设您在 Unicorn.Rentals 得到一个新的职位，这是一家专注于传奇动物租赁市场 (LARM) 的公司。如果有机会的话，哪个孩子不愿意用任何东西来交换与独角兽的亲密接触？哪个父母会拒绝让孩子开心的机会？让我们估计这一年就是 2017 年，而 Unicorn.Rentals 继续在动物租赁市场占主导地位。 您即将进入另一个维度，一个像太空一样广袤无垠、永恒无限的维度 。它是光与影、科学与迷信的中间地带，在人类了解云之前就已经存在。这是进入一个充满想象力的土地、一个由影子和物质组成的土地的奇妙之旅。您正在进入 GameDay Essentials 地带。 好吧，也许不是另一个维度，但差不多一样酷。有点像不是吗？总之，我很高兴在 AWS Twitch 频道上推出名为 GameDay Essentials 的全新节目。GameDay Essentials 节目是针对前面提到的 Unicorn.Rentals 公司场景的“新员工培训计划”。您将作为一名新员工入职并接受有关云计算的培训，以便在使用 Amazon Web Services 的公司顺利开展工作。 通过 GameDay Essentials 节目，您将获得实践计算经验，以帮助 Unicorn.Rentals 这家初创公司不断发展。第一集重建于 7 月 25 日首播，提供了有关 CloudTrail 和 Cloudwatch 的日志记录服务，以及如何评估 AWS 账户中的配置并识别账户中的现有库存资源的信息。您可以在这里观看第 1 集 – 重建的录像。该剧集共分六部分，第一季其余部分的播出时间是太平洋时间星期二上午 11:30，接下来的三集将讨论以下主题： 第 2 集 – 扩展：了解如何通过深入研究实施缩放技术和 […]