亚马逊AWS官方博客

AWS Team

Author: AWS Team

Amazon Rekognition – 深度学习支持下的图像检测与识别服务

看到这张图片时,你的大脑是如何理解它的呢? 你可能看到一只动物、一只宠物、一只狗或者更为具体——一只金毛犬。图像与这些标签之间的联系并非硬性嵌入您的大脑,而是在看过成百上千张这样的图片之后,你的大脑才能够直接给出正确的解读。通过多个不同层面的认知,我们学会了如何区分动物与植物,猫与狗,以及其它犬种与金毛犬间的差异。 深度学习之于图像检测 然而,事实证明:为计算机赋予和人类同等水平的理解能力是一项相当困难的任务。在数十年的研究过程中,计算机科学家们尝试利用各种方法来解决这一难题。时至今日,计算机科学领域已经达成广泛共识——即解决该问题的最佳途径为深度学习。深度学习利用特征抽象化与神经网络相结合的方法输出结果。这一方法甚至曾被伟大的科幻作家Arthur C. Clarke评论为“简直与魔法无异”。 然而,深度学习仍然需要投入相当高昂的成本。首先,大家需要耗费可观的精力与时间进行训练。从本质角度讲,这意味着我们需要为学习网络提供范围极广的已标记示例(“这是一只狗”、“这是一只宠物”等等),从而确保其能够将图像中的特征性内容与标签联系起来。这个阶段需要占用可观的计算资源,特别是考虑到神经网络自身的实际规模以及多层级属性。训练阶段完成之后,成熟的网络即可更为轻松地评估其它新型图像。其结果通过传统置信水平(0%至100%)表现,而非直接给出不容置疑的事实。如此一来,大家将能够决定自己的应用适合搭配怎样的精度。 Amazon Rekognition介绍 今天,我将向大家介绍Amazon Rekognition。我们的计算机视觉小组多年以来一直致力于开发深度学习方案,并以此为基础推出了这项完备的服务,其目前每天已经能够分析数十亿张图片。该服务利用成千上万对象及场景进行训练,因此现在可供大家的应用程序直接使用。如果大家对此抱有兴趣,那么不妨在着手深入研究并编写代码以利用Rekognition API之前,访问下面的网址: https://console.aws.amazon.com/rekognition/home 查看我们提供的相关演示。 Rekognition在设计初期就充分考虑到了规模化使用需求,能够识别场景、物品以及面部图像。在获取图像之后,Rekognition能够返回一份标签列表。对于那些包含一张或者多张面孔的图像,它会为每张面孔返回范围框及其属性。下面让我们来看看其如何分析文章开头的这幅金毛犬图片(顺带一提,这只小美女名叫Luna): 如大家所见,Rekognition以高置信水平将Luna标记为一只动物、一只狗、一只宠物以及一只金毛犬。必须强调的是,这些标签相互独立,这意味着该深度学习模型并没有明确理解各标签之间的关系,例如狗与动物。其只是之前Rekognition训练时使用的素材恰好将这两个标签与以狗为中心的内容加以关联。 下面再来看Rekognition如何分析我和妻子两人的合照: Amazon Rekognition找到了我们的面部位置,并用框体将其圈出,同时告知我妻子的表情非常幸福(这张照片拍摄于她生日当天,能让她感到幸福也是我发自内心的期许)。 大家也可以利用Rekognition比较不同面孔,并询问其是否在给定照片中找到了其它面孔。 这一切强大的处理能力皆可通过一组API函数进行访问,大家可以利用控制台(https://console.aws.amazon.com/rekognition/home)进行快速演示。举例来说,大家可以调用DetectLabels从而通过编程方式重现我给出的第一个示例,或者调用DetectFaces以重现我的第二个示例。大家可以对进行多次调用IndexFaces,从而帮助Rekognition作好识别面部信息的准备。每一次对IndexFaces进行调用,Rekognition都会从图片中提取出部分特性(被称为面部矢量),存储这些矢量并丢弃该图像。大家可以创建一套或者多套Rekognition收集库,并在每套库内存储多个相关面部矢量组。 Rekognition能够直接将处理图像保存在Amazon简单存储服务(简称S3)当中。事实上,大家亦可以利用AWS Lambda函数处理任意规模的新近上传图像。大家还可以利用AWS身份与访问管理(简称IAM)服务对指向Rekognition API的访问加以控制。 Rekognition的实际应用 那么,大家能够利用Rekognition做什么有趣的事?我个人倒是有很多想法。 如果大家已经拥有大量图像,则可利用Amazon Rekognition对其进行标记与索引。由于Rekognition属于一项服务,因此大家能够每天处理数百万张图像,而无需为底层基础设施的设置、运行以及规模伸缩费心。大家可以随时运用视觉搜索、标签浏览以及一切交互式发现模式。 大家也可以利用Rekognition配合多种不同验证及安全背景。大家可以对摄像头上显示的面孔与存档照片进行比较,从而判断是否允许对方进入安全区域。大家也可以执行视觉监控,即从照片中找出那些值得关注或者追踪的对象或者人物。 大家可以构建“智能化”营销公告牌,利用其收集观看人员的相关统计数据。 已经上线 Rekognition服务目前已经在美国东部(北弗吉尼亚州)、美国西部(俄勒冈州)以及欧洲(爱尔兰)服务区上线,大家从今天开始即可使用。作为AWS免费层的组成部分,大家每月可利用其分析最多5000张图像并存储最多1000个面部矢量,免费周期为一年。在此之后(或者您需要对处理容量进行扩展),大家需要以分层方式根据分析图像以及所存储面部矢量的具体数量付费。 还想了解更多信息?我们将于美国中央时区时间12月14日星期三的上午4:00到5:00召开网络研讨会,感兴趣的朋友可以访问: https://publish.awswebcasts.com/content/connect/c1/7/en/events/event/private/23850344/41359021/event_registration.html?connect-session=graysonbreezdndrpkw7uwmhrgxc&sco-id=55023367&campaign-id=JB&_charset_=utf-8 进行注册。 中国区的AWS用户也不用着急,我们将会很快举办一场AWS re:Invent 2016的回顾活动,全面为大家介绍此次发布的新功能与新服务。敬请期待! -Jeff 原文链接: https://aws.amazon.com/cn/blogs/aws/amazon-rekognition-image-detection-and-recognition-powered-by-deep-learning/  

Read More

New feature launched to AWS China (BJS) region, operated by SINNET – Amazon RDS for SQL Server – Support for Native Backup/Restore to Amazon S3

As a managed database service, Amazon RDS takes care of the more routine aspects of setting up, running, and scaling a relational database. We first launched support for SQL Server in 2012. Continuing our effort to add features that have included SSL support, major version upgrades, transparent data encryption, enhanced monitoring and Multi-AZ, we have now added support […]

Read More

由光环新网运营的AWS中国北京(BJS)区域现推出新RDS功能 – 支持SQL Server 本机备份/还原到Amazon S3

Amazon RDS作为托管数据库服务,负责关系数据库设置、运行和扩展方面的多种常规工作。我们于 2012 年首次推出对 SQL Server 的支持。之后一直在努力丰富和完善各项功能 (包括 SSL 支持、主要版本升级、透明数据加密、增强监控和多可用区),现在又增加了对 SQL Server 本机备份/还原的支持。SQL Server 本机备份包括所有数据库对象:表、索引、存储过程和触发器。这些备份通常用于在本地或云中运行的不同 SQL Server 实例间迁移数据库。它们可用于数据提取、灾难恢复等。本机备份还可简化从本地 SQL Server 实例中导入数据和架构的过程,并且便于 SQL Server 数据库管理员了解和使用。 支持本机备份/还原 您现在可以从 RDS 实例中进行本机 SQL Server 数据库备份,并将其存储在 Amazon S3 存储桶中。这些备份可以还原到 SQL Server 的本地副本或另一个支持 RDS 的 SQL Server 实例。您还可以将本地数据库备份复制到 S3,然后再将其还原到 RDS SQL Server 实例。使用 Amazon S3 进行的 SQL Server 本机备份/还原还支持在所有 SQL Server […]

Read More

Amazon S3 和 Amazon Glacier 降价

我们很高兴地宣布,我们整合了S3产品的价格区间,同时调降了存储产品S3和Glacier的价钱。S3产品的价格区间从6个整合至3个 : 0-50TB,50-500TB,以及500TB以上。我们希望帮助客户更加容易理解账单并管理预算。我们也会在全球区域调降S3和Glacier 产品价格达20%以上。以上的更新将更好地帮助用户节省成本,同时如往常一般,享受简单、持久、以及大规模的AWS目标存储服务。 由光环新网运营的AWS中国(北京)区域的存储产品价格调整如下: Glacier – 0.0334元人民币 每GB每月 56%的降幅 此项价格变动将由2016年12月1日起生效。 除了价格调降之外,Glacier并推出了新的提取数据的选项,让客户有更经济的选择,并且能在更短的时间内提取所需数据,且我们将以费率计价的方式调整为单一的按数据大小计费。 用户现有三种提取数据的方式: 标准:用户可以在三到五小时内得到存档数据,这是之前已经有的方式,并且也是默认的提取数据选项。 加速:若用户偶有突发状况需紧急提取所需数据时,现在可以选择加速提取选项。此选项可以让用户在1-5分钟内得到所需数据,最大支持到250MB的数据提取。我们提供用户两种计费方式:按需及预付费。按需方式类似EC2,在大部分情况下用户都可以使用;而预付费方式,在用户预缴了月费的情况下,保障了用户无论何时都可以使用。 批量:批量提取为Glacier最低价的数据提取选择,用户可用最优惠的价格,在5-12小时内取得所需大量数据, 此项功能变动现已生效。  

Read More

构建健壮的混合云网络——BJS DX篇

背景介绍: 近年来,随着公有云的普及,一方面,越来越多的用户选择利用公有云在弹性、灵活性等方面的优势,在云上部署新的应用系统,另一方面,大量的企业有很多现有的本地基础设施投资,所以企业上云的过程并不是一触而就的,期间势必存在云应用与本地数据中心应用并存的局面,为了更好的融合云与本地数据中心的应用环境,实现整体应用系统的稳定性和高可用性,构建一个健壮的混合云网络至关重要。 在AWS上,用来连接AWS与本地数据中心的方式主要有以下3种: 1.    纯VPN组网 2.    纯专线组网 3.    VPN与专线的混合组网 其中,对于AWS中国区来讲,由于AWS自身的VPN服务VGW目前尚未落地,客户急需要一个替代方案,能够达到类似于VGW的冗余及故障切换功能。 本篇主要讲述第二种组网方式,着眼点在于如何实现混合云网络的健壮性及故障自愈。 对于第一,第三种组网方式的高可用实现,请参考: 《构建健壮的混合云网络——BJS VPN篇》 《构建健壮的混合云网络——BJS DX+VPN篇》 对于如何实现对VPN流量的监控、故障告警及事件日志搜集,请参考: 《构建健壮的混合云网络——BJS DX+VPN篇》 拓扑图: AWS与本地站点之间建立两条专线,为了保证一条专线故障后,剩下的专线能够承载所有的业务流量,建议使用主备模式,考虑到高可用,建议两条专线分别终结在SINNET和CIDS两个DX Location,并且可以使用两家专线提供商的链路。 配置步骤: 1.    申请专线 小于500M的专线由AWS APN Partner提供,这里以APN Partner方案为例,大于1G的专线接入请参考如下文档: https://www.amazonaws.cn/en/documentation/directconnect/ 向APN Partner申请链路,根据要求提供相关信息,通常包括用户AWS账号,专线带宽等信息。 2.    接受连接并创建virtual interface 当APN Partner建立好专线后,登入management console,选择Direct Connect服务,将可以看到相关的连接,需要选择接受连接。 创建Virtual Interface。 选择创建Private Virtual Interface,设置接口名称并与相关VPC的VGW关联 根据自己的需要设置互联地址及本地站点的AS号 3.    下载本地站点端路由器的配置 4.    修改本地路由器端BGP配置,实现主备冗余 a.    AWS侧出向流量主备通过AS-PATH属性实现 b.    本地站点侧出向流量主备通过Local-Preference属性实现 下面是本地站点侧,备份链路路由器上的参考配置: route-map […]

Read More

GPU为Amazon Graphics WorkSpaces提供助力

从之前发表的《我爱我的Amazon WorkSpaces》一文就能看出,我是个WorkSpace的狂热支持者——我也从不不否认这一点。 自从这篇文章发表以来,我发现很多朋友都跟我有着同样的选择。众多AWS客户都乐于享受这种酣畅淋漓的安全桌面计算环境管理体验,我自然也是其中一员。作为用户,我们热爱WorkSpace这种强大的设备支持广度与能力——从Windows到Mac计算机、PCoIP Zero客户端、Chromebook、iPad、Fire平板乃至Android平板皆在其中。作为管理员,我们感激WorkSpace能够为任意数量的用户提供高水平云桌面。而作为企业领导者,我们则喜爱按小时或者按月付费来使用这套桌面方案的方式。 全新Graphics选项 此前爱好者们已经拥有多种硬件选项:Value版、Standard版与Performance版组合。其vCPU(虚拟CPU)数量为1或2个,内存为2到7.5 GiB,这些组合适用于多种办公生产型用例。 今天我们迎来了WorkSpace家族中的全新GPU助力型Graphics组合。这套组合提供的高端虚拟桌面非常适合3D应用开发者、3D建模师以及需要使用CAD、CAM或者CAE等工具的工程师用户。下面来看其规格参数: 显示——英伟达GPU,包含1536个CUDA核心与4 GiB显存。 处理——8个vCPU。 内存——15 GiB。 系统存储分卷——100 GB。 用户存储分卷——100 GB。 这套新的组合包已经在提供WorkSpaces服务的各服务区推出,且同样可在前文中提到的设备平台上运行。大家可以运行内含许可的操作系统(Windows Server 2008配合Windows 7 Desktop Experience),或者自行准备Windows 7或者10系统许可。各应用程序可使用其中的OpenGL 4.x、DirectX、CUDA、OpenCL,另外英伟达GRID SDK亦能够发挥其中GPU的性能优势。 在考虑PB级别数据的分析与可视化处理时,请注意这些实例能够与EC2、RDS、Amazon Redshift、S3以及Kinesis进行紧密协作。具体来讲,大家能够在服务器端处理计算密集型分析任务,而后对其进行渲染并直接在手边的WorkSpace上显著其结果。我个人对利用这些AWS服务组合创建令人赞叹的应用程序抱有信心,而且此类应用显然无法通过其它具备同样成本效益的方式加以实现。 Graphics Bundle与其它捆绑包之间存在一大重要区别。考虑到底层硬件的运作方式,运行此捆绑包的WorkSpaces在与AutoStop运行模式相结合时(我之前曾在〈Amazon WorkSpaces更新——按小时使用与Root分卷扩展〉一文中提到),其不会存储本地状态(包括运行中的应用以及已打开的文档)。我们建议大家在断开与WorkSpace间的连接或者不再续用之前,保存已打开的文档并关闭应用程序。 演示 我个人在工作中并不需要构建3D应用或者使用CAD、CAM乃至CAE工具。不过,我非常喜欢用乐高积木设计并搭建有趣的东西!我在这里启动了最新版本的乐高数字设计师(简称LDD),并花了一段时间雕琢自己的设计成果。虽然没有进行任何基准测试,但这套GPU强化型版本确实带来了理想的运行速度,且能够快速生成高质量成品。下面来看我做的一点设计研究工作: 设计完成之后,接下来就是搭建工作了。相较于挪动显示器来查看自己的设计方案,我得以直接利用自己的Fire平板登录Graphics WorkSpace。我能够快速缩放并旋转自己的设计方案——虽然这台平板本身的计算能力非常有限。下面来看Fire平板上WorkSpace的实际表现: 如大家所见,两套屏幕(台式机与Fire平板)的显示内容一模一样!我可以根据平板上的设计在自己的桌上排布乐高积木,并快速查看设计效果: 价格 Graphics WorkSpaces目前提供按小时计费的使用选项。大家需要支付小额的固定费用按月购买基础设施与存储资源,并在周期之内每小时支付额外的WorkSpace使用费。AWS开出的价格为美国东部服务区(北弗吉尼亚州)每月22美元加每小时1.75美元; 感兴趣的朋友可以点击此处查看WorkSpaces价格页面以了解更多信息。 作者:Jeff Barr, 亚马逊AWS首席布道师 原文链接: https://aws.amazon.com/cn/blogs/aws/new-gpu-powered-amazon-graphics-workspaces/

Read More

Amazon QuickSight全面上线——更快更易用的大数据商务分析服务

经过超过1500家企业级客户(包括初创企业及全球化大公司)的预览之后,我兴奋地向大家宣布,Amazon QuickSight目前已经正式上线!在去年发给大家的预览版本邀请当中,我曾经写道: 过去,商务智能一直是一项需要投入巨大时间与精力之后才能实现的工作。大家需要承担相关成本,设置并运行基础设施及软件,管理规模化体系(而用户往往因此受到负面影响)并投入大量资金招聘顾问以进行数据模拟。即便如此,您的用户仍然要在复杂的用户界面中挣扎,而且渴望能能在移动设备上探索数据却无法被满足。打算访问NoSQL与流数据?只能说祝大家好运了! Amazon QuickSighthttps://quicksight.aws/能够为大家提供速度可观、易于使用的云支持型商业分析方案,且其实现成本仅为传统内部解决方案的十分之一。QuickSight允许大家在数分钟之内开始操作。您只需要进行登录、指定数据源,而后即可对数据进行可视化处理。在场景之下,SPICE(即超高速、并行、内存内计算引擎)将以迅如闪电的速度运行您的查询请求,并提供极为出色的数据可视化成果。 深入挖掘数据 在与客户的交流当中我们深切感受到:每位客户都表示希望能从其存储的数据当中获取更多价值。他们意识到,如今蕴含于数据当中的潜在价值正愈发显露。但同时,他们又失望地得知:发现并提取这些价值,需要高昂成本且实现难度极大。内部商业分析工具的使用许可会带来大量开销,同时给现有基础设施造成沉重的负载压力。许可成本与工具复杂性制约着用户群体,事实上只有少数专家能够顺畅使用这些方案。综合来讲,上述因素共同导致大多数企业认为:自己尚没有准备好投资构建一套真正的商业分析功能组合。 QuickSight的构建目标正在于此!它能够以“服务”形式运行,并将商业分析能力交付至任意规模与形式的企业客户手中。其速度极快且易于使用,不会给现有基础设施带来额外运行负担,同时可以每用户9美元的低廉价格,按月进行付费。 上手之后,大家会发现QuickSight允许大家对存储在多种不同服务及位置的数据进行处理。大家可以直接使用来自Amazon Redshift数据仓库、Amazon关系型数据库服务(简称RDS)中各关系数据库以及S3内的普通文件。大家亦能够使用一系列连接器以访问存储于内部MySQL、PostgreSQL以及SQL Server数据库、微软Excel电子表格、Salesforce乃至其它服务中的数据。 QuickSight在设计当中亦充分考虑到客户的扩展需求。大家可以随时添加更多用户、数据源以及数据集,同时无需购买任何长期许可或者向数据中心内添加更多硬件设备。 马上开始 下面我们将展开一番QuickSight游历。由于已经得到管理员的许可,所以我可以直接登录QuickSight并开始操作。以下为QuickSight的主界面: 我首先选择从Redshift集群当中提取数据。这里点击Manage data并查看我的现有数据集: 我没有看到我所需要的数据集,所以点击New data set并查看相关选项: 而后点击Redshift(手动连接)并输入登录凭证,这样即可访问我的数据仓库(如果该Redshift集群运行在我的当前AWS账户之内,则可自动发现此来源): QuickSight会查询该数据仓库并显示相关模式(表组)以及当前可用的表。这里我选择public模式以及all_flights表作为示例: 现在我拥有两个选项。我可以将表提取至SPICE进行快速分析,亦可直接对其进行查询。这里我选择将其提取至SPICE: 这里还是两个选项。我可以点击Edit/Preview data(编辑/查看数据)并选择需要导入的行及列,亦可点击Visualize(可视化)导入全部数据并对其加以处理。这里我选择Edit/Preview。可以看到各字段(图片左侧),而后我可以利用勾选框仅选定自己感兴趣的部分: 另外,我也可以点击New Filter(新过滤器),从弹出菜单内选定一个字段,而后创建一套过滤机制: 两个选择(选择字段以及按行过滤)都允许我控制需要提取至SPICE的具体数据。通过这种方式,我可以控制需要进行可视化处理的数据,亦能帮助我更为高效地利用内存资源。在做好处理准备之后,我点击Prepare data & visualize(准备数据&可视化)。这时,数据会被加载至SPICE当中,而我则可随时对其进行可视化处理。我简单选择了一个字段作为演示。举例来说,我可以选择origin_state_abbr字段并查看各州拥有多少航班: 右侧的缩短视图能够为我提供一些额外上下文信息。我可以上下滚动或者选定需要显示的值区间。我也可以点击次级字段以了解更多信息。这里我点击flights,将排序设置为descending(降序),而后滚动至顶部。现在,我可以查看数据中由每个州起飞的具体航班了: QuickSight的AutoGraph功能会自动根据所选定的数据生成一份对应的可视化图表。举例来说,如果我添加fl_date字段,则会得到一份以时间为轴的各州航班数量图表: 根据我的查询、数据类型以及数据属性,QuickSight还能够提供其它可视化选项: 我还能够自行选择多种视觉类型,包括纵向&横向条形图、线图、透视图、树状图、饼状图以及热度图等: 在完成可视化图表的创建之后,我可以捕捉图表内容并利用结果故事板构建对应的数据驱动型故事: 我亦能够将自己的可视化成果共享给其他同事: 最后,我的可视化成果可通过自己的移动设备进行查看: 价格与SPICE容量 QuickSight永久提供一个免费用户与1 GB免费SPICE容量。这意味着每一位AWS用户都能够在无需承担任何成本的前提下分析数据并获取商业洞察结论。Amazon QuickSight的标准版起步价格为每月9美元,其中包含10 GB SPICE容量(请参阅QuickSight Pricing页面以了解更多细节信息)。 SPICE容量管理工作非常轻松易行。我只需要在菜单当中点击Manage QuickSight即可(当然,必须具备ADMIN角色方可执行修改): 而后我可以看到自己的当前容量状态: 我可以点击Purchase more capacity(购买更多容量): 我也可以点击Release unused purchased capacity(释放未使用的已购容量),从而削减我当前拥有的SPICE容量: 已经全面上线 […]

Read More

Amazon EC2 产品价格调降通知(C4, M4, 和T2实例)

很高兴宣布自2016年12月1日起,EC2产品价格调降,希望能让各位用户以愉悦的心情迎接即将到来的新年假期。我们对于产品技术研发的持续投入,用户规模,以及久经考验的运营能力,让我们能够将节省的成本回馈给各位用户,以回报大家长久以来的支持。 我们将调降C4,M4, 和T2实例的按需,预留(标准及可转换),还有独享型实例价格,依地区及平台选择(Linux,RHEL,SUSE,Windows等)略有不同。AWS所有的地区均适用于此次价格调降。举例说明: 由光环新网运营的AWS中国(北京)区域,M4和T2实例降价高达10%,C4实例降价高达5%。 按照惯例,用户不需采取任何行动以受惠于此次按需购买实例的价格调降。如果用户使用了Billing Alerts 或是更新的Budget功能,也许要考虑做相应的调整。

Read More

利用Amazon CloudWatch 搭建无人值守的监控预警平台

资源与应用服务层监控 Amazon CloudWatch 监控和预警平台可以帮助客户统一管理和运维AWS云端和本地资源、服务和业务系统;使用 Amazon CloudWatch 可以收集和跟踪指标,收集和监控日志文件,设置警报。您可通过使用 Amazon CloudWatch 全面地了解资源使用率、应用程序性能和运行状况。使用这些分析结果,您可以及时做出反应,保证应用程序顺畅运行。 Amazon CloudWatch 的基本概念 请参考AWS 官方文档了解 Amazon CloudWatch的核心概念和术语,比如指标、命名空间、维度、时间戳、单位、统计数据、时间段、聚合、警报等。 基于CloudWatch 的监控预警平台架构 CloudWatch 提供了一套标准的API接口,用户可以利用该平台发布自定义应用、业务或者更加详细的系统指标。用户发布到Amazon CloudWatch 的指标是按时间排序的数据点集合,数据点本身可以来自于任何应用程序或者业务活动;指标通过名称、命名空间和维度进行唯一定义;维度可以帮助你设计数据点的分组特征或者类别,发布指标数据点时必须必须指定维度,比如虚机的CPU使用率,用户可以查看单独某个虚机的监控指标也可以按AutoScaling组来查看,这里的单个虚机或者AutoScaling组就是同一数据点的不同的维度。用户可以使用秒级甚至千分之一秒的频率发布自定义指标,但是Amazon CloudWatch 还是会将数据聚合到1分钟为最小粒度。 基于指标数据,用户可以翻译业务的波动异常到相应的指标,从而创建警报来和相应的操作来自动化应对各种异常情况,操作包括弹性伸缩(Auto Scaling)机制来应对访问流量变化或者Amazon SNS 主题订阅绑定的邮件通知、HTTP请求的调用和消息队列异步处理。 指标数据用户可以直接通过AWS 控制台进行的图形化按时间筛选、查看和分享;同时,用户也可以通过API接口获取指标数据进行第三方的处理和展示。CloudWatch默认保存两周的指标数据(海外区域部分可以支持免费存储最多15个月的统计数据,详情请查看AWS CloudWatch文档)。 本文的架构中,自定义指标收集不需要自己编程而是利用collectd守护进程进行监控和获取,同时利用CloudWatch Plugin for collectd直接将自定义指标发布和存储到CloudWatch中,用户随后可以基于自定义指标的进行自动化警报处理从而实现无人值守的统一监控平台。 什么是CloudWatch Plugin for collectd CloudWatch一直支持用户发布自定义指标来存储、监控自己关心的业务、应用和系统健康状况;AWS最新发布了CloudWatch Plugin for collectd开源项目,该插件整合了collectd强大的收集各种类型统计数据的能力,帮助客户简化了开发收集自定义指标的相关工作,开箱即用地支持发布Apache、Nginx Web服务器应用指标,内存监控指标等监控数据到CloudWatch进行统一存储、展示和预警。 什么是collectd collectd是一个基于C语言的守护进程,主要任务就是用来收集统计信息,它提供各种了存储方式来存储不同值的机制。它支持超过100种各类插件,下面大概列出一些比较常见的插件类型,具体的请参考collectd官方网站。 Web应用:Apache、nginx 数据库:MySQL、Oracle、PostgreSQL、memcached 网络:OpenVPN、Ping、TCPConns、 系统:Memory、Disk、FileCount、vmem、uptime、df 安装配置CloudWatch Plugin for collectd […]

Read More

一键搞定云端网络环境,让您轻松迁移至AWS!

一键搞定云端网络环境,让您轻松迁移至AWS! 知识补充:什么是AWS CloudFormation? AWS CloudFormation 模板是一个文本文件,其格式符合 JSON 格式标准。您可使用任何扩展名(如.json、.template 或 .txt)保存这些文件。AWS CloudFormation可帮助您对AWS资源进行建模和设置,包括EC2实例、RDS实例、Auto Scaling Group、Elastic Load Balancing以及整个AWS VPC的网络环境。点击部署模板,成功创建堆栈之后,AWS 资源将正常运行。点击删除模板,所有堆栈中涉及到的资源将都删除。详细参考 http://docs.aws.amazon.com/zh_cn/AWSCloudFormation/latest/UserGuide/Welcome.html 注:此文章所用的AWS CloudFormation模板适合: (1)由于项目紧急,您在一两天内就想上线,将资源部署在AWS平台上,之后再花时间学习AWS服务与功能。 (2)您想基于AWS实现自动化基础设施部署,比如快速实现开发 / 测试 / 生产环境,这个模板是您学习AWS一个好的开始。 模板下载: AWS中国区模板: https://s3.cn-north-1.amazonaws.com.cn/danrong-share/external/aws-template-bjs-addELB-V3.txt AWS海外区模板: https://s3.cn-north-1.amazonaws.com.cn/danrong-share/external/aws-template-global-addELB-V3.txt 注:为节约成本,此模板所启用的EC2配置很低,为t2.small。 模板主要解决的问题: (1)启动VPC,网段为10.40.0.0/16(当然,模板可以自定义IP地址范围)。自动启动6个子网 Public Subnet 1(子网范围10.40.1.0/24) Public Subnet 2(子网范围10.40.2.0/24) Private Subnet 1(子网范围10.40.3.0/24) Private Subnet 2(子网范围10.40.4.0/24) Private DB Subnet 1(子网范围10.40.5.0/24) Private DB Subnet 2(子网范围10.40.6.0/24) 打开DNS解析和主机名功能。 […]

Read More