亚马逊AWS官方博客

Tag: 王元恺

使用 Amazon SageMaker 通过自定义数据集训练模型

对于刚上手机器学习的从业人员而言,业务需求所需要呈现的结果,往往不仅是用公开数据集就能够训练出合适的模型。我们往往只有少量的业务相关数据,甚至这些数据也需要从零开始收集整合,而这之后还需要进行数据清洗、数据打标签、特定数据格式转化等复杂的制作特定数据集的步骤,这些工作会阻塞住我们前进的脚步。除了容易在数据集上举步不前外,对于所需要数据量的误解也是另外一大阻碍因素。我们总认为进行机器学习需要“大量”的数据,究竟需要多少数据?在仅有少量数据时就不能训练出准确率较高的模型?本文试图从零开始,从制作自己的数据集开始,来探讨上面提出的问题。

Read More

使用 Amazon Rekognition 快速构建智能照片库

简介 在数据爆炸式增长的今天,数据在给生活的方方面面提供了便利的同时,也造成了一些困扰。以照片为例,过去以胶卷相框存储的形式被大量电子设备存储逐渐取代,现代虽然提供了更大容量的存储性能,却更难在短时间内找到指定的照片,我们不得不一页页的翻动照片库寻找某一张特定的照片。 AWS 提供了丰富的人工智能服务,在文本处理、语音、图像等方面解决了这些困扰。对于照片的例子而言,Amazon Rekognition 能快速有效的解决这样的问题。 Amazon Rekognition 是一种让您能够轻松为应用程序添加图像分析功能的服务。利用 Rekognition,您可以检测对象、场景和面孔;识别名人;还可以识别图像中的不当内容。您还可以搜索和比较面孔。借助 Rekognition 的 API,您可以快速为应用程序添加基于深度学习的复杂视觉搜索和图像分类功能。 应用场景 图像审核。在部分场景下,需要鉴定图片是否包含明显和暗示性的内容。例如自动审核提供给幼儿的读物,自动审核影片镜头的合规性。 对象场景检测。Rekognition 可识别数千种对象 (如车辆、宠物或家具) 并提供置信度。Rekognition 还可以检测出图像内的场景,如日落或沙滩。这可以应用在以图搜图、关键字搜图、图片自动分类等场景中。 其余图像处理场景。Rekognition 面部分析功能可以定位到图像中的面孔并分析面孔特征;Rekognition 面孔比较功能可以衡量两张图像中的面孔是否属于同一个人;Rekognition 面部识别功能可以在海量图像中找出相似的面部;Rekognition 名人识别功能可以识别出图像中名人的面孔并显示他们的名字。上述四个场景主要涉及到图像中面部元素的识别处理,可以应用在智能家居主客识别、人脸密码、酒店快捷入住等场景中。 效果展示 上传图片。 图一 显示图片,标签均自动生成。 图二 搜索标签。 图三 整体架构 您将使用到 Amazon S3, Amazon Cognito, Amazon Elasticsearch Service, Amazon Rekognition 以及用于生成以上资源的 AWS CloudFormation 来构建智能照片库。整体架构为无服务(Serverless)架构,简要工作流程如下: 终端用户使用 S3 静态网站功能运行前端静态网站。 使用 Cognito Federated Identities Pool […]

Read More

Amazon EBS弹性卷修改实践

简介 在应用飞速的更新换代、数据量高速增长的今天,AWS的客户对EC2的块存储需求是随时间而改变的,很可能会多次需求增加容量或改变性能特性。在当今的24×7(全天候不间断)操作模式下,服务器没有停机的余地。因此,客户希望在应用不离线或不影响正常操作的情况下进行更改。换句话说,我们的客户希望他们的EBS卷更有弹性! 在2017年2月13日,AWS全球推出了一个新的EBS功能,称为弹性卷(Elastic Volumes),并使其适用于当前所有EC2实例可生成的EBS卷。在2017年2月17日,AWS中国区可以使用这项新功能。通过这一项功能,可以在EBS卷正在使用时增加卷的大小,调整性能或更改卷类型,并能在这些更改生效之前继续使用应用程序等运行在EC2实例上的程序功能。这一新功能的更新将大大简化企业或个人用户的许多规划管理,可以通过简单的API调用来及时更改存储基础架构,取代传统的需要几周或几个月的配置周期。 使用场景 1. 卷类型更改。在项目初期,为了更快部署应用,您初步设置块存储使用通用SSD卷(General Purpose SSD volumes),在获得一些使用经验后,发现吞吐量优化卷(Throughput Optimized volumes)是更好的选择,这时您只需要更改卷的类型就能够轻松解决问题。 2. IOPS性能调整。假设您在IOPS卷中运行一个关系型数据库,并设置它处理正常范围内的数据读写,由于每个月最后几天数据读写突增到正常水平的10倍,您只需要通过弹性卷短时间内获取更强大的读写配置来处理每月最高的数据读写,然后回调至正常配置来处理正常范围内的数据读写。 3. 卷存储增加。您获取了一个卷使用警告,提示您当前使用存储空间超过90%,这时您可以增加卷的大小,并扩展文件系统来匹配,弹性卷将以完全自动化的方式处理请求而不用停止EC2实例。 适用范围 AWS全部区域,包括海外和中国北京区域。 修改限制 所有卷大小的修改只能增加卷的大小!为了保护所有EBS卷中的数据,弹性卷修改仅允许增加卷的大小。如果您想将当前卷大小改小,可以先通过数据迁移工具将EBS卷中的数据移动到较小的卷,再将原来的卷删除。 1. 通用SSD卷:卷大小最小为1GiB,最大为16384GiB(16TiB);IOPS性能无法修改,最小为100,最大为10000,在最大最小值范围内为卷大小的3倍(卷大小单位为GiB),IOPS超频可达到3000。 2. 预配置IOPS SSD (io1):卷大小最小为4GiB,最大为16384GiB;IOPS性能可以修改,最小为100,最大为20000,在最大最小值范围内最大可调整至卷大小的50倍(卷大小单位为GiB)。 3. Cold HDD (sc1):卷大小最小为500GiB,最大为16384GiB;Cold HDD (sc1) 卷提供低成本的磁性存储,该存储以吞吐量而不是 IOPS 定义性能。此处无法做任何更改。 4. 吞吐量优化卷:卷大小最小为500GiB,最大为16384GiB;吞吐量优化卷提供低成本的磁性存储,该存储以吞吐量而不是IOPS定义性能。 5. 旧版磁介质卷:无法修改。磁介质是上一代卷。对于新应用程序,我们建议使用较新的卷类型。 数据截至至2017年2月17日,具体数据以AWS实时数据为准。更多有关EBS卷的相关信息,请查阅Amazon EBS卷类型。 操作指南 您能通过AWS管理控制台、API调用或从AWS命令行界面(CLI)管理使用所有功能。下面将介绍AWS管理控制台对弹性卷修改的操作指南,获取更多API调用及命令行界面的操作方式,请访问AWS文档。 修改本身不收取任何费用,您只需按实际使用量付费。更多定价信息,请访问EBS定价。 一、引导卷(根分区)修改 登陆AWS中国区,并选择服务EC2,打开EC2面板后,鼠标左击点选左侧导航栏的“卷”。 打开卷面板后,选择您要调整的卷,点选“操作”打开下拉菜单,在下拉菜单中点选“Modify Volume”。 然后可以对卷类型、大小和预配置的IOPS(如果适用的话)进行任何符合需求的更改,修改检查完后,点击Modify按钮。 注意卷大小不能减小。 注意预配置IOPS SSD卷的IOPS值不能大于卷大小的50倍(卷大小单位GiB)。 在修改确认页面点击“Yes”按钮。 卷修改正在进行,请稍等一会儿。 卷修改完成。 […]

Read More

使用AWS控制台或命令行将AWS IAM角色附加到现有的Amazon EC2实例中

简介 AWS IAM(身份和访问管理服务)中的角色使您的应用程序在Amazon EC2上能够使用临时的安全凭证自动实现AWS服务的创建,发布和内容修改。使用这样的临时凭证是IAM的最佳做法,因为您不再需要在实例上维护一个或多个长期密钥。对EC2使用IAM角色也无需再使用必须手动或以编程方式管理的长期AWS访问密钥。 例如,应用程序必须通过AWS证书签署API请求。因此,如果您是应用程序开发人员,您需要一个策略来为EC2实例上运行的应用程序管理证书。您可以安全地将您的AWS证书分配至实例,从而允许这些实例上运行的应用程序使用您的证书签署请求,并保护其免受其他用户的影响。但是,要将凭证安全地分配至每项实例有一定难度,尤其是AWS以您的名义创建的实例,例如竞价型实例或Auto Scaling组中的实例。当您更换AWS证书时,您还必须能够更新每项实例上的证书。IAM角色能够委托授权以发出API请求,而不用创建并分配您的AWS证书。详细解决方案,请查阅文档适用于Amazon EC2的IAM角色。 之前,IAM角色只能在实例创建设置时添加,这导致了过去创建的实例和忘记添加IAM角色的实例无法使用IAM角色操作实例,从而被迫重新部署实例及应用程序。从现在开始,您可以通过将IAM角色附加到现有的尚未被角色附加的EC2实例,来使用AWS提供的临时安全证书操作EC2实例,您还可以随时替换附加到现有EC2实例的IAM角色。 适用范围 文中的操作步骤已于2017年2月23日验证通过,其中AWS CLI版本1.11.48,在AWS全球和AWS中国区均能正常使用。 解决方案 1.   创建IAM角色 2.   将IAM角色附加给现有EC2实例(最初没有IAM角色附加) 3.   更换附加到Amazon EC2的IAM角色 4.   移除附加到Amazon EC2的IAM角色 本文假设您具有创建IAM角色的权限,并具有调用EC2 API的权限。 AWS命令行操作步骤中所有出现的占位符{Some Words},都应该替换为实际资源名称。 AWS控制台操作步骤 1.  打开EC2控制面板,并选择左侧边栏的“实例”。 2.  选择您的实例,依次点击上方的操作->实例设置->Attach/Replace IAM role 3.  打开IAM role下拉菜单,选择您想要附加给当前EC2的IAM角色,No Role代表不附加角色,选好后点击右侧的Apply按钮。选择并应用的过程实际上包含了:将IAM角色附加给现有EC2实例(最初没有IAM角色附加);更换附加到Amazon EC2的IAM角色;移除附加到Amazon EC2的IAM角色。 4.  如果您选择了No Rule(即移除EC2上的IAM角色),会显示如下页面: 5.  如果您未作出有效的修改,会显示如下页面: 6.  如果您的修改有效,会显示如下页面: AWS命令行操作步骤 开始操作之前,请确保您的CLI版本大于等于1.11.48。如果您对当前自己的CLI版本有疑问,可以在命令行中执行以下命令进行版本查询: $aws –version 如果您已经有 pip 和支持的 Python 版本,则可以使用以下命令安装 […]

Read More