Tag: AWS Lambda

在 re:Invent 大会期间发布的文章 (AWS Greengrass – 无处不在的现实世界计算) 中，我首次介绍了 AWS Greengrass。当时我们推出了 AWS Greengrass 的有限预览版，并邀请您注册。 正如我当时指出的那样，许多 AWS 客户希望在现场收集和处理数据，而现场的网络连接通常很慢，有时还时断时续，并不可靠。利用 Greengrass，他们可以在基于现场的小型简单设备上应用 AWS 编程模型。它建立在 AWS IoT 和 AWS Lambda 的基础上，支持访问 AWS Cloud 中不断增加的各种服务。 利用 Greengrass，您可以访问在现场运行的计算、消息收发、数据缓存和同步服务，这些服务并不依赖与 AWS 区域的稳定高带宽连接。您可以在 Python 2.7 中编写 Lambda 函数，并将其从云部署到 Greengrass 设备，同时使用 Device Shadows 来维护状态。您的设备和外设可以使用本地消息收发互相通信，后者并不通过云进行传递。 现已公开发布 今天我们将在US East (Northern Virginia) 和 US West (Oregon) 区域公开发布 Greengrass。在预览版本中，AWS 客户已成功获得 Greengrass […]

1.概述 Serverless即无服务器架构正在迅速举起，AWS Lambda 和AWS API Gateway作为Serverless 架构主要的服务，正受到广泛关注，也有越来越多用户使用它们，享受其带来的便利。传统上来说，Lambda 和API Gateway主要用以实现RESTful接口，其响应输出结果是JSON数据，而实际业务场景还有需要输出二进制数据流的情况，比如输出图片内容。本文以触发式图片处理服务为例，深入挖掘Lambda 和 API Gateway的最新功能，让它们支持二进制数据，展示无服务器架构更全面的服务能力。 先看一个经典架构的案例——响应式主动图片处理服务。 Lambda配合 S3 文件上传事件触发在后台进行图片处理，比如生成缩略图，然后再上传到 S3，这是Lambda用于事件触发的一个经典场景。 http://docs.aws.amazon.com/lambda/latest/dg/with-s3-example.html 在实际生产环境中这套架构还有一些局限，比如： 后台运行的图片处理可能无法保证及时完成，用户上传完原图后需要立即查看缩略图时还没有生成。 很多图片都是刚上传后使用频繁，一段时间以后就使用很少了，但是缩略图还不能删，因为也可能有少量使用，比如查看历史订单时。 客户端设备类型繁多，一次性生成所有尺寸的缩略图，会消耗较多Lambda运算时间和 S3存储。 如果增加了新的尺寸类型，旧图片要再生成新的缩略图就比较麻烦了。 我们使用用户触发的架构来实现实时图片处理服务，即当用户请求某个缩略图时实时生成该尺寸的缩略图，然后通过 CloudFront缓存在CDN上。这其实还是事件触发执行Lambda，只是由文件上传的事件主动触发，变成了用户访问的被动触发。但是只有原图存储在S3，任何尺寸的缩图都不生成文件不存储到S3。要实现此架构方案，核心技术点就是让Lambda和API Gateway可以响应输出二进制的图片数据流。 总体架构图如下： 主要技术点： 涉及服务都是AWS完全托管的，自动扩容，无需运维，尤其是 Lambda，按运算时间付费，省去 EC2 部署的繁琐。 原图存在 S3 上，只开放给 Lambda 的读取权限，禁止其它人访问原图，保护原图数据安全。 Lambda 实时生成缩略图，尽管Lambda目前还不支持直接输出二进制数据，我们可以设置让它输出base64编码后的文本，并且不再使用JSON结构。配合API Gateway可以把base64编码后的文本再转换回二进制数据，最终就可以实现输出二进制数据流了。 用 API Gateway 实现 图片访问的URL。我们常见的API Gateway用来做RESTful 的API接口，接口的 URL形式通常是 /resource?parameter=value，其实还可以配置成不用GET参数，而把URL中的路径部分作参数映射成后端的参数。 回源 API Gateway，缓存时间可以用户自定义，建议为24小时。直接支持 HTTPS，支持享用AWS全球边缘节点。 CloudFront […]

背景介绍 相信AWS的用户对AWS CloudFormation都不会陌生。AWS CloudFormation是实现IAC（Infrastructure as Code）自动化运维的一项重要服务，可以帮助用户对 AWS资源进行建模和设置，以便能花较少的时间管理这些资源。CloudFormation中有两个重要选项：Mappings段和Parameters段，可以帮助用户组织模板里的参数和映射，让用户更好地自定义堆栈，以实现模板的重用和复用。比方说可以用Mappings管理对应AWS上不同region的AMI ID，或者管理企业内部的不同部门。 但是当用户所在的组织越来越多地采用IAC自动化时，mappings和parameters的数量也会急剧增长，给CloudFormation模板的编写和维护带来复杂度。 解决方案 本文里我们介绍一种方法：用当前流行的Serverless计算AWS Lambda 和Amazon DynamoDB自动地管理AWS CloudFormation模板中的Parameters和Mappings。 本文中主要用到了以下几种 AWS服务： 1、DynamoDB表：Amazon DynamoDB是一个NoSQL数据库，这里我们采用它保存CloudFormation模板中所有的mappings和parameters。不仅可以实现集中存放，而且可以依赖DynamoDB的接口实现方便快速地增删和查找。比方说在我们的sample code中，整个企业采用这样一张表：partition key包括组名（比如说team1、team2等）和环境（比如说development、test、production等），sort key保存应用的名字。这个表里的数据类似这样： 当我们把这些数据都insert到DynamoDB中后，可以在AWS console里看到表中的内容是这样的： 2、Lambda方法：AWS Lambda又称为Serverless的计算，通过它你可以运行你的code而不需要预配置或者管理任何服务器。这里我们采用Lambda方法实现CloudFormation和DynamoDB之间的关联，它从CloudFormation模板接收primary key和sort key作为输入，查找DynamoDB表，并且返回所有的key-value数据。 3、Custom lookup resource：这是CloudFormation里的一个自定义资源，与一个Lambda方法绑定。CloudFormation除了可以定义已有的AWS资源，还支持几种自定义资源，包括这种以Lambda方法作为后端的自定义资源。当这种自定义资源创建、更新或者删除时，CloudFormation自动地向Lambda API发起请求，引发方法并将请求的数据传给Lambda方法，本例中所请求的数据是primary key，返回的数据是key-value数据。通常在一个组织中只需要建立这一个custom resource，所有的CloudFormation模板都可以复用它。下图是sample code里建立的custom resource： 让我们将这几种服务组合起来，并且定义好它们之间的交互顺序，整个解决方案就是下图展示的这样： 那么整个的交互顺序如下： 1、用户创建DynamoDB表，插入所需的mappings和parameters数据。 2、CloudFormation模板中的custom resource调用Lambda方法，用组名和环境名称（“teamname-environment”）作为partition key，用应用名称（”appname”）作为sort key。 3、Lambda方法用partition key和sort key作为输入查询DynamoDB表。 4、DyanamoDB将结果返回给Lambda方法。 5、Lambda方法将这些key-value数据作为结果返回给模板中的custom resource。 6、custom resource拿到数据后，堆栈里的其他资源可以通过Fn::GetAtt的方式获得这些数据。 结论 通过这种方式，可以将我们创建堆栈所需的固定部分保存在模板中，而将可变部分mappings和parameters保存在方便增删改查的DynamoDB中，用Lambda实现两者之间的关联。对于大型组织来说，这样可以提高运维效率，也是使用CloudFormation的一种最佳实践。 参考 可以在我们的网站上下载到相关的sample […]

Amazon CTO Werner Vogels曾经在AWS re:Invent大会上提到: 如果把云计算理解成一个执行环境，那么，在这个环境里，函数（即业务逻辑的载体）+数据（即跟业务相关的输入与输出）就是应用的核心，有了Functions、Data、Event这三者，其它任何代码和框架，无非是整个应用的胶水和UI罢了。那么，最理想的情况就是用最少的时间写胶水，将更多的时间投入到核心应用的开发中，甚至，彻底实现整个软件栈的微服务化。 那么能不能做到呢？答案是肯定的。AWS Lambda也在这样的背景下应运而生了，其实在很多人眼里，Lambda是一个具有“革命性”的服务，我本人也非常喜欢Lambda这个服务，因为它给我的感觉是: 轻、快、高可用！能够快速将想法写成代码，并应用到生产，不需要关心底层基础设施的运维。接下来，让我们一起搭建一个serverless的后台！ 【1】AWS Lambda怎么用？ 怎么学习Lambda呢？让我们从一个简单的数学问题开始，10以内乘法和加法运算，获得随机的一个数字。代码有注释，如下: //Node.js尽量全使用严格模式 ‘use strict’; //利用console.log可以将日志自动打到CloudWatch里面 console.log(‘Loading function’); exports.handler = (event, context, callback) => {     //定义一个最小值为2     var min = 2;     //定义一个最大值为10     var max = 10;     //生成一个随机数，乘以最大值，再加上一个最小值     var generatedNumber = Math.floor(Math.random() * max) + min;     //利用callback回调，得到结果。     callback(null, generatedNumber); […]

知识补充： 什么是AWS Lambda？ AWS Lambda在可用性高的计算基础设施上运行您的代码，执行计算资源的所有管理工作，其中包括服务器和操作系统维护、容量预置和自动扩展、代码监控和记录，只在需要时执行您的代码并自动缩放，从每天几个请求到每秒数千个请求，其提供了AWS基础设施的高可用性，高安全性，高功能性和高可扩展性。 具体可参考: https://docs.aws.amazon.com/zh_cn/lambda/latest/dg/welcome.html 什么是Alexa Skills Kit？ Alexa是Echo内置的语音助手，通过它能够唤醒Echo。Alexa的优点在于，它基于云端，因此我们可以随时对其进行改进。Alexa Skills Kit (ASK)是一个由自服务API、工具、文件和实例代码的集合，可轻松构建你自定义的Alexa skills，然后发布。 具体可参考: https://developer.amazon.com/public/solutions/alexa/alexa-skills-kit 1. 打开链接https://aws.amazon.com/，申请亚马逊AWS账号。登录控制台，选择AWS Lambda服务，创建Lambda Function。 2. 选择Alexa Skills Kit 3. 下载需要用到的代码，解压，打开index.js文件，修改文件中的开发者账号ID，如下： https://s3.cn-north-1.amazonaws.com.cn/bjsdemo/LambdaAlexaSkillsKit/RecipeTemplate.zip 修改完成之后，然后打成Zip包上传（注意，这里的打包不需要文件夹，直接把.js文件打包成RecipeTemplate.zip） 接着点击“Create function” 到这里，Lambda 创建成功。 4. 进入https://developer.amazon.com/，创建Alexa Skills Kit。 选择ALEXA 5. 选择“Alexa Skills Kit” 6. 点击“Add a new Skill” 7. 填写Name: Solution Helper，Invocation Name: solution helper 8. […]