亚马逊AWS官方博客

Tag: 大咖专栏

基于Amazon EC2 Container Service的持续集成/持续交付解决方案

基本概念 持续集成/持续交付 互联网软件的开发和发布,已经形成了一套标准流程,最重要的组成部分就是持续集成(Continuous integration,简称CI)和持续交付(Continuous delivery,简称CD)。 通过CI/CD构建自动化的代码交付管道,可以实现: (1) 快速交付。通过CI/CD自动化软件发布的过程,可以更快速地发布新的功能,快速迭代反馈并让新功能更快提供给客户。 (2) 提高质量。自动化构建、测试和发布过程致使可以轻松测试每次代码更改并捕捉易于修复的小型漏洞,通过标准化发布过程运行每一项更改,从而保证应用程序或基础设施代码的质量。 (3) 可配置工作流。通过图形用户界面模拟软件发布过程的各个阶段。 容器 本文涉及到的另外一个概念是容器,相信大家都已经不再陌生,并且很多朋友已经在自己的环境中有实际的运行、部署基于容器的应用,这边简单的回顾下容器的几个重要优势: 一是因为容器可以跨平台,从而让程序猿可以享受到研发生产环境一致性的便利,也就是DevOps。在没有容器之前,常常一个应用做好了在笔记本上可以运转起来,在数据中心就运转不起来,因为操作系统版本不同、库版本不对;或者有的时候生产环境里出现了问题,在笔记本的开发环境中复制不出来。有了容器之后,这些问题就大大减少了。 其二,容器在虚拟机里面可以大幅度提升资源利用率。因为一旦把应用容器化,虚拟机资源就可以通过部署多个容器而得到充分利用,而不是每一个应用去申请一个虚拟机,造成资源的浪费。 Amazon ECS/ECR Amazon EC2 Container Service (ECS)是一个托管的容器集群管理和调度服务, 可使您在 Amazon EC2 实例集群中轻松运行和管理支持 Docker 的应用程序。 使用 Amazon ECS 后,您不再需要安装、操作、扩展您自己的集群管理基础设施,可以根据资源需求和可用性要求在集群中安排支持 Docker 的应用程序。借助 Amazon ECS,您可以从一个容器扩展到覆盖数百个实例的数千个容器,而运行应用程序的方式并不会因此而变得复杂。您可以运行包括应用程序、批量作业和微服务在内的任何东西。Amazon ECS 将基础设施的一切复杂因素全部消除,让您能够集中精力设计、开发、运行容器化应用程序。 Amazon EC2 Container Registry (ECR) 是完全托管的 Docker 镜像仓库,可以让开发人员轻松存储、管理和部署 Docker 容器映像。Amazon ECR 集成在 Amazon EC2 Container Service (ECS) 中,从而简化产品工作流的开发。 本文主要介绍如何在AWS云上,使用Jenkins快速构建针对容器应用的持续集成/持续交付管道。 下图是整个CI/CD的流程图: […]

Read More

DMS宝典-轻松迈出数据库上云第一步

当企业迁移上云的时候,数据库迁移往往是最困难也是最重要的环节,近期BJS和ZHY region推出了AWS DMS工具,为客户提供了一个数据库迁移的利器。本文介绍了AWS DMS任务的基本原理,数据库迁移的大致流程,并用一个跨region异构数据库迁移的案例让大家对AWS DMS有了一个直观的认识,希望能帮助大家更好地利用这一安全,便捷、高效的工具,轻松迈出数据库迁移上云的第一步。

Read More

AWS Cognito User Pool 实现 Alexa 账户关联

Alexa Account Linking (账户关联) 允许将用户在 Alexa 账号系统中的身份与第三方账号系统中的身份关联起来,从而实现识别用户的身份。要与 Alexa 建立账户关联,第三方账号系统需要实现基于 OAuth 2.0 的授权。借助于 AWS Cognito User Pool,能够帮助厂家迅速建立安全、可拓展、全托管的 OAuth 2.0 认证系统。

Read More

使用 SFTP 管理 S3 存储桶

现在,AWS推出了AWS Transfer for SFTP 服务,该服务使用标准的SFTP协议和S3交互实现上传/下载数据,您也可以创建SFTP用户来实现精确的权限控制。在各个不同行业之间或公司不同部门之间进行数据交换时, AWS Transfer for SFTP 大幅度提高了访问S3的易用性。

Read More
aws-cloudformation

基于 Tag 驱动的 EBS 类型优化 CloudFormation 模板

企业中用于做报表的数据库服务器只是在每天的某个时间点需要大规模的磁盘IO操作,持续时间大约几个小时,如果按照高峰时期的磁盘IO需求来设定EBS卷的类型,需要IOPS为10000的io1卷。而按照平时大多数时候的磁盘IO水平来看,gp2类型的磁盘已经可以满足要求。为了能够做到物尽其用,节省成本,在IO高峰时候使用io1卷,而平时使用gp2卷会是一个理想的安排。本文介绍了一种通过设置EBS TAG来自动修改EBS类型的方法,以满足企业节省成本的需要。

Read More
Amazon Lambda

动手 lambda 新功能—custom runtime

lambda原来只能支持有限的语言种类,包括node.js, python, .Net, Go, java, ruby等。
如果需要在Lambda上运行不支持的语言或者二进制文件该怎么办呢?原先有一种比较有趣的方案,其实就是用已经支持的语言来写一个代理,包装在不被支持的语言的二进制运行文件之上。(参考 在lambda上运行其他语言)
而lambda custom runtime就是正统的这个问题的解决方案。

Read More

分布式 Lambda 从海外到中国自动同步S3文件

现在,越来越多的中国公司,在AWS海外区域部署业务。利用 S3 作为数据湖,存储海量的数据,包括图片、视频、日志、备份等等。很多场景下,需要把海外的 S3 数据复制到中国,在中国进行进一步分析处理。AWS S3 在海外提供跨区域自动复制功能 (Cross region replication, CRR) 。但是,由于中国和海外区域隔离,不能使用CRR功能。

Read More