亚马逊AWS官方博客

使用 SFTP 管理 S3 存储桶

现在,AWS推出了AWS Transfer for SFTP 服务,该服务使用标准的SFTP协议和S3交互实现上传/下载数据,您也可以创建SFTP用户来实现精确的权限控制。在各个不同行业之间或公司不同部门之间进行数据交换时, AWS Transfer for SFTP 大幅度提高了访问S3的易用性。

Read More

使用 AWS CDK 增强您的基础设施

最近几年,很多团队都在采用基础设施即代码 (IaC)。它使基础设施的预置变得更加轻松,并有助于保持环境的一致性。

但是,由于使用声明式模板,您可能还未掌握“常见”代码所用的很多做法。您可能已感受到了每个 AWS CloudFormation 模板只是上一个项目或 StackOverflow 的复制和粘贴带来的问题。但您会信任这些代码段吗? 如何通过代码库调整改进项甚至是安全修复呢? 如何在公司或社区内共享最佳实践?

Read More
aws-cloudformation

基于 Tag 驱动的 EBS 类型优化 CloudFormation 模板

企业中用于做报表的数据库服务器只是在每天的某个时间点需要大规模的磁盘IO操作,持续时间大约几个小时,如果按照高峰时期的磁盘IO需求来设定EBS卷的类型,需要IOPS为10000的io1卷。而按照平时大多数时候的磁盘IO水平来看,gp2类型的磁盘已经可以满足要求。为了能够做到物尽其用,节省成本,在IO高峰时候使用io1卷,而平时使用gp2卷会是一个理想的安排。本文介绍了一种通过设置EBS TAG来自动修改EBS类型的方法,以满足企业节省成本的需要。

Read More

利用VPC Flow Logs统计EC2网络流量信息

AWS 提供的 CloudWatch 服务可以针对每一个弹性网络接口(以下简称 eni)的流量进行监控,但运维人员往往还希望获得源IP地址、源端口、目标 IP 地址、目标端口、传输层协议等信息。AWS提供的“VPC流日志”(以下简称Flow Logs)功能会针对每一个eni所产生的五元组信息进行监控记录 [2]。本文将介绍如何利用 Flow Logs 以及中国区域所提供的相关服务以实现针对 eni 的流量分析(例如:流入VPC、流出 VPC、在 VPC 内跨 AZ 的各种流量),并基于 Python3.x 给出相关操作代码。

Read More
Amazon Lambda

动手 lambda 新功能—custom runtime

lambda原来只能支持有限的语言种类,包括node.js, python, .Net, Go, java, ruby等。
如果需要在Lambda上运行不支持的语言或者二进制文件该怎么办呢?原先有一种比较有趣的方案,其实就是用已经支持的语言来写一个代理,包装在不被支持的语言的二进制运行文件之上。(参考 在lambda上运行其他语言)
而lambda custom runtime就是正统的这个问题的解决方案。

Read More

分布式 Lambda 从海外到中国自动同步S3文件

现在,越来越多的中国公司,在AWS海外区域部署业务。利用 S3 作为数据湖,存储海量的数据,包括图片、视频、日志、备份等等。很多场景下,需要把海外的 S3 数据复制到中国,在中国进行进一步分析处理。AWS S3 在海外提供跨区域自动复制功能 (Cross region replication, CRR) 。但是,由于中国和海外区域隔离,不能使用CRR功能。

Read More