亚马逊AWS官方博客

使用 Amazon Redshift 物化视图,加快查询执行速度

今天我们介绍用于 Amazon Redshift 的物化视图。物化视图 (MV) 是一个包含查询数据的数据库对象。物化视图像是视图的缓存,它不是在运行时构建和计算数据集,而是在创建的时候预先计算、存储和优化数据访问。数据如同常规表数据一样,随时可供查询使用。

Read More

Amazon EMR 迁移指南

世界各地的企业逐渐认识到新型大数据处理和分析框架(如 Apache Hadoop 和 Apache Spark)的强大功能,但同时也发现在本地数据湖环境中运行这些技术面临着挑战。他们也对当前供应商的未来表示担忧。
为了解决这个问题,我们推出了 Amazon EMR 迁移指南(注:英文版首次出版于 2019 年 6 月,这是我们首次推出中文版)。 本文是一份全面的指南,旨在提供合理的技术建议,帮助客户规划如何从本地大数据部署迁移到 EMR。

Read More

利用 Slurm + ParallelCluster 多集群解决方案,助力云端高性能计算

一些HPC客户要求ParallelCluster支持多种实例类型,而ParallelCluster在单个集群中仅支持一种实例类型。 该解决方案在具有不同实例类型的多个ParallelCluster群集之前添加了一个额外的管理节点。 然后可以将作业从管理节点登顶到任何群集。 该解决方案可以满足客户的多实例类型需求,同时保留ParallelCluster的优势。

Read More

AWS Security JAM 服务之启动篇

AWS Security JAM服务是由AWS Professional Service 团队开发并向参与者提供的一项专业服务。AWS Security JAM能帮助众多AWS使用者,客户,参与者 通过JAM平台中的挑战,来学习100+家企业的实践经验。每个挑战可以理解为一个案例题目,深入体会每个挑战案例如何通过最小权限,最安全的方式完成挑战案例。

Read More

如何利用 Managed Node Group 高效管理 Amazon EKS 集群

Amazon Elastic Kubernetes Service (EKS) 是AWS上托管的 Kubernetes 服务。2月28日已在由光环新网运营的AWS中国(北京)区域和由西云数据运营的AWS(宁夏)区域上线。
Amazon EKS在Kubernetes用户中收到了极大的欢迎。据第三方统计机构 nuclearsearch 的统计( https://nucleusresearch.com/research/single/guidebook-containers-and-kubernetes-on-aws/),全球公有云上的容器数量,有80% 运行在AWS上。如果只统计Kubernetes的应用,那么在AmazonEKS上运行的应用数量更是占到了总数的82%。

Read More

“删库” 事件将引发快速构建低成本云安全灾备架构

删库”事件,不只一次发生,这次突发事件影响很大,影响的不只是6天144小时的服务暂停、10亿港币蒸发,约300万商户苦苦等待,还有SaaS信息系统重大突发事件处理经验和教训,以及企业对灾难备份重视。其实,类似事件时有发生是有原因的。按照海因里希安全法则,此类事件属于300∶29∶1法则中的1/330。这个1/330从信息系统的视角分析。这意味着:当一个企业的信息系统持续有300起安全隐患或违规问题,非常可能要发生29起轻度问题或故障事件,另外还有一起突发的重大信息系统事故。

Read More

AWS Glue 增量数据加载和优化的 Parquet 写入器

本文将介绍如何从 Amazon S3 数据湖以及JDBC连接数据库中的数据源增量加载数据,并且还会展示如何通过作业书签使 AWS Glue ETL 作业仅读取新添加的数据,以及如何通过在之前的作业运行结束时重置作业书签,让 AWS Glue ETL 作业处理晚到达的数据。本文还将回顾作业书签与复杂的AWS Glue ETL 脚本和工作负载配合使用的最佳实践。
最后,本文将介绍如何使用经过性能优化的自定义 AWS Glue Parquet 写入器,可以在运行时计算架构,避免额外的数据传输。AWS Glue Parquet 写入器还通过添加或删除列支持数据集的架构演变。

Read More