亚马逊AWS官方博客

Amazon EMR 迁移指南

世界各地的企业逐渐认识到新型大数据处理和分析框架(如 Apache Hadoop 和 Apache Spark)的强大功能,但同时也发现在本地数据湖环境中运行这些技术面临着挑战。他们也对当前供应商的未来表示担忧。
为了解决这个问题,我们推出了 Amazon EMR 迁移指南(注:英文版首次出版于 2019 年 6 月,这是我们首次推出中文版)。 本文是一份全面的指南,旨在提供合理的技术建议,帮助客户规划如何从本地大数据部署迁移到 EMR。

Read More

利用 Slurm + ParallelCluster 多集群解决方案,助力云端高性能计算

一些HPC客户要求ParallelCluster支持多种实例类型,而ParallelCluster在单个集群中仅支持一种实例类型。 该解决方案在具有不同实例类型的多个ParallelCluster群集之前添加了一个额外的管理节点。 然后可以将作业从管理节点登顶到任何群集。 该解决方案可以满足客户的多实例类型需求,同时保留ParallelCluster的优势。

Read More

AWS Security JAM 服务之启动篇

AWS Security JAM服务是由AWS Professional Service 团队开发并向参与者提供的一项专业服务。AWS Security JAM能帮助众多AWS使用者,客户,参与者 通过JAM平台中的挑战,来学习100+家企业的实践经验。每个挑战可以理解为一个案例题目,深入体会每个挑战案例如何通过最小权限,最安全的方式完成挑战案例。

Read More

如何利用 Managed Node Group 高效管理 Amazon EKS 集群

Amazon Elastic Kubernetes Service (EKS) 是AWS上托管的 Kubernetes 服务。2月28日已在由光环新网运营的AWS中国(北京)区域和由西云数据运营的AWS(宁夏)区域上线。
Amazon EKS在Kubernetes用户中收到了极大的欢迎。据第三方统计机构 nuclearsearch 的统计( https://nucleusresearch.com/research/single/guidebook-containers-and-kubernetes-on-aws/),全球公有云上的容器数量,有80% 运行在AWS上。如果只统计Kubernetes的应用,那么在AmazonEKS上运行的应用数量更是占到了总数的82%。

Read More

“删库” 事件将引发快速构建低成本云安全灾备架构

删库”事件,不只一次发生,这次突发事件影响很大,影响的不只是6天144小时的服务暂停、10亿港币蒸发,约300万商户苦苦等待,还有SaaS信息系统重大突发事件处理经验和教训,以及企业对灾难备份重视。其实,类似事件时有发生是有原因的。按照海因里希安全法则,此类事件属于300∶29∶1法则中的1/330。这个1/330从信息系统的视角分析。这意味着:当一个企业的信息系统持续有300起安全隐患或违规问题,非常可能要发生29起轻度问题或故障事件,另外还有一起突发的重大信息系统事故。

Read More

AWS Glue 增量数据加载和优化的 Parquet 写入器

本文将介绍如何从 Amazon S3 数据湖以及JDBC连接数据库中的数据源增量加载数据,并且还会展示如何通过作业书签使 AWS Glue ETL 作业仅读取新添加的数据,以及如何通过在之前的作业运行结束时重置作业书签,让 AWS Glue ETL 作业处理晚到达的数据。本文还将回顾作业书签与复杂的AWS Glue ETL 脚本和工作负载配合使用的最佳实践。
最后,本文将介绍如何使用经过性能优化的自定义 AWS Glue Parquet 写入器,可以在运行时计算架构,避免额外的数据传输。AWS Glue Parquet 写入器还通过添加或删除列支持数据集的架构演变。

Read More

为什么使用 Docker 容器进行机器学习开发?

与其他人一样,我也喜欢在笔记本电脑上做原型开发。当我想与人协作时,我会将代码推送到 GitHub 并邀请协作者。当我想运行实验并需要更多的计算能力时,我会在云中租用 CPU 和 GPU 实例,将我的代码和依赖项复制到实例中,然后运行实验。如果您对这个过程很熟悉,那么您可能会奇怪:为什么一定要用 Docker 容器呢?在本文中,我会尝试说明为什么您应该考虑使用 Docker 容器进行机器学习开发。在本文的前半部分,我将讨论在使用复杂的开源机器学习软件时遇到的主要难题,以及采用容器将如何缓和这些问题。然后,我将介绍如何设置基于 Docker 容器的开发环境,并演示如何使用该环境来协作和扩展集群上的工作负载。

Read More

使用开源的 Crossplane 将 AWS 托管服务连接到 Argo CD 管道

云基础设施正在迅速成熟起来,使得企业能够利用新架构和服务以及运行在 Amazon Elastic Container Service (Amazon ECS) 上的应用程序。基础设施团队发现他们在使用 AWS CloudFormation 等工具管理传统云环境,同时还在管理 Amazon ECS 或 Kubernetes 等托管的容器本机系统。在本文中,我们将说明如何使用 Crossplane 和 Argo CD 来通过 Amazon Relational Database Service (Amazon RDS) 将一个简单的应用程序部署到两个 AWS 区域。

Read More