亚马逊AWS官方博客

AWS Team

Author: AWS Team

5分钟快速上手 – 通过EMR引导脚本部署Alluxio并运行Spark任务

Apache Hadoop和Spark给大数据计算带来了重大革新,而AWS EMR为按需运行集群以处理计算工作负载提供了很好的选择,它管理各种Hadoop服务的部署,并提供挂钩对这些服务进行自定义开发。Alluxio是一个开源的基于内存的分布式存储系统,现在成为开源社区中成长最快的大数据开源项目之一。Alluxio可以运行在EMR上,在EMRFS之上当前提供功能特性。 除了缓存带来的性能优势之外,Alluxio还使用户能够针对on-premise存储或甚至不同的云提供商存储运行计算工作负载。在本文中,我们将通过AWS CLI快速通过Alluxio引导EMR,并运行PySpark进行文档内容筛选。

Read More

在 AWS 中国区搭建基于 Kubernetes 的动态扩展的 TiDB 集群

TiDB 是 PingCAP 公司设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库,结合了传统的 RDBMS 和 NoSQL 的最佳特性。TiDB 兼容 MySQL,支持无限的水平扩展,具备强一致性和高可用性。TiDB 的目标是为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的解决方案。 基于Kubernetes环境搭建TiDB具有易部署易调整、弹性、高可用等特点,越来越多的客户采用这种方式进行研发测试环境的TiDB集群搭建。

Read More

基于 jenkins 打造 kubernetes on aws 上的 CI/CD 管道

本博客将会利用jenkins pipeline实现对于存储在Github上的代码在kubernetes平台之上的CI/CD管道,其中会以云原生的方式,将jenkins master,jenkins slave全部部署于kubernetes之上,从而打造一个高可用,弹性伸缩的CI/CD管道。此外,项目中还会涉及到kubernetes on AWS的特有特性,AWS上的镜像仓库(ECR)等知识的介绍。

Read More

使用 AWS ParallelCluster 轻松构建 WRF 集群进行气象预报

Weather Research and Forecasting Model(WRF)被誉为是次世代的中尺度天气预报模式,很多气象机构都使用WRF来做气象方面的研究与预测。充分利用公有云的弹性,可以使得气象研究和预测既高效、又经济,并可以以更灵活的方式提供给客户。本文将详细向您介绍在AWS上使用ParallelCluster集群工具、构建WRF、准备数据、通过WRF并行计算做气象预测的整个流程,让您更轻松地在AWS中国区开启气象的研究和预测。

Read More

利用 Amazon Elastic Inference 设置工具在几分钟内快速加载 EI 加速器

Elastic Inference使得您可以将低成本的以GPU为动力的计算加速附加到 Amazon EC2 和 Amazon SageMaker 实例,从而将运行深度学习推理的成本降低多达 75%。如果您是第一次使用 EI,必须设置若干依赖项:Amazon Web Services (AWS) PrivateLink VPC 终端节点、IAM 策略和安全组规则。您可以使用 EI 设置工具来加速这一过程,它能够在几分钟内创建所需的资源帮助您启动 EI 加速器,使您快速上手。本文阐述了如何使用脚本、脚本的功能以及运行脚本时的情况。

Read More