亚马逊AWS官方博客

使用高级 Amazon CloudWatch 指标和 AWS Lambda 通过空闲检查和自动资源终止优化 Amazon EMR 成本

在这篇博文中,我们将提出一种解决方案来减少这方面的成本。我们实施了一个 bash 脚本,将其安装在 EMR 集群的主节点上,并将该脚本计划为每 5 分钟运行一次。该脚本可监控集群并每 5 分钟向 CloudWatch 发送一次自定义指标 EMR-INUSE(0=非活动;1=活动)。如果 CloudWatch 在一些预定义数据点收到 0(非活动),则将触发警报,然后执行终止集群的 AWS Lambda 函数。

Read More

使用 Athena 替换 Hbase 实现对历史数据的查询分析

Amazon Athena服务近期将在中国区发布。Amaozn Athena在大数据平台的交互式查询中应用非常广泛。之前由于中国区没有发布Amazon Athena服务,有些用户为了实现历史数据的查询,选择使用Apache HBase服务,这除了给用户造成管理和成本的负担之外,也对HBase集群的性能带来大幅的降低。本文通过一个示例介绍如何一步一步的从HBase中剥离历史数据实现使用Amazon Athena进行交互式查询的方案。

Read More

使用图数据库 Amazon Neptune 在推荐系统中按照协同过滤的方法做推荐

图数据库 Amazon Neptune ⾃自在2018年年发布以来,凭借其 多种图数据引擎的⽀支持、⾼高可⽤用、多只读副 本、跨可⽤用区复制、指定时间点恢复、安全、⾃自动备份等⼀一系列列特性,受到了了⼴广泛的关注,那么在推荐引擎 的设计和开发中怎么⽤用好Neptune,这⼀一点在官⽅方的相关⽂文档中并没有做深⼊入的说明,本⽂文就这个主题做⼀一 个展开讲解,希望对从事相关⼯工作的⼯工程师有所戒借鉴。

Read More

新增功能 – 使用 Step Functions 协调 Amazon EMR 工作负载

从今天开始,Step Functions 将连接到 Amazon EMR,使您能够以最少的代码创建数据处理和分析工作流,节省时间,并优化集群利用率。例如,为机器学习构建数据处理管道不仅耗时,而且棘手。借助这一全新集成功能,您可以轻松协调工作流功能,包括上一步结果中的并行执行和依赖关系,并在运行数据处理作业时处理故障和异常情况。

Read More

Service Broker 在 AWS 中国区的落地

OpenShift运行在AWS上,除了支持动态创建EBS卷、调用ELB等基础功能外,还可以通过Service Broker直接创建AWS原生服务,并提供给OpenShift中的容器化应用使用。
本文就针对OpenShift 3.11在AWS中国区如何使用Service Broker进行详细说明。

Read More