亚马逊AWS官方博客

AWS Team

Author: AWS Team

在 Amazon EMR 上成功管理 Apache Spark 应用程序内存的最佳实践

根据数据和处理需求适当配置 Spark 应用程序以使其成功非常重要。使用默认设置时,Spark 可能不会使用集群的所有可用资源,最终可能会出现物理和/或虚拟内存问题。
本博文旨在通过详细介绍最佳实践来帮助您防范 Amazon EMR 上的 Apache Spark 出现内存相关的问题。

Read More

使用高级 Amazon CloudWatch 指标和 AWS Lambda 通过空闲检查和自动资源终止优化 Amazon EMR 成本

在这篇博文中,我们将提出一种解决方案来减少这方面的成本。我们实施了一个 bash 脚本,将其安装在 EMR 集群的主节点上,并将该脚本计划为每 5 分钟运行一次。该脚本可监控集群并每 5 分钟向 CloudWatch 发送一次自定义指标 EMR-INUSE(0=非活动;1=活动)。如果 CloudWatch 在一些预定义数据点收到 0(非活动),则将触发警报,然后执行终止集群的 AWS Lambda 函数。

Read More

使用 Athena 替换 Hbase 实现对历史数据的查询分析

Amazon Athena服务近期将在中国区发布。Amaozn Athena在大数据平台的交互式查询中应用非常广泛。之前由于中国区没有发布Amazon Athena服务,有些用户为了实现历史数据的查询,选择使用Apache HBase服务,这除了给用户造成管理和成本的负担之外,也对HBase集群的性能带来大幅的降低。本文通过一个示例介绍如何一步一步的从HBase中剥离历史数据实现使用Amazon Athena进行交互式查询的方案。

Read More

使用图数据库 Amazon Neptune 在推荐系统中按照协同过滤的方法做推荐

图数据库 Amazon Neptune ⾃自在2018年年发布以来,凭借其 多种图数据引擎的⽀支持、⾼高可⽤用、多只读副 本、跨可⽤用区复制、指定时间点恢复、安全、⾃自动备份等⼀一系列列特性,受到了了⼴广泛的关注,那么在推荐引擎 的设计和开发中怎么⽤用好Neptune,这⼀一点在官⽅方的相关⽂文档中并没有做深⼊入的说明,本⽂文就这个主题做⼀一 个展开讲解,希望对从事相关⼯工作的⼯工程师有所戒借鉴。

Read More

利用 SD-WAN 和专线混合组网,加速境内外企业 IDC 和多云数据中心

国内目前有很多企业涉及境外业务,比如跨境电商、游戏、社交、区块链等,会用到 AWS 的海外区域,同时这些企业在国内有自己的机房、 IDC 或者使用了国内的其他云厂家的机房,如果希望彼此进行互联互通或者数据传输。除了使用专线的方式之外,还能选择 SD-WAN 方案,或者专线加 SD-WAN 的混合组网方法。

Read More

APN合作伙伴解决方案查找器(PSF)简体中文支持升级与应用最佳实践

AWS合作伙伴解决方案查找器(Partner Solutions Finder,简称PSF)使AWS客户能够根据其业务需要轻松地搜索和联系APN咨询合作伙伴和技术合作伙伴。同时,合作伙伴可以通过PSF从AWS客户收集反馈评价,以满足APN级别客户成功类的新要求。PSF的简体中文本地化升级已于11月4日正式上线。它不仅更大程度地对用户界面进行了汉化,而且更有效地支持用简体中文进行搜索,这将改善中国AWS客户与APN合作伙伴使用PSF的体验,并使合作伙伴更容易获得业务机会。
每家APN合作伙伴都能够管理自己在PSF上的展示资料,提供有关自家公司的最新信息,从而改进其介绍页面在客户搜索结果中的呈现效果。本文将探讨通过管理PSF展示内容来充分利用这一APN合作伙伴工具的最佳实践。

Read More