亚马逊AWS官方博客

Category: Analytics

规划具有 Hot-Warm 架构的 Amazon Elasticsearch Service 集群

Elasticsearch近几年的热度持续增长,有着非常广泛的应用场景,而AWS作为云计算的领导者,不可或缺地提供托管的Elasticsearch服务 — Amazon Elasticsearch Service(简称AES),在今年的5月份,AWS正式上线了创新性的Ultrawarm节点,使得AES支持业界流行的Hot-Warm存储架构,整体存储成本大大降低,为用户提供更好的性价比。本文将向您介绍如何规划具有Hot-Warm架构的AES集群。

Read More

使用 Prometheus 与 Grafana 对 Amazon EMR上的分析类工作负载进行监控与优化

本文介绍了如何使用Prometheus与Grafana设置监控系统,借此监控目标EMR集群;以及如何使用Grafana仪表板查看关键指标以优化各类性能问题。大家也可以在Prometheus中设置警报,保证系统在发生严重问题时发出通知,并参考仪表板以缩小故障排查范围。您还可以根据需求扩展这套监控系统,利用它监控多个EMR集群及其他应用程序,打造出一套完整的、覆盖整体基础设施与应用程序的一站式指标监控系统。

Read More

使用 AWS Lake Formation 配合 Amazon EMR 控制数据访问与权限

数据的使用在数据格式和规模两个方面已经取得了快速的发展。对不同技术(关系数据库、NoSQL、图数据库、明文文件等)进行管理则会显著增加运营开销。随着竞争烈度的提升,数据规模也将随业务推进而飞速发展,带来更大的计算与存储资源压力。这一切,都迫使组织需求通往更高敏捷性与速度水平的道路。

Read More

使用运行在 Amazon EC2 G4 实例上的 Amazon EMR,提升 RAPIDS XGBoost 性能并降低运营成本

数据的使用在数据格式和规模两个方面已经取得了快速的发展。对不同技术(关系数据库、NoSQL、图数据库、明文文件等)进行管理则会显著增加运营开销。随着竞争烈度的提升,数据规模也将随业务推进而飞速发展,带来更大的计算与存储资源压力。这一切,都迫使组织需求通往更高敏捷性与速度水平的道路。

Read More

在 Amazon SageMaker Service 中使用 R 绘制统计过程控制图(SPC)实现流程稳定性预警

在实际的运营场景中,我们可以通过统计过程控制图(SPC:Statistical Process Control Chart)监控运营过程的稳定性,对过程存在的异常因素进行预警,以实现故障减少,用户体验提升和运营成本降低的目的。本文将介绍如何在Amazon SageMaker Service中,通过R语言来绘制统计过程控制图,从而可视化监控运营过程数据。

Read More

高盛如何通过 AWS PrivateLink 构建起接入 Amazon MSK 集群的跨账户连接体系

本文介绍了高盛集团旗下交易银行团队如何通过TxB微账户策略建立起应用程序隔离边界,又如何使用AWS PrivateLink对策略做出进一步补充。此外,本文还讨论了TxB团队如何跨各微账户建立起与MSK集群的网络连接,又如何通过Amazon MSK在满足核心安全要求的同时摆脱沉重的运营负担。在建立Amazon MSK环境时,大家不妨参考文章中介绍的构建方法。

Read More

Verizon Media Group 如何从本地 Apache Hadoop 与 Spark 迁移至 Amazon EMR

我们的大数据管道已经在Amazon EMR上运行超过一年,且所有数据都存储在S3当中。在特定时段中,我们实时处理管道的峰值速率高达每秒200多万个事件,而从事件出现到汇总结果更新,总体处理延迟仅为1分钟。Amazon EMR为我们带来出色的灵活性,帮助我们在几分钟之内快速完成集群的清理与重新创建。我们对Amazon EMR平台的整体稳定性非常满意,也将继续与AWS一道探索EMR的进一步改善之道。

Read More