Category: Analytics

AWS Glue全新的可视化数据准备工具，让数据科学家和数据分析师能够更快地清理和规范化数据，与传统数据准备方法相比，速度可提高80%。

本文详细介绍了如何利用Kinesis构建流式数据架构并带有指导实验。

本文介绍了如何使用Prometheus与Grafana设置监控系统，借此监控目标EMR集群；以及如何使用Grafana仪表板查看关键指标以优化各类性能问题。大家也可以在Prometheus中设置警报，保证系统在发生严重问题时发出通知，并参考仪表板以缩小故障排查范围。您还可以根据需求扩展这套监控系统，利用它监控多个EMR集群及其他应用程序，打造出一套完整的、覆盖整体基础设施与应用程序的一站式指标监控系统。

数据的使用在数据格式和规模两个方面已经取得了快速的发展。对不同技术（关系数据库、NoSQL、图数据库、明文文件等）进行管理则会显著增加运营开销。随着竞争烈度的提升，数据规模也将随业务推进而飞速发展，带来更大的计算与存储资源压力。这一切，都迫使组织需求通往更高敏捷性与速度水平的道路。

数据的使用在数据格式和规模两个方面已经取得了快速的发展。对不同技术（关系数据库、NoSQL、图数据库、明文文件等）进行管理则会显著增加运营开销。随着竞争烈度的提升，数据规模也将随业务推进而飞速发展，带来更大的计算与存储资源压力。这一切，都迫使组织需求通往更高敏捷性与速度水平的道路。

在实际的运营场景中，我们可以通过统计过程控制图（SPC：Statistical Process Control Chart）监控运营过程的稳定性，对过程存在的异常因素进行预警，以实现故障减少，用户体验提升和运营成本降低的目的。本文将介绍如何在Amazon SageMaker Service中，通过R语言来绘制统计过程控制图，从而可视化监控运营过程数据。

本文介绍了高盛集团旗下交易银行团队如何通过TxB微账户策略建立起应用程序隔离边界，又如何使用AWS PrivateLink对策略做出进一步补充。此外，本文还讨论了TxB团队如何跨各微账户建立起与MSK集群的网络连接，又如何通过Amazon MSK在满足核心安全要求的同时摆脱沉重的运营负担。在建立Amazon MSK环境时，大家不妨参考文章中介绍的构建方法。

我们的大数据管道已经在Amazon EMR上运行超过一年，且所有数据都存储在S3当中。在特定时段中，我们实时处理管道的峰值速率高达每秒200多万个事件，而从事件出现到汇总结果更新，总体处理延迟仅为1分钟。Amazon EMR为我们带来出色的灵活性，帮助我们在几分钟之内快速完成集群的清理与重新创建。我们对Amazon EMR平台的整体稳定性非常满意，也将继续与AWS一道探索EMR的进一步改善之道。

Amazon Route 53 团队刚刚推出了一项名为 Route 53 解析器查询日志的新功能，该功能可让您记录由 Amazon Virtual Private Cloud 内的资源发出的所有 DNS 查询。无论是 Amazon Elastic Compute Cloud (EC2) 实例、AWS Lambda 函数还是容器，如果它位于您的 Virtual Private Cloud 中并进行 DNS 查询，则此功能将记录它；然后您可以探索并更好地了解应用程序的运行情况。

如何监控和调优Spark Streaming实时应用程序是一项非常挑战的工作，您需要随时应对环境中发生的种种变化。另外，还需要监控源数据流和作业的输出，从而可以了解全面的情况。Spark是一套非常灵活并且丰富的框架，它能够提供多种方式来对任务进行监控。本文主要探讨了其中一种有效的方法，使用SparkListeners并将提取到的指标与CloudWatch指标相集成，从而实现监控Spark Streaming微批处理程序的性能。