Category: Analytics

Amazon Redshift已经成为Cookpad公司为员工提供自助服务分析的关键基础。正如前文所述，我们使用AWS提供的种种新功能对集群容量进行了扩展，且全程未添加任何节点。

本文以VPC流日志为例，指导如何使用Glue爬网程序构建VPC流日志的数据目录，并使用GLUE ETL 作业把源数据进行分区并转换成Parquet格式，加速Athena查询VPC流日志的速度并减少扫描量以降低分析的成本。

本文介绍如何在 Amazon EKS 上部署和运行 FLink 作业。 Kubernetes 是目前最流行的用于自动部署，扩展和管理容器化应用程序的开源系统。我们看到越来越多的用户开始使用 Kubernetes 来作为企业容器应用部署平台。Amazon Elastic Kubernetes Service (Amazon EKS) 是一项完全托管的 Kubernetes 服务。

Amazon MSK能够降低基础设施的维护强度，简化问题的识别与解决，缩短代理维护时间，最终将生产力提升至新的层面。它在后台承担起Apache Kafka的维护工作，结合实际需求为我们提供监控级别选择，让我们的团队能够腾出更多精力改善业务应用程序并为客户提供价值回报

Elasticsearch近几年的热度持续增长，有着非常广泛的应用场景，而AWS作为云计算的领导者，不可或缺地提供托管的Elasticsearch服务 — Amazon Elasticsearch Service（简称AES），在今年的5月份，AWS正式上线了创新性的Ultrawarm节点，使得AES支持业界流行的Hot-Warm存储架构，整体存储成本大大降低，为用户提供更好的性价比。本文将向您介绍如何规划具有Hot-Warm架构的AES集群。

我们高兴地宣布，AWS Glue DataBrew目前已正式上线。凭借这款可视化数据准备工具，您能够将数据清洗与规范化速度提升达80%，确保把更多精力投入到真正具有业务价值的工作当中。

AWS Glue全新的可视化数据准备工具，让数据科学家和数据分析师能够更快地清理和规范化数据，与传统数据准备方法相比，速度可提高80%。

本文详细介绍了如何利用Kinesis构建流式数据架构并带有指导实验。

本文介绍了如何使用Prometheus与Grafana设置监控系统，借此监控目标EMR集群；以及如何使用Grafana仪表板查看关键指标以优化各类性能问题。大家也可以在Prometheus中设置警报，保证系统在发生严重问题时发出通知，并参考仪表板以缩小故障排查范围。您还可以根据需求扩展这套监控系统，利用它监控多个EMR集群及其他应用程序，打造出一套完整的、覆盖整体基础设施与应用程序的一站式指标监控系统。

数据的使用在数据格式和规模两个方面已经取得了快速的发展。对不同技术（关系数据库、NoSQL、图数据库、明文文件等）进行管理则会显著增加运营开销。随着竞争烈度的提升，数据规模也将随业务推进而飞速发展，带来更大的计算与存储资源压力。这一切，都迫使组织需求通往更高敏捷性与速度水平的道路。