亚马逊AWS官方博客

Category: Analytics

在 Amazon Elasticsearch Service 中使用 Random Cut Forests 实现实时异常检测

在本文中,我们理解了异常检测的目标,并探讨了异常检测模型与输出结果方面的详细信息。目前,大家可以轻松从Amazon ES以及Open Distro for Elasticsearch当中获得这些功能。最后,我们还将异常检测工具的结果与两种常用模型进行了比较,并观察到相当可观的性能改进。

Read More

关于在 AWS 上运行 Apache Kafka 的最佳实践

在本文中,我们将讨论了在AWS云中运行Kafka的几种常见模式。AWS还提供另一种托管解决方案,即 Amazon Kinesis Data Streams。该方案无需为服务器的管理或扩展而分神,大家可以在几秒钟之内扩展流式管道规模且无任何停机,跨可用区数据复制将自动执行,以开箱即用的方式享受良好的安全保障,Kinesis Data Stream与Lambda、Redshift、Elasticsearch等多种AWS服务以及Storm、Spark、Flink等开源框架紧密集成。

Read More

在规划 Amazon ElastiCache Redis 集群大小时,需要考量的五种工作负载特性

Amazon Kinesis流式数据处理服务凭借强大的实时处理功能、无需预置或管理任何基础设施、按实际用量付费这些特点,可以帮助企业快速构建流式数据处理、分析平台,获得对企业业务运营的洞察,并帮助企业实时响应业务和客户的需求,加速企业的数字化转型。

Read More

为云端海量日志分析优化的分级存储 – Amazon Elasticsearch Service 中的 UltraWarm

我们正处于大数据和机器学习的时代。非结构化数据在数据中的占比越来越高,而在这些非结构化数据中,占据主导位置的是机器生成的日志数据。随着使用微服务,容器和机器学习构建越来越多的应用程序,机器生成的日志数据量已经呈现出指数增长的态势,因此对于日志的管理、分析、挖掘也提出了更高的挑战。为了快速解决运营和安全问题,对这些数据进行实时分析已变得至关重要。几年前,我们发布了Amazon Elasticsearch Service。它是一个完全托管的日志分析服务,使部署、管理和扩展Elasticsearch和Kibana变得更加容易。

Read More

通过数据湖利用好数据资产

AWS 首席执行官 Andy Jassy在re:Invent技术大会主题演讲中,围绕着转型从六个方面做了阐述:1、领导层协调一致;2、技术的深度和广度;3、架构和应用的现代化;4、规模化使用数据;5、采用机器学习创新;6、突破云迁移的阻碍。 今天我和您分享第四部分,讲述企业在数字化转型的过程中,如何通过向云迁移利用好企业的数据资产满意度。

Read More

数据魔方 – 快速在 Amazon EMR 上部署 Apache Kylin 进行大数据分析

Amazon EMR是业界领先的原生云大数据平台,它极大地简化了在AWS上运行各种大数据框架进行大数据的处理和分析工作。通过使用这些框架和相关的开源项目(如Apache Spark、Apache Hive和Apache HBase等),并结合 Amazon EC2 的Auto Scaling动态弹性和 Amazon S3 的可扩展高可靠存储,您可以轻松、快速、经济高效地处理大规模海量数据。通过EMR ,您可以在数分钟内启动大数据集群,并且无需担心基础设施管理的任务,EMR会帮助完成这些工作,您只需要集中精力进行数据分析即可。

Read More