Category: Analytics

本文讨论了如何使用Apache Flink与Kinesis Data Analytics构建流式ETL管道。其中着重强调了如何构建可扩展解决方案，在解决流式摄取中部分高级用例的同时，保持较低的运营开销。这套解决方案将帮助大家快速实现流式数据的丰富与转换，并将其加载至数据湖、数据存储或者其他分析工具当中，且无需执行额外的ETL操作步骤。本文还探讨了如何通过监控与故障处理对应用程序加以扩展。

在本文中，我们理解了异常检测的目标，并探讨了异常检测模型与输出结果方面的详细信息。目前，大家可以轻松从Amazon ES以及Open Distro for Elasticsearch当中获得这些功能。最后，我们还将异常检测工具的结果与两种常用模型进行了比较，并观察到相当可观的性能改进。

在本文中，我们将讨论了在AWS云中运行Kafka的几种常见模式。AWS还提供另一种托管解决方案，即 Amazon Kinesis Data Streams。该方案无需为服务器的管理或扩展而分神，大家可以在几秒钟之内扩展流式管道规模且无任何停机，跨可用区数据复制将自动执行，以开箱即用的方式享受良好的安全保障，Kinesis Data Stream与Lambda、Redshift、Elasticsearch等多种AWS服务以及Storm、Spark、Flink等开源框架紧密集成。

Amazon Kinesis流式数据处理服务凭借强大的实时处理功能、无需预置或管理任何基础设施、按实际用量付费这些特点，可以帮助企业快速构建流式数据处理、分析平台，获得对企业业务运营的洞察，并帮助企业实时响应业务和客户的需求，加速企业的数字化转型。

Amazon Kinesis流式数据处理服务凭借强大的实时处理功能、无需预置或管理任何基础设施、按实际用量付费这些特点，可以帮助企业快速构建流式数据处理、分析平台，获得对企业业务运营的洞察，并帮助企业实时响应业务和客户的需求，加速企业的数字化转型。

使用Glue ETL功能简单快捷的输出分区数据。

如果您希望通过Amazon Kinesis来进行数据收集和分析，但是应用开发已经完成或上线，且应用中使用了Kafka集群，那么本篇博客将带领您通过Kafka Connect轻松的将现有Kafka集群中的数据传输到Kinesis中。

我们正处于大数据和机器学习的时代。非结构化数据在数据中的占比越来越高，而在这些非结构化数据中，占据主导位置的是机器生成的日志数据。随着使用微服务，容器和机器学习构建越来越多的应用程序，机器生成的日志数据量已经呈现出指数增长的态势，因此对于日志的管理、分析、挖掘也提出了更高的挑战。为了快速解决运营和安全问题，对这些数据进行实时分析已变得至关重要。几年前，我们发布了Amazon Elasticsearch Service。它是一个完全托管的日志分析服务，使部署、管理和扩展Elasticsearch和Kibana变得更加容易。

k-NN算法是经典的机器学习算法之一，是用于分类和回归的非参数方法。本文将介绍如何使用 Amazon Elasticsearch Service 构建 k 近邻 (k-NN) 相似度搜索。

AWS 首席执行官 Andy Jassy在re:Invent技术大会主题演讲中，围绕着转型从六个方面做了阐述：1、领导层协调一致；2、技术的深度和广度；3、架构和应用的现代化；4、规模化使用数据；5、采用机器学习创新；6、突破云迁移的阻碍。 今天我和您分享第四部分，讲述企业在数字化转型的过程中，如何通过向云迁移利用好企业的数据资产满意度。