Category: Analytics

我们正处于大数据和机器学习的时代。非结构化数据在数据中的占比越来越高，而在这些非结构化数据中，占据主导位置的是机器生成的日志数据。随着使用微服务，容器和机器学习构建越来越多的应用程序，机器生成的日志数据量已经呈现出指数增长的态势，因此对于日志的管理、分析、挖掘也提出了更高的挑战。为了快速解决运营和安全问题，对这些数据进行实时分析已变得至关重要。几年前，我们发布了Amazon Elasticsearch Service。它是一个完全托管的日志分析服务，使部署、管理和扩展Elasticsearch和Kibana变得更加容易。

k-NN算法是经典的机器学习算法之一，是用于分类和回归的非参数方法。本文将介绍如何使用 Amazon Elasticsearch Service 构建 k 近邻 (k-NN) 相似度搜索。

AWS 首席执行官 Andy Jassy在re:Invent技术大会主题演讲中，围绕着转型从六个方面做了阐述：1、领导层协调一致；2、技术的深度和广度；3、架构和应用的现代化；4、规模化使用数据；5、采用机器学习创新；6、突破云迁移的阻碍。 今天我和您分享第四部分，讲述企业在数字化转型的过程中，如何通过向云迁移利用好企业的数据资产满意度。

Amazon EMR是业界领先的原生云大数据平台，它极大地简化了在AWS上运行各种大数据框架进行大数据的处理和分析工作。通过使用这些框架和相关的开源项目(如Apache Spark、Apache Hive和Apache HBase等)，并结合 Amazon EC2 的Auto Scaling动态弹性和 Amazon S3 的可扩展高可靠存储，您可以轻松、快速、经济高效地处理大规模海量数据。通过EMR ，您可以在数分钟内启动大数据集群，并且无需担心基础设施管理的任务，EMR会帮助完成这些工作，您只需要集中精力进行数据分析即可。

数据湖是一种越来越受欢迎的数据存储和分析方法，可解决处理海量异构数据的难题。数据湖可让组织将所有结构化和非结构化数据存储在一个集中式存储库中。由于数据可以按原样存储，因此无需将其转换为预先定义的数据结构（区别于传统关系型数据仓库）。

AWS 采访了 Mike McCandless，他是一位拥有 12 年经验的资深 Lucene 拥趸。McCandless 于 2017 年加入 Amazon，他说对于配置 Apache Lucene 来进行 Amazon 规模的运行，只要他能够继续向上游贡献更改，回馈开源的 Lucene 项目。›

在本博文中，我们重点介绍了 AWS 客户用于实现临床试验现代化的常见架构模式。这包括引入移动技术以提高生成证据的能力、降低成本、提升质量、提高普及率以及为患者提供更加个性化的医疗等。

本博文将介绍如何更改 Open Distro for Elasticsearch 中的 Admin 密码。要选择和部署新的 admin 密码，您需创建该密码的哈希，将其放置在本地文件中，然后将该本地文件映射到容器的文件系统中。要更改 kibanaserver 密码，您还需要覆盖 docker-compose.yml 文件中的环境变量。

今天，我们在 Amazon Kinesis Data Analytics 中添加了 Java 支持。 现在，开发人员可以使用他们自己的 Java 代码来创建强大的实时应用程序来处理流数据，例如持续转换数据并加载到其数据湖中、生成指标以产生实时游戏排行榜、应用机器学习模型来处理来自联网设备的数据流等。

要使用这一新功能，开发人员需要使用开源库构建应用程序。这些开源库中包含用于通用数据处理功能的内置运算符，让应用程序能够整理、转换、聚合和分析任意规模的数据。以下库都已开放源代码，您可以在任何位置运行它们

推出适用于 Microsoft Windows 的 Amazon Kinesis 代理：此代理可帮助您对自己构建和运行的服务保持主动，而非被动应对。