Category: Analytics

数据湖是一种越来越受欢迎的数据存储和分析方法，可解决处理海量异构数据的难题。数据湖可让组织将所有结构化和非结构化数据存储在一个集中式存储库中。由于数据可以按原样存储，因此无需将其转换为预先定义的数据结构（区别于传统关系型数据仓库）。

AWS 采访了 Mike McCandless，他是一位拥有 12 年经验的资深 Lucene 拥趸。McCandless 于 2017 年加入 Amazon，他说对于配置 Apache Lucene 来进行 Amazon 规模的运行，只要他能够继续向上游贡献更改，回馈开源的 Lucene 项目。›

在本博文中，我们重点介绍了 AWS 客户用于实现临床试验现代化的常见架构模式。这包括引入移动技术以提高生成证据的能力、降低成本、提升质量、提高普及率以及为患者提供更加个性化的医疗等。

本博文将介绍如何更改 Open Distro for Elasticsearch 中的 Admin 密码。要选择和部署新的 admin 密码，您需创建该密码的哈希，将其放置在本地文件中，然后将该本地文件映射到容器的文件系统中。要更改 kibanaserver 密码，您还需要覆盖 docker-compose.yml 文件中的环境变量。

今天，我们在 Amazon Kinesis Data Analytics 中添加了 Java 支持。 现在，开发人员可以使用他们自己的 Java 代码来创建强大的实时应用程序来处理流数据，例如持续转换数据并加载到其数据湖中、生成指标以产生实时游戏排行榜、应用机器学习模型来处理来自联网设备的数据流等。

要使用这一新功能，开发人员需要使用开源库构建应用程序。这些开源库中包含用于通用数据处理功能的内置运算符，让应用程序能够整理、转换、聚合和分析任意规模的数据。以下库都已开放源代码，您可以在任何位置运行它们

推出适用于 Microsoft Windows 的 Amazon Kinesis 代理：此代理可帮助您对自己构建和运行的服务保持主动，而非被动应对。

几周前，我们为 Amazon Kinesis Data Streams (KDS) 推出了两项重要的性能加强功能：增强扇出功能和 HTTP/2 数据检索 API。增强的扇出功能允许开发人员通过为每个数据流消费者提供其自己的读取吞吐量来扩增数据流消费者的数量（应用程序实时从数据流中读取数据）。与此同时，在常见情况下，HTTP/2 数据检索 API 允许在 70 毫秒或更短的时间内（提升了 65%）将数据从生产者传送给消费者。这些新功能可让开发人员依托 Kinesis Data Streams，构建速度更快、反应更灵敏、高度并行化且对延迟敏感的应用程序。

本文将为您演示如何通过简单的配置将 ES 与 Cognito 集成起来提供安全的用户注册、登录和访问控制。

关系数据库管理系统支撑着最重要的联机交易类应用，存放着最重要的数据资产，所以在用户IT系统里占据着非常核心的位置。现实情况往往是审计功能虽然使用并不复杂的统的商业数据库管理系统，但是鲜见有用户打开审计功能。Amazon Aurora MySQL全新发布，高级审计功能强劲在哪，本期大咖专栏带你一探究竟。

您是否遇到过需要根据某些属性划分数据集的情况？K-means 是用于划分数据的最常见的机器学习算法之一。该算法能够将数据分成不同的组 (称为集群)。每个样本都被分配到一个集群，这样，相比分配到其他集群中的样本，分配到同一集群中的样本彼此之间更相似。 在这篇博客文章中，我将介绍使用 AWS Glue 提取位于 Amazon S3 上有关出租车行驶情况的数据集，并使用 K-means 根据行车坐标将数据分成 100 个不同的集群。然后，我会使用 Amazon Athena 查询行驶次数和每个集群的大概区域。最后，我会使用 Amazon Athena 来计算行驶次数最多的四个区域的坐标。使用 AWS Glue 和 Amazon Athena 都可以执行这些任务，无需预置或管理服务器。 解决方案概述 我将使用在以前的博客文章中用过的纽约市出租车数据集：使用 AWS Glue、Amazon Athena 和 Amazon QuickSight 协调、查询和可视化各个提供商的数据。我将使用 2016 年 1 月份包含绿色出租车行驶数据的表。 我将向您展示 AWS Glue 作业脚本，该脚本使用 Spark 机器学习 K-means 集群库，基于坐标划分数据集。该脚本通过加载绿色出租车数据并添加指示每一行被分配到哪个集群的列来执行作业。该脚本采用 parquet 格式将表保存到 Amazon s3 存储桶 (目标文件)。可以使用 Amazon Athena […]