亚马逊AWS官方博客

Category: Analytics

通过数据湖利用好数据资产

AWS 首席执行官 Andy Jassy在re:Invent技术大会主题演讲中,围绕着转型从六个方面做了阐述:1、领导层协调一致;2、技术的深度和广度;3、架构和应用的现代化;4、规模化使用数据;5、采用机器学习创新;6、突破云迁移的阻碍。 今天我和您分享第四部分,讲述企业在数字化转型的过程中,如何通过向云迁移利用好企业的数据资产满意度。

Read More

数据魔方 – 快速在 Amazon EMR 上部署 Apache Kylin 进行大数据分析

Amazon EMR是业界领先的原生云大数据平台,它极大地简化了在AWS上运行各种大数据框架进行大数据的处理和分析工作。通过使用这些框架和相关的开源项目(如Apache Spark、Apache Hive和Apache HBase等),并结合 Amazon EC2 的Auto Scaling动态弹性和 Amazon S3 的可扩展高可靠存储,您可以轻松、快速、经济高效地处理大规模海量数据。通过EMR ,您可以在数分钟内启动大数据集群,并且无需担心基础设施管理的任务,EMR会帮助完成这些工作,您只需要集中精力进行数据分析即可。

Read More

更改 Open Distro for Elasticsearch 中的 Admin 密码

本博文将介绍如何更改 Open Distro for Elasticsearch 中的 Admin 密码。要选择和部署新的 admin 密码,您需创建该密码的哈希,将其放置在本地文件中,然后将该本地文件映射到容器的文件系统中。要更改 kibanaserver 密码,您还需要覆盖 docker-compose.yml 文件中的环境变量。

Read More

新增功能 – Amazon Kinesis Data Analytics for Java

今天,我们在 Amazon Kinesis Data Analytics 中添加了 Java 支持。 现在,开发人员可以使用他们自己的 Java 代码来创建强大的实时应用程序来处理流数据,例如持续转换数据并加载到其数据湖中、生成指标以产生实时游戏排行榜、应用机器学习模型来处理来自联网设备的数据流等。

要使用这一新功能,开发人员需要使用开源库构建应用程序。这些开源库中包含用于通用数据处理功能的内置运算符,让应用程序能够整理、转换、聚合和分析任意规模的数据。以下库都已开放源代码,您可以在任何位置运行它们

Read More

Amazon Kinesis Data Streams 推出增强扇出功能和 HTTP/2 数据检索 API功能

几周前,我们为 Amazon Kinesis Data Streams (KDS) 推出了两项重要的性能加强功能:增强扇出功能和 HTTP/2 数据检索 API。增强的扇出功能允许开发人员通过为每个数据流消费者提供其自己的读取吞吐量来扩增数据流消费者的数量(应用程序实时从数据流中读取数据)。与此同时,在常见情况下,HTTP/2 数据检索 API 允许在 70 毫秒或更短的时间内(提升了 65%)将数据从生产者传送给消费者。这些新功能可让开发人员依托 Kinesis Data Streams,构建速度更快、反应更灵敏、高度并行化且对延迟敏感的应用程序。

Read More