亚马逊AWS官方博客
Category: Analytics
另辟蹊径: 在云端使用SQL语言实现数据转化,测试和文档维护
本篇文章将为读者介绍一新的开源工具: DBT(Data Build Tool), 并详细演示,如何使用DBT,基于Amazon Redshift 使用SQL语言来做数据转换,测试用例编写 和文档维护。
使用AWS VPC, KMS, Lambda和ElasticSearch 实现安全和加密的数据搜索
安全性是您应用程序的首要任务。安全几乎贯穿了产品研发的每一个环节,作为产品架构设计人员,开发,运维人员,使用系统级别的安全防护手段,可以有效的提高产品的安全性。在本文中,我们将向您介绍如何使用 Amazon VPC,Amazon KMS,Amazon Lambda 以及Amazon OpenSearch(Amazon ElasticSearch) 保护您的数据。
Amazon Redshift数据实时摄入最佳实践
本文将针对在Amazon Redshift的使用场景下,探讨如何准实时或实时的摄入数据到Redshift,以使得数据立即可用,并可以依此来构建实时数仓架构。
构建在Amazon EMR之上的Apache Atlas展现数据目录和数据血缘
在数据驱动业务的时代,各行各业中不同体量的客户都意识到数据的重要性,但是面对日 益增加的各式各样的数据,如何知晓这些数据是什么,什么时间,什么地方发生了变化, 这个数据的拥有者又是谁,等等。只有清楚的知晓这些内容,才能做到数据驱动业务。这 个时候,数据的元数据管理与数据治理成为企业级数据湖的重要部分。本文聚焦于构建在 Amazon EMR 之上的 Apache Atlas 展现数据目录和数据血缘。
Amazon CloudSearch的全托管式搜索解决方案
Amazon Elasticsearch 和 Amazon CloudSearch都是亚马逊基于云的搜索解决方案。Amazon Elasticsearch 是一个基于开源的解决方案,而Amazon CloudSearch 则是一个完全托管的搜索服务。CloudSearch设置起来非常简单,易于使用,它可让您轻松且经济高效地为您的网站或应用程序设置、管理和扩展搜索解决方案
使用 Amazon Athena 做漏斗分析
本文介绍了如何使用 Amazon Athena 做漏斗分析,并给出了完整 SQL 设计方案和思路。
AppSync调试方法
GraphQL是一种新的API规范及查询语言,它按照客户的查询需求“不多不少”准确返回查询结果。它通过简明的类型系统描述查询及返回结果。GraphQL 通常通过单入口来提供 HTTP 服务的完整功能,这一实现方式与暴露一组 URL 且每个 URL 只暴露一个资源的 REST API 不同。GraphQL可以通过 GraphQL schema 的持续演进来避免版本控制。
增强Amazon Athena对历史查询记录的统计分析功能
Amazon Athena 是一种交互式查询服务,让您能够轻松使用标准 SQL 分析 Amazon S3 中的数据。Athena 采用无服务器架构,因此您无需管理任何基础设施,且只需为您运行的查询付费。Athena 简单易用,只需指向您存储在 Amazon S3 中的数据,定义架构并使用标准 SQL 开始查询。
云原生编排数据分析管道初探
公有云是适合数据分析和大数据处理的天然平台。近年来,云服务和开源社区涌现出许多优秀的工作流编排工具,方便就数据分析中复杂的抽取转换加载 (ETL) 过程进行任务编排。要成功运行数据分析管道,需要至少两个必要准备,一是搭建好支持运行数据管道的基础设施。二是编排好数据管道的 ETL 任务顺序。前者涉及运维,后者事关业务。从数据分析的角度,则希望运维难度最小,业务易用度最大。本文从上述两个角度切入,就 Airflow 和状态机支持数据分析管道的情况进行分析,并初步探讨云原生编排数据管道的方法和意义。
在 Amazon Kinesis Data Analytics Studio 中尝试的十大 Flink SQL 查询
通过 Amazon Kinesis Data Analytics Studio,您可以轻松地实时分析流数据并使用标准 SQL、Python 和 Scala 构建流处理应用程序。只需在亚马逊云科技管理控制台上单击几下,就可以启动无服务器笔记本来查询数据流,只需几秒钟即可获得结果。