亚马逊AWS官方博客

Category: Analytics

使用Amazon Web Services CDK,在云上构建DataOPS 平台

这是系列文章的第二篇,在第一篇文章“另辟蹊径: 在云端使用SQL语言实现数据转化,测试和文档维护” 中介绍了做数据准备的ELT模式,以及如何利用DBT来帮助Data Analysts通过SQL做数据转化,测试和文档维护。 在这篇文章中,将以上一篇为基础,使用Amazon Web Services CDK构建一个Data OPS方案。

使用AWS VPC, KMS, Lambda和ElasticSearch 实现安全和加密的数据搜索

安全性是您应用程序的首要任务。安全几乎贯穿了产品研发的每一个环节,作为产品架构设计人员,开发,运维人员,使用系统级别的安全防护手段,可以有效的提高产品的安全性。在本文中,我们将向您介绍如何使用 Amazon VPC,Amazon KMS,Amazon Lambda 以及Amazon OpenSearch(Amazon ElasticSearch) 保护您的数据。

构建在Amazon EMR之上的Apache Atlas展现数据目录和数据血缘

在数据驱动业务的时代,各行各业中不同体量的客户都意识到数据的重要性,但是面对日 益增加的各式各样的数据,如何知晓这些数据是什么,什么时间,什么地方发生了变化, 这个数据的拥有者又是谁,等等。只有清楚的知晓这些内容,才能做到数据驱动业务。这 个时候,数据的元数据管理与数据治理成为企业级数据湖的重要部分。本文聚焦于构建在 Amazon EMR 之上的 Apache Atlas 展现数据目录和数据血缘。

Amazon CloudSearch的全托管式搜索解决方案

Amazon Elasticsearch 和 Amazon CloudSearch都是亚马逊基于云的搜索解决方案。Amazon Elasticsearch 是一个基于开源的解决方案,而Amazon CloudSearch 则是一个完全托管的搜索服务。CloudSearch设置起来非常简单,易于使用,它可让您轻松且经济高效地为您的网站或应用程序设置、管理和扩展搜索解决方案

AppSync调试方法

GraphQL是一种新的API规范及查询语言,它按照客户的查询需求“不多不少”准确返回查询结果。它通过简明的类型系统描述查询及返回结果。GraphQL 通常通过单入口来提供 HTTP 服务的完整功能,这一实现方式与暴露一组 URL 且每个 URL 只暴露一个资源的 REST API 不同。GraphQL可以通过 GraphQL schema 的持续演进来避免版本控制。

增强Amazon Athena对历史查询记录的统计分析功能

Amazon Athena 是一种交互式查询服务,让您能够轻松使用标准 SQL 分析 Amazon S3 中的数据。Athena 采用无服务器架构,因此您无需管理任何基础设施,且只需为您运行的查询付费。Athena 简单易用,只需指向您存储在 Amazon S3 中的数据,定义架构并使用标准 SQL 开始查询。

云原生编排数据分析管道初探

公有云是适合数据分析和大数据处理的天然平台。近年来,云服务和开源社区涌现出许多优秀的工作流编排工具,方便就数据分析中复杂的抽取转换加载 (ETL) 过程进行任务编排。要成功运行数据分析管道,需要至少两个必要准备,一是搭建好支持运行数据管道的基础设施。二是编排好数据管道的 ETL 任务顺序。前者涉及运维,后者事关业务。从数据分析的角度,则希望运维难度最小,业务易用度最大。本文从上述两个角度切入,就 Airflow 和状态机支持数据分析管道的情况进行分析,并初步探讨云原生编排数据管道的方法和意义。