亚马逊AWS官方博客

Category: Analytics

使用Amazon Web Services CDK,在云上构建DataOPS 平台

这是系列文章的第二篇,在第一篇文章“另辟蹊径: 在云端使用SQL语言实现数据转化,测试和文档维护” 中介绍了做数据准备的ELT模式,以及如何利用DBT来帮助Data Analysts通过SQL做数据转化,测试和文档维护。 在这篇文章中,将以上一篇为基础,使用Amazon Web Services CDK构建一个Data OPS方案。

Read More

使用AWS VPC, KMS, Lambda和ElasticSearch 实现安全和加密的数据搜索

安全性是您应用程序的首要任务。安全几乎贯穿了产品研发的每一个环节,作为产品架构设计人员,开发,运维人员,使用系统级别的安全防护手段,可以有效的提高产品的安全性。在本文中,我们将向您介绍如何使用 Amazon VPC,Amazon KMS,Amazon Lambda 以及Amazon OpenSearch(Amazon ElasticSearch) 保护您的数据。

Read More

构建在Amazon EMR之上的Apache Atlas展现数据目录和数据血缘

在数据驱动业务的时代,各行各业中不同体量的客户都意识到数据的重要性,但是面对日 益增加的各式各样的数据,如何知晓这些数据是什么,什么时间,什么地方发生了变化, 这个数据的拥有者又是谁,等等。只有清楚的知晓这些内容,才能做到数据驱动业务。这 个时候,数据的元数据管理与数据治理成为企业级数据湖的重要部分。本文聚焦于构建在 Amazon EMR 之上的 Apache Atlas 展现数据目录和数据血缘。

Read More

Amazon CloudSearch的全托管式搜索解决方案

Amazon Elasticsearch 和 Amazon CloudSearch都是亚马逊基于云的搜索解决方案。Amazon Elasticsearch 是一个基于开源的解决方案,而Amazon CloudSearch 则是一个完全托管的搜索服务。CloudSearch设置起来非常简单,易于使用,它可让您轻松且经济高效地为您的网站或应用程序设置、管理和扩展搜索解决方案

Read More

AppSync调试方法

GraphQL是一种新的API规范及查询语言,它按照客户的查询需求“不多不少”准确返回查询结果。它通过简明的类型系统描述查询及返回结果。GraphQL 通常通过单入口来提供 HTTP 服务的完整功能,这一实现方式与暴露一组 URL 且每个 URL 只暴露一个资源的 REST API 不同。GraphQL可以通过 GraphQL schema 的持续演进来避免版本控制。

Read More

云原生编排数据分析管道初探

公有云是适合数据分析和大数据处理的天然平台。近年来,云服务和开源社区涌现出许多优秀的工作流编排工具,方便就数据分析中复杂的抽取转换加载 (ETL) 过程进行任务编排。要成功运行数据分析管道,需要至少两个必要准备,一是搭建好支持运行数据管道的基础设施。二是编排好数据管道的 ETL 任务顺序。前者涉及运维,后者事关业务。从数据分析的角度,则希望运维难度最小,业务易用度最大。本文从上述两个角度切入,就 Airflow 和状态机支持数据分析管道的情况进行分析,并初步探讨云原生编排数据管道的方法和意义。

Read More