亚马逊AWS官方博客
Tag: airflow
使用Amazon Web Services CDK,在云上构建DataOPS 平台
这是系列文章的第二篇,在第一篇文章“另辟蹊径: 在云端使用SQL语言实现数据转化,测试和文档维护” 中介绍了做数据准备的ELT模式,以及如何利用DBT来帮助Data Analysts通过SQL做数据转化,测试和文档维护。 在这篇文章中,将以上一篇为基础,使用Amazon Web Services CDK构建一个Data OPS方案。
使用CDK部署基于Fargate的高可用、易扩展的Airflow集群
本文以在亚马逊云科技中国区部署自建Airflow为例,提出了一个参考架构,并提供了一套CDK的参考实现,让使用AMAZON WEB SERVICES CDK的用户通过数行代码就可以将整套方案部署到云上。
将 Apache Airflow 部署到云端
Airflow on AWS