Tag: AWS Database Migration Service (AWS DMS)

在企业环境下，混合云架构是一种常见的架构，理想环境下摄取本地Oracle数据库的数据是通过Apache Sqoop或DMS使用网络专线将数据迁移到s3存储桶，进行数据分析。但受本地条件限制，很多用户是用Oracle Datapump或者Exp/Imp将数据导出后，再将本地数据传输到s3存储桶。本文通过阐述使用上述两种不同的工具，介绍如何将数据导入s3存储桶，使用Athena做数据分析。

目前市场上对实时数据进行分析的场景越来越多，本文将尝试从DocumentDB中抽取实时数据流，并打入消息队列Kafka，方便后端进行Consume和分析。基于篇幅原因，我们会在之后的文章里使用Flink来实时消费Kafka的数据，方便做特征工程以及实时分析，拿到实时数据中的Insight。