亚马逊AWS官方博客

使用 AWS DMS 将数据从 Amazon S3 流式传输至 Amazon Kinesis Data

本文介绍了如何使用AWS DMS,将批处理方案转换为近实时解决方案。这套解决方案大大简化了将记录由Amazon S3迁移至Kinesis并加以分析的过程。Kinesis作为AWS DMS指定的目标,可为多种其他系统提供数据资源。这样一条近实时管道将帮助您快速了解系统内的各类变化,最终提升组织的实际决策能力。

Read More

Amazon EKS 集群升级指南

Kubernetes 项目发展迅速,提供了新功能、设计更新和错误修复。社区大约每三个月发布新的 Kubernetes 次要版本,为了支持 Kubernetes 版本 Kubernetes 社区,Amazon EKS 致力于在任何给定时间支持至少四个生产就绪的 Kubernetes 版本。本文在EKS文档的基础上,整理了用户在生产环境的升级操作实践,为其他用户的集群升级操作提供参考。

Read More

Apache Spark 3.0 新特性在 FreeWheel 核心业务数据团队的应用与实战

相信作为 Spark 的粉丝或者平时工作与 Spark 相关的同学大多知道,Spark 3.0 在 2020 年 6 月官方重磅发布,并于 9 月发布稳定线上版本,这是 Spark 有史以来最大的一次 release,共包含了 3400 多个 patches,而且恰逢 Spark 发布的第十年,具有非常重大的意义。

Read More