亚马逊AWS官方博客

Tag: Amazon MSK

在Amazon EMR上构建实时数据湖

在 Amazon EMR 集群上，通过使用Flink, Spark 等服务与Hudi 集成，配合 Airflow, Amazon MSK 等服务可以轻松实现流式数据湖的构建，从而有效的减少了数据从产生到消费的数据延迟。同时借助 Amazon EMR 和 Amazon MSK, 消除了 Flink /Spark/Kafka 等基础服务运营开销，让这些服务开箱即用，从而使我们只要关心数据湖的构建以及湖上的数据处理

使用 Amazon MSK Connect、Apache Flink 和 Apache Hudi 创建低延迟的源到数据湖管道

近年来，我们已经从整体式架构向微服务架构转变。微服务架构使应用程序更易于扩展和更快开发，从而实现创新并加快新功能的上市。但是，这种方法会导致数据存在于不同的孤岛中，这使得执行分析变得困难。为了获得更深入和更丰富的洞察，您应该将不同孤岛中的所有数据集中到一个地方。

如何通过互联网安全地访问Amazon Managed Streaming for Apache Kafka (Amazon MSK) 集群（一）

本文首先介绍了需要公开访问Amazon MSK集群的应用场景，并手把手地说明了如何配置Amazon MSK集群的Public Access选项，以及通过IAM访问认证的方式来安全地访问集群。之后，我们会通过另外的博客来介绍公开访问Amazon MSK集群的其他两种模式：SASL/SCRAM 和mTLS 身份验证，敬请期待！

高盛如何通过 AWS PrivateLink 构建起接入 Amazon MSK 集群的跨账户连接体系

本文介绍了高盛集团旗下交易银行团队如何通过TxB微账户策略建立起应用程序隔离边界，又如何使用AWS PrivateLink对策略做出进一步补充。此外，本文还讨论了TxB团队如何跨各微账户建立起与MSK集群的网络连接，又如何通过Amazon MSK在满足核心安全要求的同时摆脱沉重的运营负担。在建立Amazon MSK环境时，大家不妨参考文章中介绍的构建方法。

Newer posts →