亚马逊AWS官方博客

Category: Analytics

使用 FluentBit 抽取日志到 AOS 中不同索引 Index

FluentBit 是一款轻量级的日志处理器,常用于从各种数据源收集日志并将其发送到不同的目标,包括 AWS OpenSearch Service (AOS)。在真实的业务场景中往往存在多种类型的日志,例如系统日志、安全日志、应用日志等。不同类型的日志需要隔离保存并实现访问控制,在 AOS 中可以使用索引 Index 的设计实现数据的分类存储、访问控制以及生命周期管理。

使用 Amazon Managed Service for Apache Flink 进行 Apache Paimon CDC 数据摄取

Apache Paimon 是一个开源的开放数据湖表格式,提供强大的 CDC Ingestion 功能。在亚马逊云科技云中,可以向 Amazon EMR 集群中提交 CDC Ingestion Job 来使用 Apache Paimon CDC 的Ingestion 功能。本文将研究和实现使用 Amazon Managed Service for Apache Flink 以 Serverless 方式来运行 Apache Paimon CDC Ingestion Job。

Amazon EMR 集群的成本优化实践

本文详细介绍了一个针对 AWS EMR 集群定时启停并保持 IP 地址固定的解决方案。该方案巧妙地结合了弹性网卡(ENI)技术和自动化脚本,有效解决了企业在使用 EMR 时面临的两大挑战:资源使用效率与 IP 地址变化问题。