亚马逊AWS官方博客
Category: AWS Big Data
使用 Kiro AI IDE 开发 基于Amazon EMR 的Flink 智能监控系统实践
本文介绍如何使用 Kiro AI IDE 开发 Amazon EMR Flink 智能监控系统,重点分享基于 Strands Agents MCP 和 AWS Data Processing MCP 的开发实践,以及 Spec 驱动开发 的完整流程。
使用 Kiro AI IDE 开发 AWS CDK 部署架构:从模糊需求到三层堆栈的协作实战
本文记录了一次真实的 AI 辅助开发过程:如何使用 **Kiro AI** 从一个模糊的部署需求开始,通过人机协作,逐步设计出三层堆栈架构,并完成 Amazon EMR Flink 智能监控系统的 AWS CDK 部署代码。
基于 Strands Agents 的 Amazon EMR Flink 智能监控系统
本文将介绍一个基于 **Strands Agents** 和 **Amazon Bedrock** 构建的智能 Flink 监控系统,该系统采用多 Agent 协作架构,能够自动收集指标、智能分析问题、提供优化建议,并通过自然语言对话的方式与用户交互。
EMR和S3的跨区域应急备份恢复方案之二:亿级数据文件批量筛选恢复
在本文中,我们将展示如何利用 S3 Batch Operations 搭配 manifest generator 来构建一种真正符合“应急恢复”定义的跨区域 S3 恢复方法
基于Amazon Glue优化Iceberg表的合并功能在亚马逊云科技中国区域的实现
本篇博客旨在提供一个解决方案,在亚马逊云科技中国区域实现Amazon Glue的Iceberg表合并(Compaction)相同的功能,并利用Amazon Cloudformation的模板功能,提供方便快捷的一键式部署方案。
通过 Okta 集成 IAM Identity Center 实现对 Amazon QuickSight 的统一身份认证
本文介绍了如何使用 Okta 作为身份提供商(IdP),通过 亚马逊云科技IAM Identity Center实现对 Amazon QuickSight 的统一身份认证访问。
通过ODCR和Prioritized Allocation Strategy 构建高效、经济的EMR集群(二)
本篇Blog就重点介绍 如何在EMR集群中 Prioritized 新特性的使用场景和具体用法。
EMR和S3的跨区域应急备份恢复方案 之一:在存储成本与恢复时效之间取得平衡
本文结合典型的电商数据处理场景,对 EMR 与 S3 的跨区域应急备份与恢复方案进行了系统分析与量化评估。通过比较多种主流方案在成本、恢复时效与可运维性方面的差异,提出了一种在“成本—时效”之间取得最优平衡的技术路径,旨在为构建更具韧性的数据基础设施提供可操作的参考。
在Apache DataHub中整合Amazon Glue任务的数据血缘
本文将介绍如何在Apache DataHub中整合Amazon Glue任务的数据血缘,包括导入Glue Catalog的元数据信息,Glue Spark任务中表和字段级别的血缘关系,通过DataHub来统一管理和查询大数据目录。
【Agentic AI for Data系列】开发新范式:AI驱动的数据革命(先导篇)
本文深入探讨了从”Data for AI”到”AI for Data”的范式转变,详细阐述了Agentic AI在数据开发全生命周期中的革命性应用。文章通过电商用户行为分析的实际场景,对比传统开发模式与Agentic AI驱动模式的差异,展示核心能力。同时提供了AWS AI Stack完整生态的技术选型指南。