亚马逊AWS官方博客
亚马逊云科技 2023 年 1 月、2 月服务上新
亚马逊云科技 2023 年 1 月、2 月服务上新
使用 Amazon EMR Studio 探索 Apache Hudi 核心概念 (1) – File Layouts
本系列文章使用 Amazon EMR Notebook 对 Apache Hudi 核心概念展开深入的探索和介绍,利用 Notebook 提供的统一环境和上下文,我们可以非常生动地观察到 Hudi 的运行机制,并深刻体会到其背后的控制原理,这也正是本系列文章的写作灵感:我们希望借助 Notebook “探索,发现,思考,领悟”的思维模式,带领大家开启一段 Hudi 核心概念的探索之旅。
通过实时输入中断合并配置优化 Amazon IVS 直播到 VOD 的流程
介绍了 AWS 互动视频直播服务 IVS 里新添加的很有用的新功能——输入中断合并。
使用 Amazon Athena 和 Amazon S3 ,助力企业构建低成本高性能日志分析平台
Amazon Athena 本身也具有一定的 ETL 能力,并且相对其他 ETL 服务更加简单易用,只需有 SQL 编写经验即可实现数据的 ETL 任务。本文利用这一特性,对日志数据进行清洗建模,并将数据压缩后,按查询关键字进行分区存储在 Amazon S3 上,实现了一种低成本、高性能的日志数据分析方案,解决了企业客户日志分析成本高的痛点。
Amazon SES 实时日志实践指南
本文将分享如何快速上手采用 Amazon SES 实现邮件发送,并重点介绍通过 Amazon OpenSearch 展示 Amazon SES 实时日志监控仪表盘;使用 Amazon SES 的日志功能,将日志数据导入 Amazon OpenSearch 集群中,并利用 OpenSearch 内置丰富的仪表盘以监控 SES 的邮件传递情况。
借助 Amazon CodeCommit 增强 API 助力企业代码仓库云迁移
Amazon CodeCommit 是一款基于 git 协议的代码托管工具,能实现简单、安全的 SaaS 化代码托管服务,帮助企业快速搭建完善的研发 Devops 流程。在企业对接 CodeCommit 的实践中,我们了解企业的常见需求后,提取了共性需求,实现了一套简单易用、开箱即用的 CodeCommit 增强 API。
私有实例轮询使用多公网 IP 访问公网的实现方案
众所周知,业务服务器是企业用以提供服务实现盈利的核心,绝大多数情况业务服务器都部署于私有网络中,以保证安全。 在私有网络中的业务服务器提供业务功能时,对网络的诉求会分成两种类型:第一种是经由互联网被访问,可以借助负载均衡器进行服务暴露实现;第二种则是主动访问互联网。 对于第二种类型,如果需要的公网IP数量少于或等于 8 个,可以使用 Amazon NAT Gateway 实现;若需要的公网IP数量大于 8 个,则需要更加灵活的方案。 本文将介绍两种方案,用于满足“需要的公网 IP 数量大于 8 个”的场景。
基于 Amazon ECS Fargate 实现终端设备通过 REST API 与 Amazon MSK 完成海量消息流式交互
客户端大量的日志消息或 IoT 终端设备大规模实时数据处理等场景下,基于 Amazon ECS Fargate 及 ALB 实现 HTTP REST API 的方式,快速安全地向 Amazon MSK 中发送消息。
让容器仓库飞起来:Amazon ECR 多区域分发与统一域名就近接入
本文介绍了一种全球化的 ECR 分发、就近访问、统一域名接入方案。通过 Amazon ECR 跨区域同步、Nginx 反向代理、Amazon Route 53 Geolocation 解析,实现了在多区域场景,快速、简单、统一的容器仓库访问。
基于 EMR on EKS 的 Spark 集群通过 Karpenter、Spot、Graviton 实现成本优化系列 Blog(三):成本优化方案可靠性测试
在整个系列博客中我们会以基于 EMR on EKS 的 Spark 大数据分析业务场景为示例,利用 Karpenter + Spot + Graviton,通过控制实例启动的优先级达到成本优化的目的。