亚马逊AWS官方博客
基于 Amazon SageMaker 优化 Stanford Alpaca 模型
在本文中,我们探索如何在 SageMaker 进行 Alpaca supervised fine-tuning。在这篇 blog 中,我们将采用自建镜像(BYOC)的方式。本次代码来源于 https://github.com/tatsu-lab/stanford_alpaca。
利用 Amazon Systems Manager 和 Terraform 批量为已运行的自定义范围的 Amazon EC2 安装 Amazon CloudWatch Agent 实现高阶 metrics 采集与展示
这篇 blog 对如何利用 terraform 批量为已运行的自定义范围的 EC2 实例安装 CloudWatch Agent 实现高阶 metrics 采集给出实践指导。
Stable Diffusion Quick Kit 动手实践 – 使用 Dreambooth 进行模型微调在 SageMaker 上的优化实践
本文介绍 Dreambooth 的业务需求及技术原理,通过在 Amazon SageMaker 上 BYOC 方式的 Training Job 解决方案,以及显存,模型管理,超参等的优化实践,实现了 Dreambooth fine tuning 的生产化运行,文中脚本代码及笔记本训练示例,可做为用户基于 Stable Diffusion 的 AIGC ML 平台的工程化的基础。
在 Amazon EKS 中应用 Amazon Fargate 的使用介绍
从 2019 年底开始,EKS 已经支持 Fargate 功能,Fargate 是无服务器的计算单元,支持 Pod 的运行,EKS 集群的数据平面可以完全由 Fargate 承载,免除了维护 EC2 实例的弹性扩展、打补丁、和管理等方面的运维难题,而且 Kubernetes pod 运行在单独隔离的环境中,增强了安全性。本文介绍 Amazon Fargate 的使用。
使用 Amazon EMR Studio 探索 Apache Hudi 核心概念 (3) – Compaction
本系列文章使用 Amazon EMR Notebook 对 Apache Hudi 核心概念展开深入的探索和介绍,利用 Notebook 提供的统一环境和上下文,我们可以非常生动地观察到 Hudi 的运行机制,并深刻体会到其背后的控制原理,这也正是本系列文章的写作灵感:我们希望借助 Notebook“探索,发现,思考,领悟”的思维模式,带领大家开启一段 Hudi 核心概念的探索之旅。
使用 EMR Hue 整合 Apache Kyuubi 提升 Spark SQL 开发效率
Amazon EMR 是一种全托管的云端数据平台,用于处理和分析大数据集。它基于开源的 Apache Hadoop 和 Apache Spark 等大数据技术栈,提供了一系列易于使用的工具,可帮助用户在云端快速构建和管理大规模的数据处理和分析应用程序。本文通过介绍在 EMR 中安装、集成 Apache Kyuubi,帮助提升在 EMR 平台上使用 Hue 进行 Spark SQL 开发的效率。
多条 DX 专线上的流量工程与高可用方案设计 – Part 2
随着业务的扩展,企业客户在使用已有专线的基础上,需要增加专线来满足需求,实现多专线组网流量优化。同时,为了避免单线故障,提升业务容灾能力,灵活使用边界网关协议(BGP:Border Gateway Protocol)和 AWS 提供的各类网络服务来实现业务在新老专线的负载均衡或主备冗余。
Alexa 车载 SDK 及云端 Skill 集成介绍
本文介绍了 Alexa 在 Auto 领域常见的两种集成方式,并且提供了 Alexa Skill 集成的动手实验,以及 Alexa 车载 SDK 在集成过程中的最佳实践总结。
使用 Amazon EMR Studio 探索 Apache Hudi 核心概念 (2) – File Sizing
本系列文章使用 Amazon EMR Notebook 对 Apache Hudi 核心概念展开深入的探索和介绍,利用 Notebook 提供的统一环境和上下文,我们可以非常生动地观察到 Hudi 的运行机制,并深刻体会到其背后的控制原理,这也正是本系列文章的写作灵感:我们希望借助 Notebook“探索,发现,思考,领悟”的思维模式,带领大家开启一段 Hudi 核心概念的探索之旅。
Stable Diffusion Quick Kit 动手实践 – 基础篇
本文将以 Stable Diffusion Quick Kit 在 SageMaker 上的部署实践来介绍 Stable Diffusion 模型基础知识, HuggingFace Diffusers 接口, 以及如何使用 Quick Kit 在 SageMaker Endpoint 上快速部署推理服务。