亚马逊AWS官方博客

Category: Artificial Intelligence

在 Amazon EKS 上使用 AWS Trainium 训练 Llama2

大语言模型和生成式人工智能的规模不断扩大,大大增加了计算需求,导致开发和部署成本不断上升。随着数据规模和模型复杂度的不断增加,训练模型所需的资源也越来越多。这种趋势凸显了类似 Amazon EKS 这类高性价比解决方案的重要性。Amazon EKS 提供了必需的可扩展性和计算能力,可在不产生高昂费用的情况下灵活管理模型训练的工作负载。

Amazon Bedrock 多 IAM 用户的成本追踪和控制方案助力 AI Character 最佳实践

在本篇博客文章中,我们将深入探讨如何利用 CloudWatch 近乎实时地监控 Bedrock 的运行状况。本文设定用户场景,企业级用户使用多个 IAM 用户来使用 Bedrock,管理人员准实时监控每个 IAM 用户的 Token 数,超过阈值的时候剥夺该 IAM 用户的 Bedrock 权限,从而实现对单个 IAM 用户的精细成本管控,避免因为不当使用大语言模型而造成潜在的巨大成本损失。