亚马逊AWS官方博客

Category: Artificial Intelligence

在 Amazon EKS 上使用 AWS Trainium 训练 Llama2

大语言模型和生成式人工智能的规模不断扩大,大大增加了计算需求,导致开发和部署成本不断上升。随着数据规模和模型复杂度的不断增加,训练模型所需的资源也越来越多。这种趋势凸显了类似 Amazon EKS 这类高性价比解决方案的重要性。Amazon EKS 提供了必需的可扩展性和计算能力,可在不产生高昂费用的情况下灵活管理模型训练的工作负载。

Amazon Bedrock 多 IAM 用户的成本追踪和控制方案助力 AI Character 最佳实践

在本篇博客文章中,我们将深入探讨如何利用 CloudWatch 近乎实时地监控 Bedrock 的运行状况。本文设定用户场景,企业级用户使用多个 IAM 用户来使用 Bedrock,管理人员准实时监控每个 IAM 用户的 Token 数,超过阈值的时候剥夺该 IAM 用户的 Bedrock 权限,从而实现对单个 IAM 用户的精细成本管控,避免因为不当使用大语言模型而造成潜在的巨大成本损失。

通过 Bedrock Access Gateway 解决方案快速访问 Amazon Bedrock 的多种大语言模型

亚马逊云科技研发的 Bedrock Access Gateway 解决方案提供了兼容 OpenAI API 的代理功能。本文主要介绍该方案的架构、原理、部署方法,以及如何通过该方案在不修改原应用代码的情况下,将针对 GPT 的 API 请求转发给 Amazon Bedrock,从而快速访问包括 Claude3 在内的多种大语言模型。