亚马逊AWS官方博客

Category: Artificial Intelligence

Amazon Bedrock 多 IAM 用户的成本追踪和控制方案助力 AI Character 最佳实践

在本篇博客文章中,我们将深入探讨如何利用 CloudWatch 近乎实时地监控 Bedrock 的运行状况。本文设定用户场景,企业级用户使用多个 IAM 用户来使用 Bedrock,管理人员准实时监控每个 IAM 用户的 Token 数,超过阈值的时候剥夺该 IAM 用户的 Bedrock 权限,从而实现对单个 IAM 用户的精细成本管控,避免因为不当使用大语言模型而造成潜在的巨大成本损失。

通过 Bedrock Access Gateway 解决方案快速访问 Amazon Bedrock 的多种大语言模型

亚马逊云科技研发的 Bedrock Access Gateway 解决方案提供了兼容 OpenAI API 的代理功能。本文主要介绍该方案的架构、原理、部署方法,以及如何通过该方案在不修改原应用代码的情况下,将针对 GPT 的 API 请求转发给 Amazon Bedrock,从而快速访问包括 Claude3 在内的多种大语言模型。

如何禁用 Amazon SageMaker Notebook 的下载功能

用户 Jupyter Notebook 允许用户下载原始 .ipynb 文件,甚至提供了一个下载按钮。企业客户出于安全和合规的考虑,希望数据科学家/模型工程师仅从 SageMaker Notebook 实例访问用于机器学习训练的数据,并且希望限制他们将数据下载到本地计算机。本文将演示如何在 Amazon SageMaker Notebook 上禁止用户下载原始文件。

利用 Amazon ECS 进行分布式机器学习

在 Amazon ECS 服务上运行分布式机器学习工作负载可让 ML 团队更加专注于创建、训练和部署模型,而不是花时间去管理容器编排引擎。凭借着简单的架构、控制节点的无感升级以及集成了原生的 AWS IAM 认证服务,Amazon ECS 为运行 ML 项目提供了一个绝佳的环境。