亚马逊AWS官方博客

Category: Generative AI

为生成式 AI 产品打造持续的卓越用户体验——跨区域高可用弹性解决方案

大语言模型服务(LLMs)的可用性对生成式AI应用至关重要。本文提出了一个经真实客户验证的多区域高可用性方案来保证生成式AI应用的可用性,使其可以持续为终端用户提供优秀的用户体验。本文从生成式AI应用的多个维度进行了分析,提出的多区域高可用性解决方案具有低复杂程度、低成本、可灵活配置等特点。客户可以根据自身的业务场景、需求和资源情况,应用该解决方案或者对解决方案进行定制化以达到自身的业务目标。

在持续集成流水线中应用 Gen AI 识别并修复漏洞

本文展示了开发团队如何利用 AWS 云服务(如 Amazon Bedrock、Amazon Inspector、AWS Lambda 和 Amazon EventBridge)构建一个无服务器的事件驱动解决方案,在持续集成流水线中自动检测和修复容器的通用漏洞披露(CVE)。借助强大的生成式人工智能和无服务器技术,这一曾经复杂的挑战变得不再困难。

使用 Amazon Bedrock Claude3 多模态能力和 Grafana 构建智能巡检平台

我们探讨了如何利用 Amazon Bedrock、Claude 3 大型语言模型和云原始监控工具 Grafana 来构建一个应用智能巡检系统。我们构建了一个端到端的巡检流程,包括创建 CloudWatch 数据元,监控指标创建、仪表盘关键信息提取、巡检等步骤。通过结合 Claude 3 的强大多模态能力和自然语言处理能力,我们能够高效地对多个监控指标进行巡检、分析。让大语言模型自动提取关键信息、分析当前系统状态,并生成总结性报告。

Amazon Bedrock 多 IAM 用户的成本追踪和控制方案助力 AI Character 最佳实践

在本篇博客文章中,我们将深入探讨如何利用 CloudWatch 近乎实时地监控 Bedrock 的运行状况。本文设定用户场景,企业级用户使用多个 IAM 用户来使用 Bedrock,管理人员准实时监控每个 IAM 用户的 Token 数,超过阈值的时候剥夺该 IAM 用户的 Bedrock 权限,从而实现对单个 IAM 用户的精细成本管控,避免因为不当使用大语言模型而造成潜在的巨大成本损失。