亚马逊AWS官方博客
Category: Artificial Intelligence
大模型推理有妙招：Amazon SageMaker 让你事半功倍，伸缩自如
本文将以 Llama3 模型为例，介绍如何在 Amazon SageMaker 便捷地进行模型推理，并根据设定的伸缩策略进行自动扩缩，以应对不同的工作负载需求。
推云揽竞 – 借力竞价实例（Spot）， 提升大语言模型云端推理效能
LLM 的推理过程需要强大的算力包括显存资源，这使得在现代硬件平台上高效服务这些模型变得极具挑战性。通过使用 Spot 实例， 在维持高性能的同时能显著降低大语言模型的推理成本。
基于 Amazon Connect、Lex 和 Bedrock 打造智能客户问答方案
Amazon Connect 是一种基于云的联络中心服务，旨在帮助企业提供更灵活、更高效的客户支持。通过集成多种通信渠道和自动化工具，Amazon Connect 能够显著提升客户体验和业务效率。某客户前期已经使用 Amazon Connect 在工作时间为其终端用户提供人工电话咨询服务。为了在非工作时间为终端用户提供自动化问答服务，我们将 Amazon Lex 和 Amazon Bedrock 与现有知识库结合起来，借助大型语言模型，为客户构建一个自动化的问答方案。
利用 Amazon Bedrock，3 步低代码构建 AI 股票分析助手
在当今快节奏的金融市场中，投资者需要实时获取并分析大量信息，以做出明智的投资决策。传统的分析方式需要大量的代码工作，也对人员的技术代码能力有一定的要求。通过利用 Amazon Bedrock 的 Agents 功能，我们可以低代码构建 AI 驱动的股票分析助手，帮助投资者快速高效地分析股票。
利用 FP8 量化加速 Llama-3-70B 推理
本文针对在 Amazon P5 (H100 GPU) 上部署 Llama-3-70b FP8 精度模型的两种方 […]
Amazon SageMaker HyperPod 存储设计与实践（二）
在 Amazon SageMaker HyperPod存储设计与实践（一）中我们实现了 SageMaker H […]
在 Amazon SageMaker 平台上使用 LlamaFactory 框架训练 Meta Llama3
背景 相较于直接使用 EC2，通过 Amazon SageMaker 进行模型训练具有训练环境统一，降低训练实 […]
使用 Amazon Q 加速软件开发生命周期
软件开发团队一直在寻求加速软件开发生命周期（SDLC）的方法，以更快地发布高质量软件。作为一款由生成式人工智能 […]
使用 Amazon Bedrock Cohere 多语言嵌入模型构建金融搜索应用程序
这篇文章展示了使用 Amazon Bedrock 上的 Cohere Embed 和 Rerank 模型，在不同语言的金融新闻中进行搜索和查询的应用程序。
为生成式 AI 工作负载设计弹性
理解并优先考虑弹性对于生成式 AI 工作负载来满足组织的可用性和业务连续性要求至关重要。这篇文章讨论了生成式 AI 工作负载的不同技术栈以及应该考虑的因素。