亚马逊AWS官方博客

AWS Team

Author: AWS Team

LLM Inference on Amazon EKS

LLM on AWS EKS 方案主要关注客户在自有账号部署大语言模型的需求,基于云原生 K8S 的解决方案,兼具了大语言模型推理的功能完备性、服务的扩展性和应用层面的可观测性等,帮助客户快速打造大语言模型在 AWS 平台上的推理能力。

Bedrock 多模型接入 – Bedrock Connector 部署与使用指南

在 Claude 3 发布之后,其强大的多模态推理、视觉能力、翻译、总结、写作、编码等能力,再次激发生成式 AI 的热潮。Amazon Bedrock 也是首个 Claude 3 全托管且正式可用的服务。如何通过 API Key 调用 Bedrock Claude,如何多模型接入,多租户计费等需求,一直是很多人关注的问题。为此我们开发了 Bedrock Connector 并开源,供大家测试使用和代码参考。

面向 GPU 服务器的 SageMaker 无痛使用指南(三)—SageMaker HyperPod 集群

SageMaker HyperPod 集群是一种基于 Slurm 的高性能弹性计算集群,可以实现跨机器跨 GPU 的大规模并行训练。 它提供了原生的 IaaS 基础设施服务器,可以自由操控和部署各种模型和框架,充分发挥亚马逊云端可伸缩的计算能力,显著缩短了大模型在海量数据集上的训练时间。 本文详细介绍了 SageMaker Hyperpod 集群的启动、配置、连接、管理和在其上进行分布式训练的方法。