亚马逊AWS官方博客

LLM Inference on Amazon EKS

LLM on AWS EKS 方案主要关注客户在自有账号部署大语言模型的需求，基于云原生 K8S 的解决方案，兼具了大语言模型推理的功能完备性、服务的扩展性和应用层面的可观测性等，帮助客户快速打造大语言模型在 AWS 平台上的推理能力。

Bedrock 多模型接入 – Bedrock Connector 部署与使用指南

在 Claude 3 发布之后，其强大的多模态推理、视觉能力、翻译、总结、写作、编码等能力，再次激发生成式 AI 的热潮。Amazon Bedrock 也是首个 Claude 3 全托管且正式可用的服务。如何通过 API Key 调用 Bedrock Claude，如何多模型接入，多租户计费等需求，一直是很多人关注的问题。为此我们开发了 Bedrock Connector 并开源，供大家测试使用和代码参考。

面向 GPU 服务器的 SageMaker 无痛使用指南（三）—SageMaker HyperPod 集群

SageMaker HyperPod 集群是一种基于 Slurm 的高性能弹性计算集群，可以实现跨机器跨 GPU 的大规模并行训练。 它提供了原生的 IaaS 基础设施服务器，可以自由操控和部署各种模型和框架，充分发挥亚马逊云端可伸缩的计算能力，显著缩短了大模型在海量数据集上的训练时间。 本文详细介绍了 SageMaker Hyperpod 集群的启动、配置、连接、管理和在其上进行分布式训练的方法。

面向 GPU 服务器的 SageMaker 无痛使用指南（一）—SageMaker Notebook 笔记本实例

本系列博客旨在整理面向原生 GPU 服务器的 SageMaker 使用方法，包括 SageMaker Notebook 实例、Training Job 训练任务、Inference Endpoint 推理端点、SageMaker Hyperpod HPC 高性能集群等各种 SageMaker 功能组件。本文介绍 SageMaker Notebook 笔记本实例上 GPU 服务器的使用方法。

← Older posts