亚马逊AWS官方博客

Category: Artificial Intelligence

使用 AWS CDK 从 Amazon SageMaker JumpStart 部署生成式人工智能模型

我们展示了使用由 Streamlit、Lambda 和 API Gateway 提供支持的用户界面的图像生成示例和文本生成示例。现在,您可以在 JumpStart 中使用预训练的人工智能模型来构建生成式人工智能项目。您还可以扩展此项目,针对自己的使用案例对根基模型进行微调,并控制对 API Gateway 端点的访问。

通过 Optimum Neuron 加速 Llama 2 和 SDXL 在 Inf2 和 Trn1 上部署推理

Hugging Face 生态体系中的 Transformers 库为 state-of-the-art 预训练模型提供了非常方便的 API 和工具集,帮助用户轻松下载模型并完成训练,是工程师手边的必备神器。为了在更多加速硬件上(如亚马逊云科技的 Trainium 和 Inferentia)训练和运行 Transformers 模型,提升整体的效率,Hugging Face 推出了开源项目 Optimum 对其进行扩展,它提供了一套性能优化工具,可以最大效率地在目标硬件上训练和运行模型。