亚马逊AWS官方博客

使用 AWS CDK 从 Amazon SageMaker JumpStart 部署生成式人工智能模型

我们展示了使用由 Streamlit、Lambda 和 API Gateway 提供支持的用户界面的图像生成示例和文本生成示例。现在,您可以在 JumpStart 中使用预训练的人工智能模型来构建生成式人工智能项目。您还可以扩展此项目,针对自己的使用案例对根基模型进行微调,并控制对 API Gateway 端点的访问。

通过 Optimum Neuron 加速 Llama 2 和 SDXL 在 Inf2 和 Trn1 上部署推理

Hugging Face 生态体系中的 Transformers 库为 state-of-the-art 预训练模型提供了非常方便的 API 和工具集,帮助用户轻松下载模型并完成训练,是工程师手边的必备神器。为了在更多加速硬件上(如亚马逊云科技的 Trainium 和 Inferentia)训练和运行 Transformers 模型,提升整体的效率,Hugging Face 推出了开源项目 Optimum 对其进行扩展,它提供了一套性能优化工具,可以最大效率地在目标硬件上训练和运行模型。

Alluxio 本地缓存 + EMR Presto 即席查询加速

对于大数据平台的 OLAP 查询引擎来说,天下武功唯快不破,Presto 做为大数据生态的业界知名的查询引擎和平台,首当其冲承载了业务查询分析的实时响应的需求。 对于 Presto 集群而言,横向扩展,加机器资源固然可以解决绝大多数性能问题,但成本也是客户考虑的重要因素。本文详细介绍了在 Amazon EMR 上集成 Alluxio 本地缓存做为 Presto 即席查询加速的具体实现,包括 Alluxio Presto 本地缓存整体架构原理,在 Amazon EMR 上 Alluxio 缓存相关的配置及对比测试。