亚马逊AWS官方博客

Category: Compute

使用 Amazon EC2 Inf2 实例运行大语言模型 GPT-J-6B

在 2019 年的 AWS re:Invent 上,亚马逊云科技发布了 Inferentia 芯片和 Inf1 实例,Inferentia 是一种高性能机器学习推理芯片,由 AWS 定制设计:其目的是提供具有成本效益的大规模低延迟预测。时隔四年,2023 年 4 月亚马逊云科技发布了 Inferentia2 芯片和 Inf2 实例,旨在为大型模型推理提供技术保障。本文将介绍如果使用 Inf2 实例运行 GPT-J-6B 模型。

Amazon Compute Optimizer 支持 Amazon Graviton 迁移指南

Amazon Compute Optimizer 如今推出了一项新功能,让您可以利用多个 CPU 架构(包括基于 x86 的实例和基于 Amazon Graviton 的实例)更轻松地优化 EC2 实例。Compute Optimizer 是一项可选服务,可为工作负载推荐最佳 Amazon 资源,通过分析历史利用率指标来降低成本并提高性能。

利用Neptune图数据库构建工厂知识图谱实践

本文实现了工厂OEE系统上传数据,在AWS Sagemaker里面转化数据,以及在Neptune存放数据的过程,最后在API Gateway 以及Lambda中实现对数据的调用。针对每次OEEEvent发生的 Errorcode进行分析,同时关联工厂产线相关知识比如机器模块,子模块,故障描述,故障原因等一系列机器对应的数据。随着知识数据的不断积累,数据科学家还可以持续使用SageMaker更新知识之间的关联关系,相关的工业场景可以根据实际场景利用本文的方案进行架构设计。