亚马逊AWS官方博客

Category: Compute

利用 Amazon EC2 P5 Spot 实例进行 LLM 的微调任务

介绍了启动和管理 P5 Spot 实例的方法,P5 实例是亚马逊最新的机器学习训练机型,有强大的性能和显存容量,可以更好地支持 LLM 的微调任务。开发者可以参考文中提供的 AWS CLI 命令,根据自身需求,开发完整 Spot 管理系统,利用 EC2 P5 Spot 实例完成低成本高算力的机器学习任务。

Milvus 使用 Amazon Graviton3 实例实现高达 31% 的性价比提升

我们的测试表明,Milvus on Graviton3 (m7g) 的总体性能比 Intel Xeon Platinum 8375C (m6i) 实现了更好的 QPS (13.7%)。 考虑到价格(m6i相较m7g单价约贵17.6%),我们的结果显示,与 m6i 系列实例上的 x86 处理器相比,Graviton3 可以带来高达 31% 的性价比提升。 我们鼓励读者尽可能尝试 Graviton3,感受 Graviton3 带来的性价比提升。