AWS Inferentia 客户

NetoAI 提供 TelcoCore 套件（包括 TSLAM、ViNG、DigiTwin 和 NAPI），以帮助电信运营商实现其复杂多域运营和客户生命周期管理的自动化。其中的基石是我们的 TSLAM LLM，这是该领域内第一个开源、以行动为导向的模型。为构建该模型，我们需要对庞大的 20 亿令牌专有数据集进行模型微调，并且通过将 Amazon SageMaker 与 AWS Trainium trn1 实例结合使用，我们实现显著的成本节约，并在不到三天的时间内完成整个微调过程。对于生产环境，AWS Inferentia2 和 Neuron SDK 为我们提供介于 300-600 毫秒之间的一致低推理延迟，。这种基于 AWS 专用 AI 芯片的端到端解决方案对于我们达成向整个电信行业提供专业、高性能人工智能的使命至关重要。

 

Ravi Kumar Palepu 创始人兼首席执行官

为 HummingLM 训练大型音频到音频模型既需要大量的计算和繁重的迭代。通过将我们的训练工作负载迁移到 AWS Trainium 并使用 Amazon SageMaker HyperPod 进行编排，我们在保持模型准确性的同时实现训练成本降低 54%，训练周期加快 50%。我们还利用 Amazon FSx for Lustre，在短短一周内将超过 2 PB 的数据迁移到 Amazon S3，实现对训练数据和检查点的高吞吐量、低延迟访问。借助 AWS Inferentia2 支持的 Inf2 实例，我们的推理延迟最多可以降低 10 倍，从而实现更快速、响应更灵敏的实时音乐生成。