亚马逊AWS官方博客

AWS Team

Author: AWS Team

使用 Ubuntu18 DLAMI,P3dn 实例与 EFA,和 Amazon FSx for Lustre 实现大规模多 GPU 分布式深度学习训练

为深度学习训练设置机器学习基础设施往往是一项艰巨的任务,您通常需要依赖基础设施团队构建起相应环境,这将极大浪费宝贵的生产时间。此外,深度学习技术库与软件包也一直在快速变化,您需要测试各软件包之间的互操作性。使用Ubuntu 18 DLAMI,您将无需担心于基础设施设置与软件安装工作。AWS DLAMI已经为所有主流机器学习框架预先构建了必要的深度学习库与软件包,让您能够专注于模型的训练、调优与推理。

在 SageMaker 临时实例上调度 Jupyter notebooks

一个星期五的下午五点,您花费了整整一个下午在编码处理一个复杂、繁琐的特征工程策略。这个策略在您的Amazon SageMaker Studio t3.medium notebook上已经开始工作,你想做的是插入这个策略到一个大型实例中,通过水平扩展将其覆盖剩余数据集,然后下班回家。虽然您可以直接升级notebook实例,但只要一关上您的电脑,这项作业马上就会停止。既然如此,为什么不直接从您的notebook调度作业?

用于 Kubeflow Pipelines 的 Amazon SageMaker Components 介绍

本文介绍了如何配置Kubeflow Pipelines以通过Amazon SageMaker运行机器学习作业。Kubeflow Pipelines是一套开源机器学习编排平台,在希望立足Kubernetes构建并管理自定义机器学习工作流的开发者群体中广受欢迎。但不少开发人员及MLOps团队在Kubeflow Pipelines的实际运营中遭遇挑战,发现自己难以管理Kubernetes集群的机器学习优化工作,无法获得良好的投资回报率或者承担极高的总体拥有成本。

在 StockX 上使用 Amazon Personalize 开创个性化用户体验

“为您推荐”成为我们团队乃至整个StockX公司的一次巨大胜利。我们开始迅速将机器学习技术整合至企业中的各个层面。而我们获得的成功,也使得企业决策者同意在更多StockX体验场景当中集成Amazon Personalize,并不断扩大我们在机器学习领域投入的精力。可以肯定地讲,个性化如今已经成为StockX内部的头等大事。

在 AWS 上实现无服务器视频字幕自动翻译架构

随着媒体行业的全球化发展,越来越多的用户(包括企业和个人)都会有视频字幕的自动化翻译的需求。本文使用Amazon S3作为视频和字幕文件的存储,使用 Amazon Translate 实现了字幕的机器翻译,并且使用Amazon Lambda来调用 Amazon Translate 构建了一套无服务器的视频字幕翻译架构。利用本文实现的方案,您只需要将视频和字幕文件上传至Amazon S3,就可以自动获得翻译后的视频和字幕文件。