亚马逊AWS官方博客

使用 DeepAR 进行时间序列预测

在 2019 年的 WAIC(世界人工智能大会)上,笔者在 AWS 展台中布置并展示了一个使用 DeepAR 进行时间序列预测的项目,受到了广泛的来自客户、参观者以及同事的关注,其中大部分是被展示项目中真实的电商客户的数据及成果吸引,进行了一定的经验交流。在得到肯定之后,笔者在年前又与部分互联网、旅游行业的业务负责人沟通,发现时间序列预测有着广泛的适用场景,能直接帮助决策者做出有数据支撑的重要决策。

Read More

在 Amazon SageMaker 中使用 XGBoost 来实现商业赋能

毋庸置疑,机器学习,在商业中有着广泛的应用场景,但是通常来讲我们却只能看到只有一些高级玩家、大公司才能在他们的业务场景中真正的使用机器学习(Machine Learning,后面用ML简写)来解决业务问题。这背后是有各种各样的原因的,其中最主要的两个原因:一个在于,相比传统的业务系统,机器学习的硬件价格高,一块v100的显卡价格昂贵,中小公司难以负担;另外一个难点在于,相比传统的业务系统,机器学习对于工程师的要求不同,专注于机器学习的数据科学家需要掌握特殊的技能,相关人才在市场上炙手可热,而且对于企业来说,即便找到了数据科学家,搭建和维护用于机器学习的相关系统也并非易事。

Read More

基于 Amazon GuardDuty 威胁级别的自动化通知

Amazon GuardDuty 是一种威胁检测服务,可持续监控恶意活动和未经授权的行为,从而保护您的 AWS 账户和工作负载.但很多时候管理员并没有对Amazon GuardDuty 的调查结果进行主动监测,导致出现严重风险时没有及时发现和响应,本文介绍了一种方法可以根据Amazon GuardDuty 报告的威胁级别通过电话和主动邮件的方式及时通知管理员,避免风险进一步扩大,让管理人员能够及时响应和处理。

Read More

利用深度强化学习实现金融决策自动化

机器学习 (ML) 已经常态化应用于各个行业,但除了简单的预测场景之外,还有更为复杂的决策制定场景,为了支持长期的战略性目标,人们有时会选择,甚至必须作出非最优的短期决策。利用一种叫做强化学习 (RL) 的 ML 模型,可以学习如何优化策略,从而根据长期目标制定系列决策。

Read More

案例研究:远程分布式敏捷交付客户项目的实践

通过实施远程分布式agile/EDF的一些实践,我们设法将2个月的预期新冠肺炎延迟减少到2个周左右。如果说有哪些你需要注意的,请看以下3方面:(1)远程交付会花费更多精力,需要会前内容准备和人员工具等的设置工作 – 要比往常投入更多才能顺利开展,尤其是在第一次远程迭代期间,(2)不要仅靠操作手册 – 响应客户的挑战,并相应地调整人员工具等的配置工作,并且(3)坚定执行迭代控制会议 – 否则沟通成本只会更高,进而更加阻碍项目进度。

Read More

利用 SageMaker Operator 简化 Kubernetes 上的机器学习任务管理

Amazon SageMaker Operator 可以帮助数据科学家以及开发人员利用Kubernetes的接口来创建和管理SageMaker的任务,如机器学习的模型训练、超参优化、批量转换以及实时推理等。如图所示,SageMaker Operator可以让 开发与运维人员可以通过kubectl命令行或者kubernetes api接口调用的方式来管理和使用SageMaker服务,它就像翻译器一样,在Kubernetes平台与AWS SageMaker 服务之间搭建了一座桥梁,让那些已经很很熟悉Kubenretes 的开发、运维人员在无需投入过多精力的情况下,即可快速地使用SageMaker服务。

Read More

基于 Amazon EKS 在 Pachyderm 框架上 快速搭建 GATK 分析流程

Amazon EKS 简化了 Kubernetes 集群的构建与维护,而 Pachyderm 进一步简化了分析类工作流的运行与管理,两者结合,无疑将使得在 Kubernetes 平台上部署企业级分析平台更为轻松。本文通过一个 GATK 基因分析的示例来演示搭建和使用的过程,为您在 Amazon EKS 上采用该解决方案提供参考。

Read More