亚马逊AWS官方博客

使用 AWS CDK 结合 OPA 实现“策略即代码”

在大型组织中,基础设施即代码的接纳度越来越高,不过由于缺乏经验、人为因素或自动化的配置错误均可引发影响业务运营的重大问题。本文译自亚马逊全球官方博客文章 ,展示了如何使用AWS CDK结合OPA(开放策略代理),构建合规策略驱动的基础设施,在部署或更改发生之前,自动进行合规策略检查以降低风险(即策略即代码),以此为云资源的管理提供防护和信心。

Read More

深度解析 TalkingData 使用 DJL 进行大规模深度学习打分应用

TalkingData发现了AWS基于Java开发的深度学习框架DJL(Deep Java Library)可以很好解决Spark在深度学习运算中的一些困境。在这个博客中,我们将带领大家了解TalkingData部署的模型,以及他们是如何利用DJL在Apache Spark上实现生产环境部署深度学习模型。这个解决方案最终将之前的生产架构简化,一切任务都可以在Apache Spark轻松运行,总时间也减少了66%。从长远角度上,这显著节省了维护成本。

Read More

利用 AWS SageMaker BlazingText 对不均衡文本进行多分类

本文使用了 SageMaker BlazingText 实现了文本多分类。在样本不均衡问题上,使用了回译和 EDA 两个方法对少类别样本进行了过采样处理,其中回译方法调用了 AWS Translate 服务进行了翻译再翻译,而 EDA 方法主要使用同义词替换、随机插入、随机交换、随机删除对文本数据进行处理。 本文也使用了AWS SageMaker 的自动超参数优化来为 BlazingText 的文本分类算法找到最优超参数。

Read More

在 Amazon SageMaker 管道模式下使用 Horovod 实现多 GPU 分布式训练

在Amazon SageMaker上以管道模式使用Horovod的多GPU或分布式训练方法,能够为数据集的各个分片创建独立的训练通道并在数据通道内访问对应分片,借此实现大规模模型训练。这种方式能够缩短在实际训练开始之前将数据集传输至训练实例所占用的时间,因此特别适用于具有大规模训练数据集的Amazon SageMaker训练场景。

Read More

新增功能 — 使用 AWS PrivateLink 通过 AWS 专用网络访问 AWS Lambda

AWS Lambda 是一种让您在运行代码时无需预置或管理服务器的无服务器计算服务。您只需上传代码,Lambda 就会完成执行及扩展代码的所有工作来实现高可用性。如今,许多 AWS 客户使用此无服务器计算平台来显著提高其在开发和运行应用程序时的工作效率。

Read More

利用 Auto Scaling Group 生命周期功能实现有状态应用的管理

本实验介绍了通过EC2 Auto Scaling 生命周期挂钩, Amazon EventBridge和Systems Manager(SSM) Automation,来实现在ASG里的EC2被terminate之前执行命令,生成一个测试文件并把文件压缩,然后上传到S3上。 客户可以根据自己的场景,来替换执行的命令或脚本,从而实现相关的业务需求。

Read More

新品 — Amazon RDS on Graviton2 处理器

我最近写了一篇帖子,通知 M6g、R6g 和 C6g 系列实例已在 Amazon Elastic Compute Cloud (EC2) 上推出。与 x86 实例相比,这些实例的性价比更好。这些实例基于由 AWS 设计的 AWS Graviton2 处理器,利用 64 位 Arm Neoverse N1 内核。 相较于之前的 M5和 R5 数据库实例类型,您从现在开始可以受益于 Amazon Relational Database Service (RDS) 数据库的出色性价比,同时可利用面向 RDS 的 AWS Graviton2 处理器。您可以在 M6g 和 R6g 实例系列及三种数据库引擎中选择(MySQL 8.0.17 及更高版本、MariaDB 10.4.13 及更高版本和 PostgreSQL 12.3 及更高版本)。 M6g 实例非常适合通用工作负载。R6g 实例提供的内存比 M6g 实例多 […]

Read More