亚马逊AWS官方博客

介绍 Amazon S3 Object Lambda — 从 S3 检索数据时使用您的代码处理这些数据

在将数据存储在Amazon Simple Storage Service (S3) 中时,您可以方便地共享这些数据以供多个应用程序使用。但是,每个应用程序的要求不同,可能需要不同的数据视图。例如,电子商务应用程序创建的数据集可能包含个人身份信息 (PII),而在处理这个数据集进行分析时无需这些个人信息,并且应编辑这些个人信息。另一方面,如果同一数据集用于营销活动,则可能需要其他详细信息(例如来自客户忠诚度数据库的信息)来丰富数据。 为了向多个应用程序提供不同的数据视图,目前有两种选择。您可以创建、存储和维护数据的其他衍生副本,以便每个应用程序都有自己的自定义数据集,或者在 S3 前以代理层的形式构建基础设施并进行管理,以便在请求时拦截和处理数据。这两种选项都会增加复杂性和成本,因此 S3 团队决定构建更好的解决方案。 今天,我非常高兴地宣布推出 S3 Object Lambda 新功能,这项功能让您可以添加自己的代码来处理从 S3 检索的数据,然后再将其返回到应用程序。S3 Object Lambda 可与现有应用程序配合使用,利用 AWS Lambda函数在从 S3 检索数据时自动处理和转换数据。Lambda 函数是通过标准 S3 GET 请求内联调用的,因此您无需更改应用程序代码。 通过这种方式,您可以轻松地呈现同一数据集中的多个视图,并且可以更新 Lambda 函数以便随时修改这些视图。 这种方法可以简化许多用例,例如: 编辑个人身份信息用于分析或非生产环境。 转换数据格式,例如将 XML 转换为 JSON。 使用来自其他服务或数据库的信息增强数据。 在下载文件时压缩或解压缩文件。 使用发起人特定的详细信息(例如请求对象的用户)动态调整图像大小和水印图像。 实施访问数据的自定义授权规则。 您可以通过几个简单的步骤开始使用 S3 Object Lambda: 创建一个 Lambda 函数来转换用例中的数据。 从S3 管理控制台创建 S3 Object Lambda […]

Read More

通过实例降价和 Amazon SageMaker Savings Plans 降低 Machine Learning 成本

在 AWS re:Invent 2017 上推出的 Amazon SageMaker 是一项完全托管式服务,已帮助成千上万的客户在 AWS 上快速构建和部署机器学习 (ML) 工作流。 为了帮助他们发挥最大的 ML 优势,我们添加了一系列成本优化型服务和功能,例如托管 Spot 训练、多模型终端节点、Amazon Elastic Inference 和 AWS Inferentia。事实上,客户发现,与其他基于云的选项(如自行管理的 Amazon EC2 和 AWS 托管的 Amazon EKS)相比,SageMaker 三年的总拥有成本 (TCO) 要低 54%。 我们最喜欢的是通过节省资金让客户满意,因此我很高兴地宣布: Amazon SageMaker 中 CPU 和 GPU 实例的价格降低, 推出适用于 Amazon SageMaker 的 Savings Plans。 降低 Amazon SageMaker 中的实例价格 从今天起,我们将 Amazon SageMaker 中的多个实例系列的价格下降高达 […]

Read More

AWS Step Functions 与外部应用程序集成

在实际场景中,我们通常会遇到工作流中需要集成对外部应用做异步调用的需求,Stepfunction提供的基于activity的回调模式可以完美支持以上场景,不但可以方便地定义异步任务和等待流程,并且在等待任务完成的过程中不会产生任何额外费用。 本博客将模拟一个典型的与外部应用集成的工作流场景,通过需求场景描述、stepfunction原理讲解以及代码实现几个步骤,为您深入剖析Stepfunction对回调模式的实现。

Read More

使用Amazon SageMaker训练H2O模型并对其服务化

模型训练与服务化可以说是成功建立端到端机器学习(ML)流程的两大基本环节。这两个步骤通常需要不同的软件与硬件设置,才能为生产环境提供最佳组合。模型训练优化的目标是低成本、训练时间长度可行、科学上的灵活性以及良好的模型可解释性等;而模型服务化的优化目标是低成本、高吞吐以及低延迟。

Read More

使用Amazon SageMaker与Amazon ES KNN特征构建支持NLU的搜索应用程序

语义搜索引擎的兴起使电子商务与零售企业能够更轻松地为消费者提供搜索服务。基于自然语言理解(NLU)的搜索引擎使您可以通过首选会话语言直接表述自己的需求,而不再只能硬性依赖于以输入设备写下相应关键字。您可以使用母语以单词或句子执行查询,并由搜索引擎负责理解并提供最佳结果。

Read More

使用 Amazon SageMaker 托管 Spark 容器与 Amazon SageMaker SDK 按需运行无服务器Apache Spark数据处理作业

Amazon SageMaker广泛使用Docker容器,允许用户构建用于数据准备、训练及推理代码的运行时环境。Amazon SageMaker内置用于Amazon SageMaker Processing的Spark容器则提供一套托管Spark运行时,其中包含运行分布式数据处理工作负载所需要的各类库组件与依赖项。

Read More

通过 Amazon Textract 提取手写信息

总体而言,我们与AWS的合作关系帮助我们解决了一系列极具挑战性的业务难题,由此为客户带来巨大价值。我们计划与AWS继续合作,尝试解决其他更为艰难的问题,最终为我们的客户带来真正的业务价值。 大家可以通过多种方式快速上手Amazon Textract:与我们的AWS合作伙伴Quantiphi联系,联络您的客户经理或解决方案架构师,或者访问我们的 Amazon Textract产品页面以了解更多可用资源。

Read More

使用SQL Server原生备份与还原功能,将本地SQL Server数据库迁移至Amazon RDS on VMware

Amazon RDS on VMware支持在本地VMware环境下为用户提供托管SQL Server数据库服务。SQL Server的管理工作向来以复杂与耗时著称,但RDS on VMware足可以帮助大家在VMware vSphere集群上轻松的配置、扩展并运营SQL Server。您可以将原有的本地SQL Sever数据库迁移至RDS on VMware上,借此发挥托管服务的固有优势。

Read More