亚马逊AWS官方博客

使用Amazon SageMaker Ground Truth为机器学习工作流构建实时数据标记管道

Amazon SageMaker Ground Truth流式标记作业 提供基础设施与资源,可供您创建持续运行的标记作业。此作业可按需接收新的数据对象并将其发送至工作人员进行标记。您可以将多个流式标记作业链接起来,由此创建出更复杂、更完善的数据标记管道。

Read More

Amazon S3 Object Lambda介绍——在S3检索期间使用自有代码进行数据处理

通过将数据存储在Amazon Simple Storage Service (S3)当中,我们可以轻松在多个应用程序之间实现数据共享与使用。但不同应用对数据往往有着特殊要求,而且可能需要配合不同的数据视图。例如,电子商务应用所创建的数据集可能包含个人身份信息(Personally identifiable information PII),因此在内部分析时应当对敏感部分加以修订;而在市场营销预测场景下,这部分数据往往需要配合客户忠诚度等其他信息加以充实。

Read More

使用AWS KMS对存储在自定义Amazon S3存储桶内的输出结果进行加密,并通过Amazon Textract实现多页文档处理

Amazon Textract是一项完全托管机器学习(ML)服务,可以从几乎任意类型的文档当中自动提取输出文本、手写内容及其他数据,从而轻松完成文档的规模化处理。Amazon Textract的功能全面超越了传统的简单光学字符识别(OCR),能够准确识别出表单内的字段内容以及表格中存储的信息。以此为基础,金融、医疗、法律以及房地产等众多行业得以轻松针对不同业务需求处理大量文档。

Read More

Modern Apps Live – 在 5 月了解无服务器、容器等

Modern Apps Live 是一系列关于现代应用程序开发的活动,将于 5 月在 Twitch 上直播。 会议主题包括无服务器、容器以及移动和前端开发。 为帮助您理解,现代应用程序具备以下特性: 可以快速扩展到数百万用户。 在全球范围内可用。 管理大量数据(我们说的是 EB 级数据)。 在毫秒内响应。 这些应用程序是组合利用微服务架构、无服务器运营模型和敏捷开发人员流程而构建的。现代应用程序支持组织更快地进行创新,降低风险和总体拥有成本并缩短上市时间。 Modern Apps Live 包含四项虚拟活动: Container Day x Kubecon(5 月 4 日) Serverless Live(5 月 19 日) Mobile and Front-end Live(5 月 25 日) Container Day x DockerCon(5 月 26 日) 如果您是开发人员、解决方案架构师或者 IT 和 DevOps 专业人士,希望构建和设计现代应用程序,则无论您是刚刚起步,还是经验丰富的云从业者,这些会议均适合您。每个会议都设有问答时间。AWS 专家将加入 Twitch 聊天,准备回答您的问题。 如果您无法参加所有四项活动,以下是您绝对不应错过的一些会议: […]

Read More

AQUA(高级查询加速器)– 为您的 Amazon Redshift 查询提速

Amazon Redshift 已在各种规模上提供了比任何其他云数据仓库高出 3 倍的性价比。我们是通过设计自己的硬件和使用机器学习 (ML) 来实现这一目标的。 例如,我们在 2019 年底推出了面向 Amazon Redshift 的基于 SSD 的 RA3 节点 (Amazon Redshift Update – Next-Generation Compute Instances and Managed, Analytics-Optimized Storage),并在去年 4 月 (Amazon Redshift update – ra3.4xlarge Nodes) 和去年 12 月(Amazon Redshift 发布具有托管存储的 RA3.xlplus 节点)添加了额外的节点大小。除了高带宽网络外,RA3 节点还融入了复杂的数据管理模型。正如我在启动 RA3 节点时所说的那样: 每个实例上都有一个基于 SSD 的大容量、高性能存储缓存,由 S3 提供支持,用于进行扩展、实现高性能和持久性。存储系统使用多条提示,包括数据块温度、数据阻塞和工作负载模式来管理缓存,以获得高性能。数据自动放置在适当的层级中,您无需进行任何特殊操作便能从缓存或其他优化中获益。 我们的客户使用 RA3 节点来维护非常大的数据集,并且正在看到很好的结果。从数字互动娱乐到跟踪媒体购买的展示量和效果,Amazon Redshift […]

Read More

Amazon CodeGuru Reviewer 更新:新的可预测定价模型,可将价格最高降低 90%,Python 支持进入正式推出阶段

Amazon CodeGuru 通过由机器学习和自动推理提供支持的建议,帮助您自动执行代码审查并提高代码质量。您可以使用 CodeGuru Reviewer 来检测难以找到的潜在缺陷和错误,并使用 CodeGuru Profiler 根据实时数据微调应用程序的性能。该服务自 2020 年 6 月以来已正式提供;您可以在此处阅读有关如何开始使用 CodeGuru 的更多信息。 在过去几个月里,我们与许多客户展开了合作,在此期间,我们引入了安全检测器、Python 支持预览版和内存分析,以帮助客户提高代码质量并节省数小时的开发人员时间。我们还听到了关于定价结构和语言覆盖范围等各个领域的响亮反馈。我们决定解决这些反馈,并使得在组织内大规模采用 Amazon CodeGuru 变得更加容易。 今天,我很高兴地宣布推出 CodeGuru Reviewer 的两个重大更新: 一种全新的、易于估算的定价模型,其具有较低的每月固定费率,基于存储库的大小,最高可将价格降低 90% Python 支持现已正式推出 (GA),其建议覆盖范围更广,且具有四个与 Python 检测器相关的更新 适用于 CodeGuru Reviewer 的新的可预测定价 CodeGuru Reviewer 使您可以对存储在 GitHub、GitHub Enterprise、AWS CodeCommit 或 Bitbucket 中的存储库运行全面扫描。此外,每当您提交 pull 请求时,CodeGuru Reviewer 会开始新的代码审查并以评论的形式提出建议和改进。 之前的定价结构基于每月分析的代码行数 (LoC),即每 100 个 LoC 0.75 USD。我们已经收到了您的反馈:作为开发人员,您希望尽可能频繁地分析您的代码,在无需考虑成本的情况下根据需要创建尽可能多的 […]

Read More

使用全新的 AWS WAF Bot Control 减少您网站上不需要的流量

根据 AWS Shield 威胁研究团队所做的研究,在进入典型 Web 应用程序的流量中,高达 51% 的流量来源于机器(也称为机器人程序)上运行的脚本。各种各样的机器人程序(有些是您想要的,而有些是您不需要的)正在冲击您的终端节点。 您想要的机器人程序正在锁定您的网站以进行索引,并使您的客户能够发现这些网站;而您不需要的机器人程序正在监控您网站的可用性或性能。然而,大部分的机器人程序流量是由您不需要的机器人程序生成的:脚本检测漏洞或者在未经您同意的情况下将您的内容复制到其他地方。除了安全风险外,为这些流量提供服务还会给您的基础设施带来不必要的压力和成本。 保护您的网站免受这些不必要流量的影响,既费时又容易出错。管理一组规则是非常复杂的,很有可能会拦截您需要的流量或者允许应该被拦截的流量入站。 介绍 AWS WAF Bot Control 今天,我们将给您介绍 AWS WAF Bot Control,它可以用来识别常见的机器人程序流量、提高对常见机器人流量的可见性并采取措施。AWS WAF Bot Control 已集成到 AWS Web Application Firewall 中,针对大型的企业用例,可以使用 AWS Firewall Manager 进行集中管理。 Bot Control 会分析请求元数据(例如,TLS 握手、HTTP 属性和 IP 地址),以识别机器人程序的来源和目的。它对机器人程序进行分类,如刮板、SEO、爬虫或网站监控器。 一旦 Bot Control 识别出机器人程序,您就可以拦截来自不需要的机器人程序的流量。您只需将默认操作作为您 WAF 配置的一部分以拦截不需要的机器人程序流量,或者您可以自定义配置。例如,您可以使用自定义响应功能,根据机器人程序标识来返回自定义响应,或者通过插入新的标题来标记请求。与 AWS WAF 集成后,您可以可视化进入您应用程序的机器人程序流量的范围,并通过 WAF 规则控制这些流量。 Bot Control 采用了我们如今添加到 AWS […]

Read More

如何开始使用适用于 Amazon VPC 的 Amazon Route 53 Resolver DNS 防火墙

DNS 查找通常是在网络中建立出站连接的起点。可以使用安全组、网络访问控制列表 (ACL) 或 AWS Network Firewall 等 AWS 服务阻止 Amazon Virtual Private Cloud (VPC) 资源与互联网服务之间不需要的直接通信。这些服务将过滤网络流量,但不会阻止发往 Amazon Route 53 Resolver 的出站 DNS 请求,该解析器会自动响应对公共 DNS 记录的 DNS 查询,也不会阻止发往 Amazon Virtual Private Cloud (VPC)(即特定 DNS 名称)和 Amazon Route 53 专用托管区域的出站 DNS 请求。 DNS 泄露可能会允许行为不轨者通过 DNS 查询将数据提取到他们控制的域中。例如,如果行为不轨者控制了域名“example.com”并且想要泄露“敏感数据”,则他们可以从 VPC 内已被攻破的实例发起对“sensitive-data.example.com”的 DNS 查找。过去,为了防止这种情况,客户需要承担自己运营 DNS 服务器的费用,以便过滤掉恶意活动中的 DNS 查找。 今天,我很高兴地宣布推出 Amazon Route […]

Read More

CloudWatch Metric Streams – 实时将 AWS 指标发送给合作伙伴和您的应用程序

当我们在 2009 年推出 Amazon CloudWatch(用于 Amazon EC2 的新功能:Elastic Load Balancing、Auto Scaling 和 Amazon CloudWatch)之后,它跟踪了 EC2 实例的性能指标(CPU 负载、磁盘 I/O 和网络 I/O),并以一分钟为时间间隔将它们汇总,然后将它们存储两星期。当时,它用于监控实例运行状况以及驱动 Auto Scaling。如今,CloudWatch 已演变成一项全面和复杂得多的服务。最近新增的一些功能包括具有 1 分钟粒度并适用于所有 EBS 卷类型的指标、CloudWatch Lambda Insights 以及 Metrics Explorer。 AWS 合作伙伴利用 CloudWatch 指标创建了各种监控、警报和成本管理工具。为了访问这些指标,合作伙伴创建了轮询队列,这些队列为它们的每个客户调用了 ListMetrics 和 GetMetricData 函数。 必须根据每个合作伙伴客户创建的 AWS 资源数量以及为每个资源检索的 CloudWatch 指标数量,成比例扩展这些队列。此轮询是每个合作伙伴都必须完成的无差别繁重工作。它不会增加任何价值,而且需要投入原本可以通过其他方式善加利用的宝贵时间。 新的指标流 为使 AWS 合作伙伴和其他各方更快、更轻松地大规模访问 CloudWatch 指标,我们正在推出 CloudWatch 指标流。系统并不执行轮询(这可能导致 5 到 […]

Read More

排查新版 EC2 串行控制台的启动和联网问题

解决生产问题是系统和网络管理员的主要职责之一。事实上,我一直发现这是基础设施工程中最有趣的内容之一。根据需要深入研究遇到的问题,您不仅能够(最终)圆满解决问题,而且在此过程中还可以学到许多正常情况下无法接触的东西。 操作系统当然也存在这样的机会。随着时间推移,操作系统会变得越来越复杂,管理员必须要掌握无数的配置文件和设置。尽管基础架构即代码和自动化大大改善了服务器的预置和管理,但错误和故障总是难免出现,导致系统无法正常启动。问题的种类数不胜数:缺少硬件驱动程序、文件系统配置错误、网络配置无效、权限不正确等等。而更糟糕的是,许多问题实际上会将管理员拒之门外,让他们无法登录、诊断问题以及执行适当的修复措施。唯一的选择是与服务器建立带外连接。此外,尽管客户可以查看 EC2 实例的控制台输出,但在此之前,他们无法与其进行交互。 今天,我非常高兴地宣布推出 EC2 串行控制台,它通过与您的 Amazon Elastic Compute Cloud (EC2) 实例建立串行连接,从而轻松、安全地排查启动和网络连接问题。 EC2 串行控制台简介 EC2 串行控制台适用于基于 AWS Nitro 系统的 EC2 实例。它支持所有主要的 Linux 发行版、FreeBSD、NetBSD、Microsoft Windows 和 VMWare。 无需任何能够正常运行的网络配置,即可在 AWS 管理控制台中使用基于浏览器的外壳程序或通过到托管的控制台服务器的 SSH 连接,从而连接到实例。无需在您的实例上运行 sshd 服务器:只需为 root 账户分配一个密码,因为您将需要使用此密码来登录。然后,您可以输入命令,如同使用直接连接到实例串行端口的键盘和显示器一样操作。 此外,您还可以触发操作系统特定的流程: 在 Linux 上,您可以触发 Magic SysRq 命令以生成崩溃转储、终止进程等。 在 Windows 上,您可以使用应急管理服务 (EMS) 和特殊管理控制台 (SAC) 中断启动进程,然后以安全模式启动。 获取对实例控制台的访问权限是一项特权操作,应受到严格控制,因此默认情况下不允许在账户级别访问 EC2 串行控制台。在您的账户中允许此访问权限后,它将适用于此账户中的所有实例。借助服务控制策略和 AWS Identity […]

Read More