亚马逊AWS官方博客

Category: Storage

AWS DataSync 的新增功能 — 在 AWS 和 Google Cloud Storage 或 AWS 和 Microsoft Azure 文件之间移动数据

借助 AWS DataSync,可以自动化并加快将数据移入和移出 AWS Storage 服务的速度。例如,您可以使用 DataSync 将数据迁移到 AWS,复制数据以实现业务连续性,以及移动数据以在云中进行分析和处理。您可以使用 DataSync 在 AWS Storage 服务之间传输数据,包括 Amazon Simple Storage Service(Amazon S3)、Amazon Elastic File System(Amazon EFS)和 Amazon FSx。DataSync 还与 Amazon CloudWatch 和 AWS CloudTrail 集成,用于记录、监控和警报。 今天,我们为 DataSync 添加了在 AWS Storage 服务与 Google Cloud Storage 或 Microsoft Azure 文件之间迁移数据的功能。通过这种方式,您可以简化数据处理或存储整合任务。如果您需要导入、共享数据并与使用 Google Cloud Storage 或 Microsoft Azure 文件的客户、供应商或合作伙伴交换数据,这也很有帮助。DataSync 提供端到端的安全性,包括加密和完整性验证,以确保您的数据安全、完好无损并随时可用。 我们来看看这些步骤的实际操作。 准备 […]

Read More

AWS Lambda 现在支持高达 10 GB 的短暂存储空间

无服务器应用程序由事件驱动,使用的是临时计算函数,涵盖从 Web API、移动后端和串流分析到机器学习(ML)和高性能应用程序中的数据处理阶段。虽然 AWS Lambda 为您的代码提供了 512 MB 的临时文件系统 (/tmp),但这是一种临时 Scratch 资源,不适用于持久存储,例如Amazon Elastic File System (Amazon EFS)。 但是,提取、转换和负载 (ETL) 任务和内容生成工作流(如创建 PDF 文件或媒体转码)需要快速、可扩展的本地存储来快速处理大量数据。数据密集型应用程序需要大量特定于调用的临时数据或缓存的数据,这些数据可以在同一执行环境中以高性能的方式重复用于所有调用。由于之前的限制为 512 MB,客户不得不有选择地从Amazon Simple Storage Service(Amazon S3)和 Amazon EFS 负载数据,或者增加分配的函数内存,从而增加成本,只是为了处理从 Amazon S3 下载的大型对象。由于客户无法在 Lambda 执行环境中本地缓存较大的数据,因此每个函数调用都必须并行读取数据,这使得客户难以进行横向扩展。 今天,我们宣布,AWS Lambda 现在允许您将短暂存储 (/tmp) 配置在 512 MB 到 10,240 MB 之间。您现在可以控制函数用于读取或写入数据的短暂存储量,这使得您可以将 AWS Lambda 用于 ETL 任务、机器学习(ML)推理或其他数据密集型工作负载。 通过增加的 AWS Lambda […]

Read More

PB级存储从GP2向GP3的迁移实践

AWS EBS通用型卷GP3于2021年1月即在亚马逊云科技中国北京区和宁夏区推出,距今已有一年多时间。作为下一代通用型 SSD 卷,GP3使客户不仅能够独立于存储容量来预置性能,并且每 GB 价格点比现有 GP2 优惠多达 20%。 为了帮助大家更深入地认识gp3的使用场景和优势,本博客将基于实际客户的EBS转换案例介绍从gp2向gp3转换的过程、限制和收益。

Read More

欢迎参加 AWS Pi Day 2022

十六年前的今天,我们推出了 Amazon Simple Storage Service(Amazon S3)! 正如我在早期经常告诉受众的那样,我希望他们思考大想法,怀抱大梦想! 回顾过去,我认为可以肯定地说,S3 的推出使他们能够做到这一点,并引发了一波持续到今天的创新浪潮。 更大、更繁忙、更具成本效益 我们的客户依靠 Amazon S3 为他们提供可靠且具有高持久性的对象存储,该存储可以扩展以满足他们的需求,同时随着时间的推移越来越具有成本效益。我们已经满足了这些需求和许多其他需求;以下是可以证明我的观点的一些新指标: 对象存储 – Amazon S3 现在拥有超过 200 万亿(2 x 1014)个对象。相当于地球上的每个居民平均拥有 29,000 个对象。按每秒一个对象计算,需要 634.2 万年才能达到这个数字! 根据 Ethan Siegel 的说法,可见宇宙中大约有 2 万亿个星系,平均每个星系有 100 个对象! 在 2006 年推出 S3 后不久,我很高兴地宣布,当时令人印象深刻的指标是 8 亿个存储对象,因此在不到 16 年的时间里,对象数量增长了 25 万倍。 请求速率 – Amazon S3 现在平均每秒处理超过 1 亿个请求。 经济高效 – […]

Read More

新增功能 – 适用于 Amazon S3 的其他校验和算法

Amazon Simple Storage Service (Amazon S3) 旨在为您的对象以及与您的对象关联的元数据提供 99.999999999%(11 个 9)的持久性。您可以放心的是,S3 会准确存储您放入的内容,并且会准确返回您获取时存储的内容。为了确保正确地来回传输对象,S3 会使用校验和,后者基本上来说是一种数字指纹。 S3 的 PutObject 函数已经允许您传递对象的 MD5 校验和,并且仅在您提供的值与 S3 计算的值相匹配时才接受该运算。虽然这允许 S3 检测数据传输错误,但这确实意味着您需要在调用 PutObject 之前或调用 GetObject 之后计算校验和。此外,计算大型(多 GB 甚至多 TB)对象的校验和可能需要大量计算,并可能导致出现瓶颈。实际上,一些大型 S3 用户已经构建了专门用于计算和验证校验和的特殊用途 EC2 机群。 新的校验和支持 今天,我很高兴向您介绍 S3 对四种校验和算法的新支持。现在,您可以非常轻松地计算和存储 Amazon S3 中存储的数据的校验和,并使用校验和来检查上载和下载请求的完整性。您可以使用这项新功能来实施特定于您所在行业的数字保护最佳实践和控制措施。尤其是,在将每个对象上载到 S3 时,您可以指定使用四种广泛使用的校验和算法( SHA-1、SHA-256、CRC-32 和 CRC-32C )中的任何一种。 以下是此项新功能的主要方面: 对象上载 – 最新版本的 AWS 开发工具包会在上载过程中计算指定的校验和,并在上载结束时将其包含在 HTTP 尾部。您还可以选择提供预先计算的校验和。无论使用哪种方式,如果请求中的值与 S3 […]

Read More

经济实惠且可扩展的云中灾难恢复

如果发生灾难,要确保业务连续性,定期数据备份远远不够。要实现完全恢复,达到企业恢复时间目标 (RTO),还必须具备基础设施、操作系统、应用程序和用于处理其数据的配置。勒索软件的威胁不断增加,这突出表明企业需要具备执行全面时间点恢复的能力。对于受勒索软件攻击影响的企业,从旧的备份中恢复数据(可能是手动恢复)并不够。 以前,企业选择预置单独的物理灾难恢复 (DR) 基础设施。但我们从客户处了解到,此做法需要大量空间且成本高昂,而且会产生有关硬件和设施的资本支出,而这些硬件和设施除了调用时都处于闲置状态。定期检查和维护基础设施(通常是手动检查和维护)以确保在调用时其随时可用且能够处理当前业务负载也会产生开销,而当前业务负载可能自首次预置以来已大幅增加。这也使得测试难以开展且需花费高昂费用。 我很高兴地宣布推出 AWS Elastic Disaster Recovery (DRS),这是一项基于 CloudEndure Disaster Recovery 的完全可扩展、经济实惠的灾难恢复服务,适用于物理、虚拟和云服务器。利用 DRS,客户能够将 AWS 用作弹性恢复站点,无需投资配置本地部署灾难恢复基础设施,除需要使用时,它们都处于闲置状态。启用后,DRS 将对您的操作系统、应用程序和数据库保持持续不断的复制状态。这有助于企业在灾难发生后便达成数秒钟的恢复点目标 (RPO) 和数分钟的恢复时间目标。例如,在勒索软件攻击的情况下,DRS 还支持恢复到以前的某个时间点。 DRS 实现的恢复可按需扩展,以与您当前设置保持一致,而且不需要任何耗时的手动过程来保持其就绪状态。它还能够执行灾难恢复就绪演练。对从备份中恢复数据进行测试十分重要,而同样地,能够经济实惠地开展灾难恢复演练而不影响正在进行中的复制或用户活动,有助于您保持在需要恢复时能够满足自己的目标和客户期望的自信。 Elastic Disaster Recovery 实际操作 启用后,DRS 会持续从物理、虚拟或基于云的服务器复制数据块存储卷,从而支持以秒为单位的业务恢复点目标。恢复包括将运行于物理基础设施、VMware vSphere、Microsoft Hyper-V 和云基础设施上的应用程序恢复到 AWS。您可以恢复在受支持的 Windows 和 Linux 操作系统上运行的所有应用程序和数据库,DRS 会编排您在 AWS 上的服务器的恢复过程,为达成恢复时间目标(以分钟为单位)提供支持。 使用您在服务器上安装的代理,DRS 将数据安全地复制到 AWS 账户中选定区域中的暂存区子网。暂存区子网使用经济实惠的存储空间和最少的计算资源,降低您的成本。如果需要,您可以在 DRS 控制台中恢复其他 AWS 区域中的 Amazon Elastic Compute Cloud (Amazon EC2) […]

Read More

新增 – Amazon EBS Snapshots Archive

我很高兴地宣布推出 Amazon EBS Snapshots Archive,这是新的存储等级,用于长期保留 EBS 卷的 Amazon Elastic Block Store (EBS) 快照。 简而言之,EBS 是适用于 Amazon Elastic Compute Cloud (Amazon EC2) 实例的易于使用的高性能数据块存储服务。通过挂载到 EC2 实例的 EBS 卷,您可以启动操作系统并存储性能要求最高的工作负载的数据。您可以使用 EBS 快照创建卷数据的时间点副本。卷的第一个快照包含写入该卷的所有数据。后续快照逐渐加入。快照存储在 Amazon Simple Storage Service (Amazon S3) 上,并且可以在 AWS 账户和 AWS 区域之间共享。 频繁拍摄快照和轻松还原卷的能力使 EBS 快照与其他备份选项一起成为数据管理策略的显而易见的选择。快照的递增特性使其成本效益高,适用于需要立即还原的每日和每周备份。但是,您告诉过我们,业务合规性和监管需求意味着您需要将 EBS 快照保留更长的时间(数月或数年)。例如,在项目结束时拍摄的快照,或者为将来的项目版本保留用于测试和开发的快照。这些快照中的绝大多数都是拍摄的,而从不会是读取的。对于这些快照,您希望降低存储成本。如今,为了受益于较低的存储成本,您可能编写了涉及临时 EC2 实例的复杂脚本,以还原快照、挂载相应的卷以及将数据传输到成本较低的存储等级,例如 Amazon Glacier。 EBS Snapshots Archive 提供了一个低成本的存储等级,用于归档 EBS Snapshots 的完整时间点副本,出于监管和合规性原因,或者为了将来的项目版本,您必须将这些副本保留 […]

Read More

预览 — AWS Backup 添加了对 Amazon S3 的支持

从今天开始,您可以预览适用于 Amazon Simple Storage Service (Amazon S3) 的 AWS Backup。 AWS Backup 是一项完全托管、基于策略的服务,可让您集中管理和自动执行跨 12 项 AWS 服务的应用程序备份与恢复:Amazon Elastic Compute Cloud (Amazon EC2) 实例、Amazon Elastic Block Store (EBS) 卷、Amazon Relational Database Service (RDS) 数据库(包括 Amazon Aurora 集群)、Amazon DynamoDB 表、Amazon Neptune 数据库、Amazon DocumentDB(兼容 MongoDB)数据库、Amazon Elastic File System (Amazon EFS) 文件系统、Amazon FSx for Lustre 文件系统、Amazon FSx for Windows […]

Read More

新功能 – 简化对 Amazon S3 中所存储数据的访问管理

我们推出若干新功能,以简化对 Amazon Simple Storage Service (Amazon S3) 中所存储数据的访问管理。首先,我们推出了新的 Amazon S3 对象拥有权设置,允许您禁用访问控制列表 (ACL),以简化对 Amazon S3 中所存储数据的访问管理。其次,Amazon S3 控制台策略编辑器现在会在您编写 S3 策略时报告 IAM 访问分析器提供的安全警告、错误和建议。 自 15 年前启动以来,Amazon S3 存储桶的原定设置始终为私有。起初,使用 ACL 是授予对象访问权限的唯一方法。2011 年,AWS Identity and Access Management (IAM) 发布,允许使用策略定义权限并控制对 Amazon S3 中存储桶和对象的访问。现在,您有多种方法可以控制对 Amazon S3 中数据的访问,包括 IAM 策略、 S3 存储桶策略、 S3 访问点策略、 S3 数据块公有访问和 ACL。 ACL 是一种访问控制机制,其中每个存储桶和对象都附上了一种 ACL。ACL 定义了向哪些 AWS […]

Read More