Amazon S3 常见问题

向量存储桶是专为存储和查询向量而构建的。在向量存储桶内，不要使用 S3 对象 API，而是使用专用的向量 API 来编写向量数据，并根据语义和相似度来查询这些数据。您可以使用 Amazon S3 中的现有访问控制机制（包括存储桶和 IAM 策略）来控制对向量数据的访问权限。所有写入到向量存储桶的数据都具有强一致性，这意味着您可以立即访问最近添加的向量。随着您对向量的不断写入、更新和删除操作，S3 向量存储桶会自动优化其中存储的向量数据，以实现最佳的性价比，即便数据集在扩展和不断变化也是如此。

存储桶是存储在 Amazon S3 中的对象和表的容器，您可以在存储桶中存储任意数量的对象。通用存储桶是原始 S3 存储桶类型，单一通用存储桶可以包含跨所有存储类（S3 Express One Zone 除外）的对象。对于大多数应用场景和访问模式，建议使用该存储桶。S3 目录存储桶仅允许存储在 S3 Express One Zone 存储类中的对象，该存储类可在单个可用区内实现更快的数据处理。对于低延迟应用场景，建议使用该存储桶。 每个 S3 目录存储桶支持每秒多达 200 万个事务（TPS），这与存储桶内的目录数量无关。 S3 表存储桶专为在 S3 中存储表格数据而构建，例如每日购买交易、流式传感器数据或广告曝光量。使用表存储桶时，您的数据将作为 Iceberg 表存储在 S3 中，然后您可以使用行级交易、可查询表快照等分析功能与该数据进行交互，所有这些都由 S3 管理。此外，表存储桶会进行持续的表维护，即使数据湖不断扩展和演变，它也能随着时间的推移自动优化查询效率。 S3 向量存储桶是专为存储和查询向量而构建的。在向量存储桶内，您可以通过专用的向量 API 来编写向量数据，并根据语义和相似度来查询这些数据。您可以使用 Amazon S3 中的现有访问控制机制（包括存储桶和 IAM 策略）来控制对向量数据的访问权限。随着您对向量的不断写入、更新和删除操作，S3 向量存储桶会自动优化其中存储的向量数据，以实现最佳的性价比，即便数据集在扩展和不断变化也是如此。

S3 表类数据存储服务提供专门构建的 S3 存储，用于以 Apache Parquet、Avro 和 ORC 格式存储结构化数据。在表存储桶中，您可以直接在 S3 中将表创建为一级资源。这些表可以使用在基于身份或资源的策略中定义的表级权限进行保护，并且可由支持 Apache Iceberg 标准的应用程序或工具进行访问。当您在表存储桶中创建表时，S3 中的基础数据将存储为 Parquet、Avro 或 ORC 文件。然后，S3 会使用 Apache Iceberg 标准来存储必要的元数据，使应用程序可以查询该数据。S3 表类数据存储服务包括一个客户端库，查询引擎使用该库来导航和更新表存储桶中表的 Iceberg 元数据。此库与用于表操作的更新的 S3 API 结合使用，允许多个客户端安全地读取和写入表中的数据。随着时间的推移，S3 会通过重写或“压缩”对象来自动优化基础 Parquet、Avro 或 ORC 数据。压缩可以优化 S3 上的数据，以提高查询性能。

只需几个简单步骤即可开始使用 S3 表类数据存储服务，无需在 S3 之外搭建任何基础设施。首先，在 S3 控制台中创建表存储桶。通过控制台创建您的第一个表存储桶的过程中，与 AWS 分析服务的集成会自动完成，这使得 S3 能够自动将您账户和区域中的所有表存储桶和表填充到 AWS Glue Data Catalog 中。此后，S3 表类数据存储服务可通过 Amazon Athena、EMR 和 Redshift 等 AWS 查询引擎访问。接下来，您可以在 S3 控制台中点击操作，利用 Amazon Athena 创建表格。进入 Athena 后，您就可以快速开始填充新的表格并对其进行查询。

或者，您可以通过 AWS Glue Data Catalog 使用 REST Catalog 端点访问 S3 表类数据存储服务，这使您能够发现整个数据资产，包括所有表资源。您还可以直接连接到单个表存储桶端点，以发现该存储桶中的所有 S3 表类数据存储服务资源。这使您能够将 S3 表类数据存储服务与支持 Apache Iceberg REST Catalog 规范的任何应用程序或查询引擎结合使用。

与将 Iceberg 表存储在通用 Amazon S3 存储桶中相比，预计查询性能最多可高 3 倍，每秒事务数（TPS）最多可高 10 倍。这是因为表存储桶会自动压缩表的基础 Parquet、Avro 或 ORC 数据来优化查询性能，而专用存储在默认情况下最多支持 10 倍的 TPS。

表存储桶使您能够将资源策略应用于整个存储桶或单个表。可以使用 PutTablePolicy 和 PutTableBucketPolicy API 来应用表存储桶策略。表级策略允许您根据与之关联的逻辑表管理对表存储桶中表的权限，而无需了解单个 Parquet、Avro 或 ORC 文件的物理位置。此外，S3 屏蔽公共访问权限始终应用于您的表存储桶。

表存储桶支持包含 Parquet、Avro 或 ORC 数据的 Apache Iceberg 表格式。

您可以通过四个简单步骤开始使用 S3 Vectors，无需在 Amazon S3 之外设置任何基础设施。首先，通过 CreateVectorBucket API 或在 S3 控制台中在特定 AWS 区域创建向量存储桶。其次，要在向量存储桶中组织向量数据，您可以使用 CreateIndex API 或在 S3 控制台中创建向量索引。创建向量索引时，需要指定距离指标（余弦或欧几里得）和向量应具有的维度数（最多 4092）。要获得最准确的结果，请选择您的嵌入模型推荐的距离指标。第三，使用 PutVectors API 将向量数据添加到向量索引中。您可以选择性地将元数据作为键值对附加到每个向量中以筛选查询。第四，使用 QueryVectors API 执行相似度查询，以指定要搜索的向量和要返回的最相似结果的数量。

您可以使用 S3 控制台或 CreateIndex API 创建向量索引。在创建索引时，您需指定向量存储桶、索引、距离标准、维度，以及（可选）您希望在相似性查询中排除在筛选之外的元数据字段列表。例如，如果您只是想存储与向量相关的数据以供参考，则可以将这些数据指定为不可筛选的元数据字段。创建后，会为每个索引分配一个唯一的 Amazon 资源名称（ARN）。随后，当您发出写入或查询请求时，您会将其定向至向量存储桶内的一个向量索引。

您可以使用 PutVectors API 将向量添加到向量 索引。每个向量都包含一个键，该键能够唯一地标识向量索引中的每个向量（例如，您可以通过编程方式生成一个 UUID）。为了最大限度地提高写入吞吐量，建议您一次性大量插入数据，最多可达到最大请求大小。此外，您还可以将元数据（例如年份、作者、流派和地点）作为键值对附加到每个向量中。当您包含元数据时，默认情况下，所有字段均可作为相似性查询中的筛选条件使用，除非在创建向量索引时将其指定为不可筛选的元数据。要为非结构化数据生成新的向量嵌入，您可以使用 Amazon Bedrock 的 InvokeModel API，以指定要使用的嵌入模型的模型 ID。

您可以使用 GetVectors API 来查找并返回以向量键标识的向量及其相关元数据。

您可以使用 QueryVectors API 运行相似度查询，以指定查询向量、要返回的相关结果数量（前 k 个最近的邻居）和索引 ARN。生成查询向量时，应使用与生成存储在向量索引中的初始向量相同的嵌入模型。例如，如果您在 Amazon Bedrock 中使用 Amazon Titan 文本嵌入 v2 来生成文档的嵌入，则建议您使用相同的模型将问题转换为向量。此外，您还可以在查询中使用元数据筛选条件来搜索与筛选条件匹配的向量。当您运行相似度查询时，默认情况下会返回向量键。您可以选择在响应中包含距离信息和元数据。

S3 Vectors 提供高度持久且可用的向量存储。写入 S3 Vectors 的数据存储在 S3 上，而 S3 专为实现 99.999999999%（11 个 9）的数据持久性而设计。S3 Vectors 旨在提供 99.99% 的可用性，可用性 SLA 为 99.9%。

S3 Vectors 提供亚秒级的查询延迟时间。它利用 Amazon S3 的弹性吞吐量来处理数百万个向量的搜索操作，非常适合处理不频繁的查询工作负载。

在对您的向量嵌入进行相似性查询时，有几个因素会影响平均召回率，包括嵌入模型、向量数据集的大小（向量和维度数量）以及查询的分布情况。对于大多数数据集，S3 Vectors 的平均召回率超过 90%。平均召回率衡量的是查询结果的质量：90% 意味着，该响应包含了 90% 的与查询向量最接近的真实基础向量（这些基础向量存储在索引中）。但是，由于实际性能可能会因您的特定应用场景而有所不同，我们建议您使用代表性数据和查询进行自行测试，以验证 S3 向量索引符合您的召回要求。

您可以使用 ListVectors API 在向量索引中查看向量列表，该 API 一次最多返回 1000 个向量，并会附带一个指示信息说明响应是否被截断。响应包括上次修改日期、向量键、向量数据和元数据。您还可以使用 ListVectors API 轻松地从指定的向量索引导出向量数据。ListVectors 操作具有强一致性。因此，在完成写入操作后，您就可以立即列出反映出所有更改的向量。

使用 S3 Vectors 时，您只需为存储以及任何适用的写入和读取请求（例如，插入向量以及在向量索引中执行查询操作）支付费用。如需查看定价详细信息，请参阅 S3 定价页面。

可以。通过 Bedrock 控制台或 API 创建 Bedrock 知识库时，您可以将现有的 S3 向量索引配置为向量存储，以节省 RAG 应用场景的向量存储成本。如果您更愿意让 Bedrock 为您创建和管理向量索引，请在 Bedrock 控制台中使用快速创建工作流。此外，您还可以将新的 S3 向量索引配置为 Amazon SageMaker Unified Studio 融通式合作开发工作室中 RAG 工作流的向量存储。

可以。您可以通过两种方式将 S3 Vectors 与 Amazon OpenSearch Service 结合使用。首先，S3 客户可以使用 S3 或 OpenSearch 控制台将所有向量从 S3 向量索引导出到 OpenSearch Serverless，作为新的无服务器集合。如果您在 S3 Vectors 上进行本地构建，则能够有选择地将 OpenSearch Serverless 用于具有实时查询需求的工作负载，这将使您受益匪浅。其次，如果您是 OpenSearch 的托管客户，现在您可以选择使用 S3 Vectors 作为您的向量数据处理引擎，这样您便可以以亚秒级的延迟对这些数据进行查询。然后，OpenSearch 将自动使用 S3 Vectors 作为向量的底层引擎，您可以使用 OpenSearch API 更新和搜索向量数据。您将享受到 S3 Vectors 的成本优势，而无需对您的应用程序进行更改。

Amazon S3 接入点是简化了使用 S3 的任何应用程序或 AWS 服务的数据访问管理的端点。S3 接入点可与 S3 存储桶和适用于 OpenZFS 的 Amazon FSx 文件系统配合使用。您可以通过创建具有为每个应用程序或用户量身定制的名称和权限的接入点，控制和简化不同应用程序或用户访问数据的方式。

将 S3 接入点与 S3 存储桶结合使用，您不再需要使用数以百计的需要编写、读取、跟踪和审计的不同权限规则来管理单个复杂的存储桶策略。相反，您可以为每个存储桶创建数百个接入点，每个接入点提供进入存储桶的自定义路径，具有唯一的主机名和访问策略，可对通过相应接入点发出的请求执行特定的权限和网络控制。

将 S3 接入点与适用于 OpenZFS 的 FSx 结合使用，您可以通过 S3 API 访问您的 FSx 数据，就好像数据在 S3 中一样。借助这项功能，您可以访问适用于 OpenZFS 的 FSx 中的文件数据，以便将其用于与 S3 配合使用的各种人工智能、机器学习、分析服务和应用程序，而您的文件数据会继续驻留在适用于 OpenZFS 的 FSx 文件系统上。

借助 S3 接入点，您可以使用 S3 API 访问适用于 OpenZFS 的 Amazon FSx 中的文件数据，而无需将数据移至 S3。附加到适用于 OpenZFS 的 FSx 文件系统的 S3 接入点的工作方式与附加到 S3 存储桶的 S3 接入点的工作方式类似，通过 S3 提供数据访问权限，并通过访问策略进行权限控制，而数据继续存储在适用于 OpenZFS 的 FSx 文件系统或 S3 存储桶中。例如，将 S3 接入点附加到适用于 OpenZFS 的 FSx 文件系统后，客户就可以将该接入点与生成式人工智能、机器学习和分析服务以及与 S3 配合使用的应用程序一起使用，以访问其适用于 OpenZFS 的 FSx 数据。

创建目录存储桶后，您可以使用“导入”选项，通过 S3 控制台将同一 AWS 区域内的数据导入到 S3 Express One Zone 存储类中。导入功能让您可以选择要从中导入数据的前缀或存储桶，而无需指定要单独复制的所有对象，从而简化了将数据复制到 S3 目录存储桶的过程。S3 批量操作会复制所选前缀或通用存储桶中的对象，您可以通过 S3 批量操作作业详细信息页面监控导入复制作业的进度。

在至少 3 个月内没有请求活动的 S3 目录存储桶将过渡到非活动状态。处于非活动状态的目录存储桶暂时无法进行读取和写入。非活动存储桶将保留所有存储、对象元数据和存储分区元数据。现有的存储费用将适用于非活动存储桶。非活动存储桶收到访问请求时，通常会在几分钟内过渡到活动状态。在此过渡期间，读取和写入操作将返回 503 SlowDown 错误代码。

如果您想使用 SQL 查询有关 S3 对象的信息以为生成式人工智能、分析和其他应用场景快速识别特定数据集，则应使用 Amazon S3 Metadata。S3 Metadata 能够近乎实时地更新元数据，因此您可以使用任何与 Iceberg 兼容的客户端来运行 SQL 查询，以便根据对象元数据查找对象。例如，您可以使用 SQL 查询来返回符合特定筛选条件的对象列表，比如在过去 30 天内添加到任何存储桶中的对象。

S3 Metadata 旨在自动生成元数据，这些元数据可提供上传至存储桶中的对象的相关额外信息，并使该元数据能够在只读表中进行查询。这些元数据表存储在基于 Apache Iceberg 构建的 Amazon S3 表类数据存储服务中，并为在 S3 中存储和查询表格数据提供一种托管方式。S3 Metadata 在对象上传期间创建并维护系统级元数据（例如对象大小）、自定义元数据（例如标签和用户定义的元数据）以及事件元数据（例如发送请求的 IP 地址）。随着存储桶中的数据发生更改，S3 Metadata 可以近乎实时地更新以反映最新更改。然后，您可以使用与 Iceberg 兼容的各种 AWS 分析服务和开源工具，包括 Amazon Athena、Amazon QuickSight 和 Apache Spark 来查询元数据表。

只需在 S3 管理控制台中单击几次，您就可以开始使用 S3 控制台。只需选择您想要在其中启用 S3 Metadata 的通用 S3 存储桶，S3 将会分析您的存储桶中的数据，并构建一个其中包含您所有对象的元数据的完全托管式 Apache Iceberg 表。几分钟内，您就可以开始使用任何支持 Apache Iceberg 的查询引擎或工具来查询元数据。

您的 S3 Metadata 表存储在您名为 aws-s3 的 AWS 账户中的 AWS 托管表存储桶中。您的表将是只读表，只有 S3 有权进行写入、更新或删除元数据的操作。 

S3 Metadata 将元数据存储在您账户的两个托管表中：日志表和实时清单表。 

S3 Metadata 日志表提供存储桶内所做更改的视图。在向您的通用 S3 存储桶进行对象添加、更新和移除操作时，相应的更改将近乎实时地反映在日志表中。日志表有助于您了解应用程序的运行情况，并能帮助您识别对数据集所做的任何更改。例如，您可以为日志表编写 SQL 查询，以查找与筛选条件相匹配的 S3 对象，例如过去 30 天添加的对象、活动请求者添加的对象或上周发生元数据更改的对象。

S3 Metadata 实时清单表包含存储桶中所有对象的完整列表。实时清单表每小时更新一次，其中包含了 S3 所掌握的关于您的对象的所有信息。实时清单表有助于根据对象元数据中生成的特征来发现或识别您存储桶中的数据集。例如，您可以使用实时清单表来识别用于机器学习的训练数据集，将其用于存储成本优化练习，或者借此帮助实施治理控制措施。

当您向存储桶添加新对象时，您在几分钟内就能在日志表中看到相关条目，而下一小时刷新时您会在实时清单表中看到这些条目。当您在现有存储桶上启用 S3 元数据时，S3 将自动启动回填操作，以为您的所有现有对象生成元数据。这一回填操作通常在几分钟内完成，但如果您的现有数据集包含数百万或数十亿个 S3 对象，则可能需要几个小时。

S3 清单报告可为 Amazon S3 的同步列表 API 提供预定的替代方案。您可以通过配置 S3 清单，针对 S3 存储桶或前缀每日或每周提供一次您的对象及其对应元数据的 CSV、ORC 或 Parquet 文件输出。您可以使用 S3 清单简化并加快业务工作流和大数据作业。您还可以使用 S3 清单验证对象的加密和复制状态是否符合业务、合规性和法规要求。 通过 Amazon S3 清单用户指南了解更多信息。

S3 表类数据存储服务提供专门构建的 S3 存储，用于以 Apache Parquet、Avro 和 ORC 格式存储结构化数据。在表存储桶中，您可以直接在 S3 中将表创建为一级资源。这些表可以使用在基于身份或资源的策略中定义的表级权限进行保护，并且可由支持 Apache Iceberg 标准的应用程序或工具进行访问。当您在表存储桶中创建表时，S3 中的基础数据将存储为 Parquet、Avro 或 ORC 文件。然后，S3 会使用 Apache Iceberg 标准来存储必要的元数据，使应用程序可以查询该数据。S3 表类数据存储服务包括一个客户端库，查询引擎使用该库来导航和更新表存储桶中表的 Iceberg 元数据。此库与用于表操作的更新的 S3 API 结合使用，允许多个客户端安全地读取和写入表中的数据。随着时间的推移，S3 会通过重写或“压缩”对象来自动优化基础 Parquet、Avro 或 ORC 数据。压缩可以优化 S3 上的数据，以提高查询性能。

只需几个简单步骤即可开始使用 S3 表类数据存储服务，无需在 S3 之外搭建任何基础设施。首先，在 S3 控制台中创建表存储桶。通过控制台创建您的第一个表存储桶的过程中，与 AWS 分析服务的集成会自动完成，这使得 S3 能够自动将您账户和区域中的所有表存储桶和表填充到 AWS Glue Data Catalog 中。此后，S3 表类数据存储服务可通过 Amazon Athena、EMR 和 Redshift 等 AWS 查询引擎访问。接下来，您可以在 S3 控制台中点击操作，利用 Amazon Athena 创建表格。进入 Athena 后，您就可以快速开始填充新的表格并对其进行查询。

或者，您可以通过 AWS Glue Data Catalog 使用 REST Catalog 端点访问 S3 表类数据存储服务，这使您能够发现整个数据资产，包括所有表资源。您还可以直接连接到单个表存储桶端点，以发现该存储桶中的所有 S3 表类数据存储服务资源。这使您能够将 S3 表类数据存储服务与支持 Apache Iceberg REST Catalog 规范的任何应用程序或查询引擎结合使用。

与将 Iceberg 表存储在通用 Amazon S3 存储桶中相比，预计查询性能最多可高 3 倍，每秒事务数（TPS）最多可高 10 倍。这是因为表存储桶会自动压缩表的基础 Parquet、Avro 或 ORC 数据来优化查询性能，而专用存储在默认情况下最多支持 10 倍的 TPS。

表存储桶使您能够将资源策略应用于整个存储桶或单个表。可以使用 PutTablePolicy 和 PutTableBucketPolicy API 来应用表存储桶策略。表级策略允许您根据与之关联的逻辑表管理对表存储桶中表的权限，而无需了解单个 Parquet、Avro 或 ORC 文件的物理位置。此外，S3 屏蔽公共访问权限始终应用于您的表存储桶。

表存储桶支持包含 Parquet、Avro 或 ORC 数据的 Apache Iceberg 表格式。