Amazon S3 常見問答集

向量儲存貯體專為儲存和查詢向量而建置。在向量儲存貯體中，不使用 S3 物件 API ，而是使用專用向量 API 來編寫向量資料，並根據語義含義與相似度執行查詢操作。您可以藉助 Amazon S3 中現有的存取控制機制 (包括儲存貯體和 IAM 政策) 來控制向量資料的存取權。對向量儲存貯體的所有寫入操作都具有強一致性，這意味著您可以立即存取最近新增的向量。在一段時間內編寫、更新和刪除向量時，S3 向量儲存貯體會自動最佳化儲存在其中的向量資料，即使資料集不斷擴展和演變，也能實現最佳的價格/效能。

儲存貯體是儲存在 Amazon S3 中之物件和資料表的容器，您可以將任意數量的物件儲存在儲存貯體中。一般用途儲存貯體是原始 S3 儲存貯體類型，單個一般用途儲存貯體可以包含儲存在 S3 Express One Zone 以外之所有儲存類別之間的物件。針對大多數使用案例和存取模式建議使用此類儲存貯體。S3 目錄儲存貯體僅允許儲存在 S3 Express One Zone 儲存類別中的物件，這可在單一可用區域內提供更快的資料處理。針對低延遲使用案例建議使用此類儲存貯體。 每個 S3 目錄儲存貯體都可以支援每秒高達 200 萬筆交易 (TPS)，無論儲存貯體內的目錄數目為何。 S3 資料表儲存貯體專用於在 S3 中儲存表格式資料，例如每日購買交易、串流感測器資料或廣告曝光率。使用資料表儲存貯體時，您的資料會在 S3 中儲存為 Iceberg 資料表，然後您可以使用資料列層級交易、可查詢資料表快照等分析功能與該資料進行互動，這些功能全部都由 S3 管理。此外，資料表儲存貯體也會執行持續的資料表維護，以隨時間推移自動最佳化查詢效率，即使資料湖在擴展和發展。 S3 向量儲存貯體專為儲存和查詢向量而建置。在向量儲存貯體中，您可透過專用向量 API 來編寫向量資料，並根據語義含義與相似度執行查詢操作。您可以使用 Amazon S3 中現有的存取控制機制 (包括儲存貯體和 IAM 政策) 來控制向量資料的存取權。在一段時間內編寫、更新和刪除向量時，S3 向量儲存貯體會自動最佳化儲存在其中的向量資料，即使資料集不斷擴展和演變，也能實現最佳的價格/效能。

S3 Tables 提供專用 S3 儲存，用於以 Apache Parquet、Avro 和 ORC 格式儲存結構化資料。在資料表儲存貯體中，您可以直接在 S3 中建立資料表作為一級資源。這些資料表可以使用以身分或資源為基礎的政策中定義的資料表層級許可來進行保護，並且可以透過支援 Apache Iceberg 標準的應用程式或工具來存取。當您在資料表儲存貯體中建立資料表時，S3 中的基礎資料會儲存為 Parquet、Avro 或 ORC 檔案。然後，S3 會使用 Apache Iceberg 標準來儲存所需的中繼資料，以便您的應用程式可查詢該資料。S3 Tables 包括用戶端資料庫，而查詢引擎會使用該資料庫來導覽和更新資料表儲存貯體中資料表的 Iceberg 中繼資料。此程式庫與用於資料表操作的更新的 S3 API 結合，可讓多個用戶端安全地讀取和寫入資料表。隨著時間的推移，S3 會透過重寫或「壓縮」物件來自動最佳化基礎 Parquet、Avro 或 ORC 資料。壓縮可最佳化 S3 上的資料，以提高查詢效能。

只需幾個簡單步驟即可開始使用 S3 Tables，而無需在 S3 以外建立任何基礎設施。首先，在 S3 主控台中建立資料表儲存貯體。作為透過主控台建立第一個資料表儲存貯體的環節，與 AWS Analytics 服務的整合會自動進行，這就使 S3 能夠將帳戶和區域中的所有資料表儲存貯體和資料表自動填入 AWS Glue Data Catalog。之後，各種 AWS 查詢引擎 (例如 Amazon Athena、EMR 和 Redshift) 目前就可以存取 S3 Tables。接下來，您可以按一下以從 S3 主控台使用 Amazon Athena 建立資料表。位於 Athena 中之後，您可以快速開始填入新資料表並查詢它們。

或者，您也可以透過 AWS Glue Data Catalog 使用 Iceberg REST Catalog 端點來存取 S3 Tables，這可讓您探索整個資料資產，包括所有資料表資源。您也可以直接連線至個別資料表儲存貯體端點，以探索該儲存貯體內的所有 S3 Tables 資源。這可讓您與支援 Apache Iceberg REST Catalog 規格的任何應用程式或查詢引擎一起使用 S3 Tables。

與在一般用途 Amazon S3 儲存貯體中儲存 Iceberg 資料表相比，查詢效能提高 3 倍，每秒交易量 (TPS) 提高 10 倍。這是因為資料表儲存貯體會自動壓縮資料表的基礎 Parquet、Avro 或 ORC 資料，以最佳化查詢效能，而且專門建置的儲存空間預設支援高達 10 倍的 TPS。

資料表儲存貯體可讓您將資源政策套用至整個儲存貯體或單個資料表。可以使用 PutTablePolicy 和 PutTableBucketPolicy API 來套用資料表儲存貯體政策。資料表層級政策可讓您根據與之關聯的邏輯資料表來管理資料表儲存貯體中的資料表許可，而不必了解個別 Parquet、Avro 或 ORC 檔案的實體位置。此外，S3 封鎖公開存取始終會套用到您的資料表儲存貯體。

資料表儲存貯體支援具有 Parquet、Avro 或 ORC 資料的 Apache Iceberg 資料表格式。

您可以透過四個簡單步驟開始使用 S3 Vectors，而無需在 Amazon S3 以外設定任何基礎設施。首先，透過 CreateVectorBucket API 或在 S3 主控台中於特定 AWS 區域建立向量儲存貯體。其次，為了在向量儲存貯體中組織向量資料，您可以使用 CreateIndex API 或在 S3 主控台中建立向量索引。建立向量索引時，您可以指定距離指標 (餘弦或歐氏距離)，以及向量應具有的維度數目 (最多 4092)。若要取得最準確的結果，請選取嵌入模型建議的距離指標。第三，使用 PutVectors API 將向量資料新增至向量索引。您可以選擇性地將中繼資料作為索引鍵值對連接至每個向量以篩選查詢。第四，使用 QueryVectors API 執行相似性查詢，並且指定要搜尋的向量以及要傳回最類似結果的數量。

您可以使用 S3 主控台或 CreateIndex API 建立向量索引。在建立索引期間，您可以指定向量儲存貯體、索引、距離指標、維度，以及選擇性地指定要在相似性查詢期間從篩選中排除的中繼資料欄位清單。例如，如果您想要完全出於參考目的儲存與向量關聯的資料，則可以將這些資料指定為非可篩選的中繼資料欄位。建立期間，會為每個索引指派唯一的 Amazon Resource Name (ARN)。隨後進行寫入或查詢請求時，您將其導向至向量儲存貯體內的向量索引。

您可以使用 PutVectors API 將向量新增至向量索引。每個向量都包含索引鍵，它唯一識別向量索引中的每個向量 (例如，您可以採用編程方式產生 UUID)。為最大程度地提高寫入輸送量，建議您以大批次 (最高為請求大小上限) 插入向量。此外，您可以將中繼資料 (例如年份、作者、類型和位置) 作為索引鍵值配對連接至每個向量。包含中繼資料時，依預設，所有欄位都可以用作相似性查詢中的篩選條件，除非在建立向量索引時指定為非可篩選中繼資料。若要產生非結構化資料的新向量嵌入，您可以使用 Amazon Bedrock 的 InvokeModel API，並且指定要使用之嵌入模型的模型 ID。

您可以使用 GetVectors API 透過向量索引鍵查詢和傳回向量與相關聯的中繼資料。

您可以使用 QueryVectors API 執行相似性查詢，並且指定查詢向量、要傳回的相關結果數目 (最近 k 芳鄰) 以及索引 ARN。產生查詢向量時，您應該使用與用於產生向量索引中所儲存初始向量相同的嵌入模型。例如，如果您在 Amazon Bedrock 中使用 Amazon Titan Text Embeddings v2 來產生文件的嵌入，則建議您使用相同的模型將問題轉換為向量。此外，您可以在查詢中使用中繼資料篩選條件來搜尋符合該篩選條件的向量。執行相似性查詢時，依預設會傳回向量索引鍵。您可以選擇性地在回應中包括距離和中繼資料。

S3 Vectors 提供高度耐用且可用的向量儲存。寫入 S3 Vectors 的資料儲存在 S3 上，後者專為實現 99.999999999% 資料耐用性而設計。S3 Vectors 旨在提供 99.99% 的可用性以及 99.9% 的可用性 SLA。

S3 Vectors 提供低於 1 秒的查詢延遲時間。它使用 Amazon S3 的彈性輸送量來處理跨數百萬向量的搜尋，非常適合不常查詢的工作負載。

若要針對向量嵌入執行相似性查詢，幾點因素可能會影響平均召回率，包括嵌入模型、向量資料集的大小 (向量和維度數量) 以及查詢的分佈。S3 Vectors 可為大多數資料集提供 90% 以上的平均召回率。平均召回率衡量查詢結果的品質 — 90% 表示回應結果包含索引中與查詢向量最接近的真實向量的 90%。然而，實際效能可能因您的具體使用案例而異，因此我們建議您使用代表性資料和查詢進行自己的測試，以驗證 S3 向量索引是否滿足您的召回率要求。

您可以使用 ListVectors API 查看向量索引中的向量清單，該 API 一次傳回最多 1,000 個向量，並帶有表明回應是否被截斷的指標。回應包括上次修改日期、向量索引鍵、向量資料和中繼資料。您也可以使用 ListVectors API 從指定的向量索引輕鬆匯出向量資料。ListVectors 操作具有強一致性。因此，在寫入後，您可以立即列出向量並反映任何變更。

使用 S3 Vectors 時，您需要支付儲存和任何適用寫入和讀取請求 (例如，插入向量和對向量索引中的向量執行查詢操作) 的費用。若要查看定價詳細資訊，請參閱 S3 定價頁面。

是。透過 Bedrock 主控台或 API 建立 Bedrock 知識庫時，您可以將現有的 S3 向量索引設定為向量存放區，以節省 RAG 使用案例的向量儲存成本。如果您希望讓 Bedrock 為您建立和管理向量索引，請使用 Bedrock 主控台中的「快速建立」工作流程。此外，您可以將新的 S3 向量索引設定為 Amazon SageMaker Unified Studio 中 RAG 工作流程的向量存放區。

是。可採用兩種方式將 S3 Vectors 與 Amazon OpenSearch Service 搭配使用。首先，S3 客戶可以使用 S3 或 OpenSearch 主控台，將所有向量作為新的無伺服器集合從 S3 向量索引匯出到 OpenSearch Serverless。如果您在 S3 Vectors 上原生建置，則可以受益於能夠選擇性地使用 OpenSearch Serverless 來處理具有即時查詢需求的工作負載。其次，如果您是受管 OpenSearch 客戶，則現在可以選擇 S3 Vectors 作為可以低於 1 秒延遲查詢之向量資料的引擎。然後，OpenSearch 將自動使用 S3 Vectors 作為向量的基礎引擎，並且您可以使用 OpenSearch API 更新和搜尋向量資料。您可以取得 S3 Vectors 的成本效益，而無需對應用程式執行變更。

Amazon S3 Access Points 是端點，這些端點可簡化任何與 S3 搭配使用的應用程式或 AWS 服務的資料存取管理。S3 Access Points 可搭配 S3 儲存貯體和 Amazon FSx for OpenZFS 檔案系統使用。您可以透過建立存取點來控制和簡化不同應用程式或使用者的資料存取方式，這些存取點具有針對每個應用程式或使用者量身打造的名稱和許可。

結合使用 S3 Access Points 和 S3 儲存貯體，您不再需要透過上百個不同許可規則，每個都需要撰寫、閱讀、追踪、稽核，才能管理單一複雜的儲存貯體政策。相反，您可以針對每個儲存貯體建立數百個存取點，每個存取點提供通往儲存貯體的自訂路徑，並有獨特的主機名稱，以及針對透過存取點發出的任何請求強制執行特定許可和網路控制的存取政策。

將 S3 Access Points 與 FSx for OpenZFS 搭配使用，您可以透過 S3 API 存取 FSX 資料，就像資料位於 S3 中一樣。藉助此功能，您可以存取位於 FSx for OpenZFS 中的檔案資料，以便與支援 S3 的各種人工智慧、機器學習和分析服務和應用程式搭配使用，而且檔案資料將繼續存放在 FSx for OpenZFS 檔案系統上。

藉助 S3 存取點，您可以使用 S3 API 存取 Amazon FSx for OpenZFS 中的檔案資料，而無需將資料移至 S3。連接至 FSx for OpenZFS 檔案系統的 S3 存取點的運作方式與連接至 S3 儲存貯體的 S3 存取點的工作方式相似，即透過 S3 提供資料存取，並由存取政策控制存取權，而資料繼續儲存在 FSx for OpenZFS 檔案系統或 S3 儲存貯體中。例如，一旦 S3 存取點連接至 FSx for OpenZFS 檔案系統，客戶就可以將存取點與生成式 AI、機器學習、分析服務和處理 S3 的應用程式搭配使用來存取其 FSx for OpenZFS 資料。

建立目錄儲存貯體後，您可以透過 S3 主控台使用「匯入」選項，從相同 AWS 區域內將資料匯入 S3 Express One Zone 儲存類別。匯入可讓您選擇要從中匯入資料的字首或儲存貯體，簡化複製資料到 S3 目錄儲存貯體，而無需個別指定要複製的所有物件。S3 Batch Operations 會複製所選取字首或一般用途儲存貯體中的物件，您可以透過 S3 Batch Operations 工作詳細資訊頁面監控匯入複製工作的進度。

在至少 3 個月的期間內未請求活動的 S3 目錄儲存貯體將轉換為非作用中狀態。處於非作用中狀態時，目錄儲存貯體暫時無法存取讀取和寫入。非作用中儲存貯體會保留所有儲存、物件中繼資料和儲存貯體中繼資料。現有的儲存費用將適用於非作用中儲存貯體。在對非作用中儲存貯體發出存取請求時，該儲存貯體會在幾分鐘內轉換為作用中狀態。在此過渡期間，讀取和寫入將傳回 503 SlowDown 錯誤代碼。

如果您想要使用 SQL 查詢關於 S3 物件的資訊以快速識別生成式 AI、分析和其他使用案例的特定資料集，則應該使用 Amazon S3 Metadata。S3 Metadata 可以近乎即時地保持中繼資料更新，因此您可以使用任何與 Iceberg 相容的用戶端執行 SQL 查詢，透過物件中繼資料尋找物件。例如，您可以使用 SQL 查詢傳回符合特定篩選條件的物件清單，如過去 30 天內在任何儲存貯體中新增的物件。

S3 Metadata 旨在自動產生中繼資料，提供有關上傳到儲存貯體中的物件的附加資訊，並讓您得以在唯讀資料表中查詢這些中繼資料。這些中繼資料表儲存在 Amazon S3 Tables 中，後者在 Apache Iceberg 上建置，並提供在 S3 內儲存和查詢資料表式資料的受管方式。S3 Metadata 建立和維護系統層級中繼資料，例如物件大小、自訂中繼資料 (例如標籤和物件上傳期間使用者定義的中繼資料) 以及事件中繼資料 (例如傳送請求的 IP 位址)。儲存貯體中的資料出現變更時，S3 Metadata 會近乎即時地更新以反映最新變更。然後，您可以使用與 Iceberg 相容的各種 AWS 分析服務和開放原始碼工具查詢中繼資料表，包括 Amazon Athena、Amazon QuickSight 和 Apache Spark。

只需在 S3 主控台中按幾下即可開始使用 S3 Metadata。只需選取您要在其上啟用 S3 Metadata 的一般用途 S3 儲存貯體，S3 就會分析儲存貯體中的資料，並建置一個完全受管的 Apache Iceberg 資料表，其中包含所有物件的中繼資料。在幾分鐘內，您就可以使用任何支援 Apache Iceberg 的查詢引擎或工具開始查詢中繼資料。

您的 S3 Metadata 資料表會儲存在 AWS 帳戶中名為 aws-s3 的 AWS 受管資料表內。您的資料表將是唯讀的，僅 S3 具有寫入、更新或刪除中繼資料的許可。 

S3 Metadata 將中繼資料儲存在帳戶中的兩個受管資料表內：日誌資料表和即時庫存資料表。 

S3 Metadata 日誌資料表提供儲存貯體內所執行變更的檢視。向您的一般用途 S3 儲存貯體新增、更新和移除物件時，對應的變更將近乎即時地反映在日誌資料表中。日誌資料表有助於了解應用程式的行為以及識別對資料集執行的任何變更非。例如，您可以為日誌資料表編寫 SQL 查詢，以尋找與篩選條件相符的 S3 物件，如過去 30 天內新增的物件、作用中請求者新增的物件或過去一週內存在中繼資料變更的物件。

S3 Metadata 即時庫存資料表包含儲存貯體中所有物件的完整清單。即時庫存資料表每小時更新，並包含 S3 所知的所有物件相關資訊。即時庫存資料表有助於根據物件中繼資料中產生的特性來探索或識別儲存貯體的資料集。例如，您可以使用即時庫存資料表來識別用於機器學習的訓練資料集，將其用於儲存成本最佳化練習，或協助強制執行管控控制。

將新物件新增至儲存貯體時，您會在幾分鐘內看到日誌資料表中的響應項目，而在下一個每小時重新整理時，您將看到即時庫存資料表中的響應項目。在現有儲存貯體上啟用 S3 Metadata 時，S3 將自動啟動回填操作，為所有現存物件產生中繼資料。此回填操作通常會在幾分鐘內完成，但如果您現有的資料集包含數百萬或數十億個 S3 物件，則可能需要幾個小時。

S3 庫存報告可針對 Amazon S3 同步清單 API 提供已排程的替代方案。您可以設定 S3 庫存，針對 S3 儲存貯體或字首，每日或每週提供物件及其對應中繼資料的 CSV、ORC 或 Parquet 檔案輸出。使用 S3 庫存可簡化並加速商業工作流程和大數據任務。您也可以使用 S3 庫存驗證物件的加密和複寫狀態，以滿足商業、合規和法規需求。 進一步了解 Amazon S3 庫存使用者指南。

S3 Tables 提供專用 S3 儲存，用於以 Apache Parquet、Avro 和 ORC 格式儲存結構化資料。在資料表儲存貯體中，您可以直接在 S3 中建立資料表作為一級資源。這些資料表可以使用以身分或資源為基礎的政策中定義的資料表層級許可來進行保護，並且可以透過支援 Apache Iceberg 標準的應用程式或工具來存取。當您在資料表儲存貯體中建立資料表時，S3 中的基礎資料會儲存為 Parquet、Avro 或 ORC 檔案。然後，S3 會使用 Apache Iceberg 標準來儲存所需的中繼資料，以便您的應用程式可查詢該資料。S3 Tables 包括用戶端資料庫，而查詢引擎會使用該資料庫來導覽和更新資料表儲存貯體中資料表的 Iceberg 中繼資料。此程式庫與用於資料表操作的更新的 S3 API 結合，可讓多個用戶端安全地讀取和寫入資料表。隨著時間的推移，S3 會透過重寫或「壓縮」物件來自動最佳化基礎 Parquet、Avro 或 ORC 資料。壓縮可最佳化 S3 上的資料，以提高查詢效能。

只需幾個簡單步驟即可開始使用 S3 Tables，而無需在 S3 以外建立任何基礎設施。首先，在 S3 主控台中建立資料表儲存貯體。作為透過主控台建立第一個資料表儲存貯體的環節，與 AWS Analytics 服務的整合會自動進行，這就使 S3 能夠將帳戶和區域中的所有資料表儲存貯體和資料表自動填入 AWS Glue Data Catalog。之後，各種 AWS 查詢引擎 (例如 Amazon Athena、EMR 和 Redshift) 目前就可以存取 S3 Tables。接下來，您可以按一下以從 S3 主控台使用 Amazon Athena 建立資料表。位於 Athena 中之後，您可以快速開始填入新資料表並查詢它們。

或者，您也可以透過 AWS Glue Data Catalog 使用 Iceberg REST Catalog 端點來存取 S3 Tables，這可讓您探索整個資料資產，包括所有資料表資源。您也可以直接連線至個別資料表儲存貯體端點，以探索該儲存貯體內的所有 S3 Tables 資源。這可讓您與支援 Apache Iceberg REST Catalog 規格的任何應用程式或查詢引擎一起使用 S3 Tables。

與在一般用途 Amazon S3 儲存貯體中儲存 Iceberg 資料表相比，查詢效能提高 3 倍，每秒交易量 (TPS) 提高 10 倍。這是因為資料表儲存貯體會自動壓縮資料表的基礎 Parquet、Avro 或 ORC 資料，以最佳化查詢效能，而且專門建置的儲存空間預設支援高達 10 倍的 TPS。

資料表儲存貯體可讓您將資源政策套用至整個儲存貯體或單個資料表。可以使用 PutTablePolicy 和 PutTableBucketPolicy API 來套用資料表儲存貯體政策。資料表層級政策可讓您根據與之關聯的邏輯資料表來管理資料表儲存貯體中的資料表許可，而不必了解個別 Parquet、Avro 或 ORC 檔案的實體位置。此外，S3 封鎖公開存取始終會套用到您的資料表儲存貯體。

資料表儲存貯體支援具有 Parquet、Avro 或 ORC 資料的 Apache Iceberg 資料表格式。