[SEO 副标题]
本指导将展示大型企业客户如何高效地识别和管理分布在多个 AWS 账户中的重复数据集。它可以帮助这些用户搜索和定位相同或极其相似的数据表，从而识别冗余的数据资产。这样，采购团队就能够轻松地访问全面、可搜索的数据清单，从而避免无谓地多次购买相同的数据集。通过这些功能，本指导可帮助各个组织优化他们的数据管理实践，并通过消除重复的数据节省成本。
请注意：[免责声明]
架构图
[架构图描述]
步骤 1
每个提供数据的客户账户（账户 A、B 和 C）在 AWS Glue Data Catalog 中必须至少有一个表在使用 AWS Glue 爬网程序或手动流程。
Well-Architected 支柱
当您在云中构建系统时，AWS Well-Architected Framework 可以帮助您了解所做决策的利弊。框架的六大支柱使您能够学习设计和操作可靠、安全、高效、经济高效且可持续的系统的架构最佳实践。使用 AWS 管理控制台中免费提供的 AWS Well-Architected Tool，您可以通过回答每个支柱的一组问题，根据这些最佳实践来检查您的工作负载。
上面的架构图是按照 Well-Architected 最佳实践创建的解决方案示例。要做到完全的良好架构，您应该遵循尽可能多的 Well-Architected 最佳实践。
-
卓越运营阅读《卓越运营》白皮书
本指导旨在实现完全无服务器化，以减少与维护基础设施相关的运营开销和降低复杂性。此外，使用 Lambda、OpenSearch 和其他托管式服务，系统可以自动扩展，而无需手动干预。此外，本指导还概述了一种用于处理数据更新和变更的系统化方法，以及一个有助于执行自动化、定期和事件驱动型更新的系统化用户扩充构建块。
-
安全性阅读《安全性》白皮书
本指导只向列入允许列表的用户、角色或主体授予权限，以限制对存储在 OpenSearch 中的数据的访问。此外，本指导还为管理用户和远程用户定义了访问控制和授权机制。这包括指定不同的用户角色访问系统各个组件并与之交互时所需的适当权限和特权。例如，可以向管理用户授予对本指导的配置和管理的完全控制权限，并限制远程用户只拥有只读访问权限或者只能使用特定的数据查询功能。
-
可靠性阅读《可靠性》白皮书
本指导中的无服务器架构具有自动扩展资源和自我修复的固有能力，因此提高了系统的整体可靠性。此外，通过使用 Amazon SQS 管理数据更新和变更，有助于确保消息的持久性和交付。另外，本指导还提供了逐步添加新的 AWS 账户和区域的能力，以支持整个系统的可扩展性和容错能力。
-
性能效率阅读《性能效率》白皮书
通过使用完全托管式服务 OpenSearch 以及采用向量数据库，有助于确保实现本指导中的高效查询性能和数据检索功能。此外，本指导还使用 K 均值聚类对相似的数据表进行分组，这样可以提高相似度搜索的性能。
使用本指导中的无服务器架构以及 Lambda 和 Amazon SageMaker 等托管式服务，有助于优化资源利用率和减少对于手动调整性能的需求。
-
成本优化阅读《成本优化》白皮书
本指导中的无服务器架构及其即用即付定价模式可以帮助降低系统的总体运行成本，因为只在需要时消耗资源。此外，使用 OpenSearch 和 SageMaker 等托管式服务，可以帮助各个组织避免与管理和维护底层基础设施相关的开销。
-
可持续性阅读《可持续性》白皮书
通过调整了大小并能够避免过度空闲的瞬态资源，本指导最大限度地减少了能耗和硬件浪费。例如，只在需要时按需调用 Lambda 函数，而不是提前预置即使在未使用时也持续运行的服务器。为每个函数单独配置了完成它们的指定任务所需的最佳内存量和 CPU 容量，因此避免了资源过度预置。通过在工作负载到达时动态分配适当的计算能力，并在使用之后终止这些资源，Lambda 消除了空闲服务器的资源浪费。
免责声明
示例代码；软件库；命令行工具；概念验证；模板；或其他相关技术（包括由我方人员提供的任何前述项）作为 AWS 内容按照《AWS 客户协议》或您与 AWS 之间的相关书面协议（以适用者为准）向您提供。您不应将这些 AWS 内容用在您的生产账户中，或用于生产或其他关键数据。您负责根据特定质量控制规程和标准测试、保护和优化 AWS 内容，例如示例代码，以使其适合生产级应用。部署 AWS 内容可能会因创建或使用 AWS 可收费资源（例如，运行 Amazon EC2 实例或使用 Amazon S3 存储）而产生 AWS 费用。
本指南中提及第三方服务或组织并不意味着 Amazon 或 AWS 与第三方之间存在认可、赞助或从属关系。AWS 的指导是一个技术起点，您可以在部署架构时自定义与第三方服务的集成。