跳至主要内容

AWS 解决方案库

有关如何在 AWS 上消除联合数据的指导

概览

本指导将展示大型企业客户如何高效地识别和管理分布在多个 AWS 账户中的重复数据集。它可以帮助这些用户搜索和定位相同或极其相似的数据表,从而识别冗余的数据资产。这样,采购团队就能够轻松地访问全面、可搜索的数据清单,从而避免无谓地多次购买相同的数据集。通过这些功能,本指导可帮助各个组织优化他们的数据管理实践,并通过消除重复的数据节省成本。

工作原理

此架构图显示如何获取 AWS 组织内多个 AWS 账户中相似表格的汇总视图。

自信地进行部署

为部署做好准备了吗? 查看 GitHub 上的示例代码,了解详细的部署说明,以根据需要按原样部署或进行自定义部署。 

访问示例代码

Well-Architected 支柱

上面的架构图是按照 Well-Architected 最佳实践创建的解决方案示例。要做到完全的良好架构,您应该遵循尽可能多的 Well-Architected 最佳实践。

本指导旨在实现完全无服务器化,以减少与维护基础设施相关的运营开销和降低复杂性。此外,使用 Lambda OpenSearch 和其他托管服务允许系统自动扩展,无需手动干预。此外,本指导还概述了一种用于处理数据更新和变更的系统化方法,以及一个有助于执行自动化、定期和事件驱动型更新的系统化用户扩充构建块。

阅读“卓越运营”白皮书

本指南仅向列入许可名单的用户、角色或委托人授予权限,从而限制了对存储在 OpenSearch 中的数据的访问。此外,本指导还为管理用户和远程用户定义了访问控制和授权机制。这包括指定不同的用户角色访问系统各个组件并与之交互时所需的适当权限和特权。例如,可以向管理用户授予对本指导的配置和管理的完全控制权限,并限制远程用户只拥有只读访问权限或者只能使用特定的数据查询功能。

阅读《安全性》白皮书

本指导中的无服务器架构具有自动扩展资源和自我修复的固有能力,因此提高了系统的整体可靠性。此外,使用 Amazon SQS 管理数据更新和更改有助于确保消息的耐久性和交付。另外,本指导还提供了逐步添加新的 AWS 账户和区域的能力,以支持整个系统的可扩展性和容错能力。

阅读《可靠性》白皮书

使用完全托管的服务 OpenSearch 以及矢量数据库的采用有助于确保本指南中高效的查询性能和数据检索能力。此外,本指导还使用 K 均值聚类对相似的数据表进行分组,这样可以提高相似度搜索的性能。

本指南的无服务器架构,加上 Lambda Amazon SageMaker 等托管服务的使用,有助于优化资源利用率并减少手动性能调整的需求。

阅读《性能效率》白皮书

本指导中的无服务器架构及其即用即付定价模式可以帮助降低系统的总体运行成本,因为只在需要时消耗资源。此外,使用托管服务,例如 OpenSear ch和 SageMaker,可以帮助组织避免与管理和维护底层基础设施相关的开销。

阅读《成本优化》白皮书

通过调整了大小并能够避免过度空闲的瞬态资源,本指导最大限度地减少了能耗和硬件浪费。例如,Lambda 函数不是在未使用时也能持续运行的预置服务器,而是仅在需要时按需调用 Lambda 函数。为每个函数单独配置了完成它们的指定任务所需的最佳内存量和 CPU 容量,因此避免了资源过度预置。通过在工作负载到达时动态分配恰当的计算能力,并在使用后终止这些资源,Lambda 消除了空闲服务器的资源浪费。

阅读《可持续性》白皮书

免责声明

示例代码;软件库;命令行工具;概念验证;模板;或其他相关技术(包括由我方人员提供的任何前述项)作为 AWS 内容按照《AWS 客户协议》或您与 AWS 之间的相关书面协议(以适用者为准)向您提供。您不应将这些 AWS 内容用在您的生产账户中,或用于生产或其他关键数据。您负责根据特定质量控制规程和标准测试、保护和优化 AWS 内容,例如示例代码,以使其适合生产级应用。部署 AWS 内容可能会因创建或使用 AWS 可收费资源(例如,运行 Amazon EC2 实例或使用 Amazon S3 存储)而产生 AWS 费用。

找到今天要查找的内容了吗?

请提供您的意见,以便我们改进网页内容的质量