本指南将演示如何在不创建代码或不管理服务器的情况下构建数据管道,以便能够轻松、快速地为中小型企业部署数据湖。通过使用无服务器 AWS 服务,您可以立即开始在 AWS 上使用分析服务,而无需面临较高的进入门槛或需要内部专业知识。
请注意:[免责声明]
Well-Architected 支柱

当您在云中构建系统时,AWS Well-Architected Framework 可以帮助您了解所做决策的利弊。框架的六大支柱使您能够学习设计和操作可靠、安全、高效、经济高效且可持续的系统的架构最佳实践。使用 AWS 管理控制台中免费提供的 AWS Well-Architected Tool,您可以通过回答每个支柱的一组问题,根据这些最佳实践来检查您的工作负载。
上面的架构图是按照 Well-Architected 最佳实践创建的解决方案示例。要做到完全的良好架构,您应该遵循尽可能多的 Well-Architected 最佳实践。
-
卓越运营
本指南使用各种 AWS 服务来处理千篇一律的繁重工作,从而将第三方数据来源集成到您的 AWS 账户。Amazon AppFlow 可帮助您在您的 Salesforce 服务和 AWS 之间安全地传输数据,而 AWS Glue 可帮助您完全以自动化的方式从外部来源准备数据,从而更轻松地使用 Athena 进行查询。
-
安全性
本指南使用完全托管的服务来帮助保护关联的第三方数据来源,这样您就不必管理建立安全 API 集成所用的底层数据连接器。默认情况下,Amazon S3 使用托管加密密钥对您的静态数据进行加密,而 Amazon AppFlow 会管理关联的数据来源的安全证书。
-
可靠性
本指南可帮助您可靠地扩展数据工作负载,而无需管理基础设施。例如,Amazon S3 具有高度可扩展性并提供持久的数据存储。Amazon AppFlow 可帮助您验证数据、安全地连接到数据来源,并监控数据流以快速解决问题。而且,数据目录仅提供集成数据所需的资源。
-
性能效率
本指南演示了如何使用 Amazon AppFlow 实现系统间双向数据流自动化,只需点击几下即可轻松建立和扩展数据集成。数据工作流程可轻松扩展,且仅在需要时运行。
-
成本优化
本指南使用 Amazon AppFlow,该工具会依据您根据业务目标设置的时间表自动预置和运行数据工作流程,从而帮助您降低成本。本指南还使用完全托管且无服务器的 AWS Glue,因此您只需为消耗的资源付费。此外,Amazon S3 还允许您将数据存档到存储层以降低成本。Amazon S3 Intelligent-Tiering 存储类可根据访问模式自动节省成本,而且不会影响性能。
-
可持续性
本指南使用 Amazon AppFlow 和 AWS Glue,它们使用无服务器架构来共享底层基础设施并减少不必要的操作。您可以安排它们自动运行,并且通过将 Amazon AppFlow 数据工作流程计划与自动 AWS Glue 爬网程序结合使用,您仅在需要时消耗资源,使它们不会在空闲时间运行。这有助于减少预置基础设施对环境的影响。
实施资源

提供了在 AWS 账户中进行实验和使用的详细指南。构建指南的每个阶段(包括部署、使用和清理)都将被检查,以便为部署做好准备。
示例代码为起点。它经过行业验证,是规范性但不是决定性的,可以帮助您开始。
相关内容

Reinventing Small and Medium Businesses with Better Data Insights
免责声明
示例代码;软件库;命令行工具;概念验证;模板;或其他相关技术(包括由我方人员提供的任何前述项)作为 AWS 内容按照《AWS 客户协议》或您与 AWS 之间的相关书面协议(以适用者为准)向您提供。您不应将这些 AWS 内容用在您的生产账户中,或用于生产或其他关键数据。您负责根据特定质量控制规程和标准测试、保护和优化 AWS 内容,例如示例代码,以使其适合生产级应用。部署 AWS 内容可能会因创建或使用 AWS 可收费资源(例如,运行 Amazon EC2 实例或使用 Amazon S3 存储)而产生 AWS 费用。