选择 AWS 分析服务

确定数据处理要求，以了解如何摄取、转换、清理和准备分析数据。关键考虑因素包括：

• 数据转换：确定使原始数据适合分析所需的特定转换。这涉及诸如数据聚合、标准化、筛选和丰富之类的任务。
• 数据清理：评测数据质量并定义处理数据缺失、不准确或不一致的流程。实施数据清理技术，确保高质量的数据以获得可靠的见解。
• 处理频率：根据分析需求确定是需要实时、近实时还是批处理。实时处理可以立即获得见解。如需进行定期分析，只需使用批处理即可。
• 可扩展性和吞吐量：评估处理数据量、处理速度和并发数据请求数量的可扩展性要求。确保所选的处理方法能够满足未来增长的需求。
• 延迟：考虑数据处理的可接受延迟以及从数据摄取到分析结果所花费的时间。这对于实时分析或时间敏感型分析尤其重要。

通过确定数据在整个分析管道中的存储方式和位置来确定存储需求。重要考虑因素包括：

• 数据量：评测生成和收集的数据量，并估计未来的数据增长以规划足够的存储容量。
• 数据留存：定义出于历史分析或合规性目的，应保留数据的期限。确定适当的数据留存策略。
• 数据访问模式：了解如何访问和查询数据，以选择最合适的存储解决方案。考虑读写操作、数据访问频率和数据位置。
• 数据安全：通过评估保护敏感信息的加密选项、访问控制和数据保护机制，优先考虑数据安全。
• 成本优化：根据数据访问模式和使用情况选择最具成本效益的存储解决方案，从而优化存储成本。
• 与分析服务集成：确保所选存储解决方案与正在开发的数据处理和分析工具无缝集成。

在决定使用分析服务来收集和摄取数据时，请考虑与组织的需求和目标相关的各种数据类型。您可能需要考虑的常见数据类型包括：

• 交易数据：包括有关个人互动或交易的信息，例如客户购买、金融交易、在线订单和用户活动日志。
• 基于文件的数据：指存储在文件中的结构化或非结构化数据，例如日志文件、电子表格、文档、图像、音频文件和视频文件。分析服务应支持摄取不同文件格式
• 事件数据：捕获重大情况或事件，例如用户操作、系统事件、计算机事件或业务事件。事件可以包括为进行上游或下游处理而捕获的高速到达的任何数据。

运营责任由您和 AWS 共同承担，不同现代化级别的责任分工各不相同。您可以选择在 AWS 上自行管理您的分析基础设施，也可以利用众多的无服务器分析服务来减轻基础设施管理负担。

用户可以通过自行管理选项更好地控制基础设施和配置，但这些选项所需的运营工作量更大。

无服务器选项可以消除大部分运营负担，并且提供自动可扩展性、高可用性和强大的安全功能，使用户更加专注于构建分析解决方案和推动见解，而不是将精力投入在管理基础设施和运营任务上。考虑无服务器分析解决方案的以下好处：

• 基础设施抽象化：无服务器服务将基础设施管理抽象化，使用户无需执行预置、扩展和维护任务。AWS 将处理这些运营工作，从而减少管理开销。
• 自动扩缩和性能：无服务器服务会根据工作负载需求自动扩展资源，无需人工干预即可确保最佳性能。
• 高可用性和灾难恢复：AWS 为无服务器服务提供高可用性。AWS 可管理数据冗余、复制和灾难恢复，以增强数据的可用性和可靠性。
• 安全性与合规性：AWS 遵循行业标准和最佳实践，管理无服务器服务的安全措施、数据加密和合规性。
• 监控和记录：AWS 为无服务器服务提供内置的监控、日志和警报功能。用户可以通过 AWS CloudWatch 访问详细的指标和日志。

批量工作负载

• 数据量和频率：批处理适用于定期更新的大量数据。
• 数据延迟：与实时处理相比，批处理在提供见解时可能会出现一些延迟。

交互式分析

• 数据查询的复杂性：交互式分析需要低延迟响应以快速提供反馈。
• 数据可视化：评估对交互式数据可视化工具的需求，使业务用户能够直观地探索数据。

流式传输工作负载

• 数据速度和数据量：流式传输工作负载需要实时处理以便处理高速数据。
• 数据窗口：为流式数据定义数据窗口和基于时间的聚合，以提取相关见解。

明确定义业务目标和您要从分析中获得的见解。不同类型的分析有不同的用途。例如：

• 描述性分析是获得历史概述的理想选择
• 诊断分析有助于了解过去事件背后的原因
• 预测性分析可以预测未来结果
• 规范性分析可以为最佳行动提供建议

将您的业务目标与相关的分析类型相匹配。以下是一些关键决策标准，可帮助您选择正确的分析类型：

• 数据可用性和质量：描述性和诊断性分析依赖于历史数据，而预测和规范性分析则需要足够的历史数据和高质量数据来构建准确的模型。
• 数据量和复杂性：预测性和规范性分析需要大量的数据处理和计算资源。请确保您的基础设施和工具能够处理大量复杂数据。
• 决策复杂性：如果决策涉及多个变量、约束条件和目标，则规范性分析可能更适合指导最佳行动。
  
• 风险承受能力：规范性分析可以提供建议，但存在相关的不确定性。请确保决策者了解与分析结果相关的风险。

评测架构的可扩展性和性能需求。设计必须处理不断增长的数据量、用户需求和分析工作负载。需要考虑的关键决策因素包括：

• 数据量和增长：评测当前的数据量并预测未来的增长。 
• 数据速度和实时要求：确定是否需要实时或近实时地处理和分析数据。
• 数据处理复杂性：分析数据处理和分析任务的复杂性。对于计算密集型任务，Amazon EMR 等服务可以为大数据处理提供可扩展的托管环境。
• 并发性和用户负载：考虑系统上的并发用户数量和用户负载水平。 
• 自动扩缩功能：考虑提供自动扩缩功能的服务，允许资源根据需求自动纵向扩展或缩减。这可以确保高效的资源利用率和成本优化。
• 地理分布：如果您的数据架构需要分布在多个区域或地点，请考虑具有全球复制和低延迟数据访问功能的服务。
• 性价比权衡：在性能需求和成本考虑之间取得平衡。高性能服务的成本可能更高。
  
• 服务水平协议（SLA）：查看 AWS 服务提供的 SLA，确保它们符合您的可扩展性和性能预期。

数据治理是为确保数据资产的有效管理、质量、安全性和合规性而需要实施的一系列流程、策略和控制措施。需要考虑的关键决策点包括：

• 数据留存策略：根据监管要求和业务需求定义数据留存策略，并建立安全处置不再需要的数据的流程。
  
• 审计跟踪记录和日志记录：确定用于监控数据访问和使用情况的记录和审计机制。实施全面的审计跟踪记录，以跟踪数据更改、访问尝试和用户活动，从而监控合规性与安全性。
• 合规性要求：了解适用于贵组织的行业特定和地理数据合规性法规。确保数据架构符合这些法规和准则。
• 数据分类：根据数据的敏感度对数据进行分类，并为每个数据类别定义适当的安全控制措施。 
  
• 灾难恢复和业务连续性：制定灾难恢复和业务连续性计划，以确保在发生意外事件或系统故障时保证数据可用性和弹性。
• 第三方数据共享：如果与第三方实体共享数据，请实施安全的数据共享协议和协议，以保护数据机密性并防止数据滥用。

分析管道中数据的安全性涉及在管道的每个阶段保护数据，以确保其机密性、完整性和可用性。需要考虑的关键决策点包括：

• 访问控制和授权：实施强大的身份验证和授权协议，确保只有经过授权的用户才能访问特定数据资源。
• 数据加密：为存储在数据库、数据湖中的数据以及在架构的不同组件之间移动的数据选择适当的加密方法。
• 数据掩蔽和匿名化：考虑是否需要进行数据掩蔽或匿名化，以保护敏感数据（例如 PII 或敏感业务数据），同时使某些分析过程能够继续进行。
• 安全数据集成：建立安全的数据集成实践，确保数据在架构的不同组件之间安全流动，避免在数据移动期间发生数据泄露或未经授权的访问。
• 网络隔离：考虑支持 AWS VPC 端点的服务，以避免将资源暴露在公共互联网中。

定义分析管道各个组件之间的集成点和数据流，以确保无缝的数据流和互操作性。需要考虑的关键决策点包括：

• 数据来源集成：确定要从中收集数据的数据来源，例如数据库、应用程序、文件或外部 API。确定数据摄取方法（批量、实时、基于事件），以便以最小的延迟高效地将数据引入管道。
• 数据转换：确定准备数据以供分析所需的转换。确定在数据流经管道时对其进行清理、聚合、标准化或丰富的工具和流程。
• 数据移动架构：为在管道组件之间移动的数据选择合适的架构。根据实时要求和数据量，考虑批处理、流处理或两者的组合。
• 数据复制和同步：确定数据复制和同步机制，以使所有组件的数据都保持最新状态。根据数据新鲜度要求，考虑实时复制解决方案或定期数据同步。
  
• 数据质量和验证：实施数据质量检查和验证步骤，确保数据在流经管道时的完整性。确定要在数据未通过验证时执行的操作，例如发送警报或处理错误。
• 数据安全性和加密：确定如何保护传输中数据和静态数据的安全。根据数据敏感度考虑所需的安全级别，确定保护整个管道中的敏感数据的加密方法。
• 可扩展性和弹性：确保数据流设计允许横向扩展并能够处理增加的数据量和流量。

在 AWS 上构建分析渠道可提供各种成本优化机会。为确保成本效率，请考虑以下策略：

• 资源大小调整和选择：根据实际工作负载要求调整资源大小。选择与工作负载性能需求相匹配的 AWS 服务和实例类型，同时避免过度预置。
• 自动扩缩：为具有不同工作负载的服务实施自动扩缩。自动扩缩可根据需求动态调整实例数量，从而在低流量时期降低成本。
• 竞价型实例：将 AWS EC2 竞价型实例用于非关键容错型工作负载。与按需型实例相比，竞价型实例可以显著降低成本。
• 预留实例：考虑购买 AWS 预留实例，与按需定价相比，可以为使用量可预测的稳定工作负载节省大量成本。
• 数据存储分层：根据数据访问频率使用不同的存储类别，从而优化数据存储成本。
• 数据生命周期策略：设置数据生命周期策略，根据数据的使用年限和使用模式自动移动或删除数据。这有助于管理存储成本并使数据存储与其价值保持一致。