本指引使用 OpenSearch Service 可观测性连接器来自动收集 Apache Spark 日志和指标，然后通过 OpenSearch Ingestion 管道对其进行转换，这些管道极具可配置性并能够根据您的需求进行改进。OpenSearch Service 提供了强大的搜索功能，内置的 OpenSearch 控制面板提高了可观测性，并提供了视觉效果，可缩短获得洞察的时间并帮助进行故障排除。

AWS 身份和访问管理 (IAM) 允许您控制对管道和 OpenSearch 索引的访问权限。您可以使用 IAM 策略确保在当前 Apache Spark 应用程序的安全边界内收集指标和日志。您可以使用专用的管理角色、管道角色和摄取角色实施最低权限原则。此外，本指南使用亚马逊虚拟私有云（亚马逊 VPC）与 OpenSearch 进行通信以实现适当的网络流量隔离，并在数据存储到 Op en Search 之前使用 AWS KMS 对数据进行加密。

OpenSearch Service 可观测性连接器收集日志和指标，并将它们发送到 OpenSearch Ingestion 管道，这些管道会随着新日志和指标的生成而自动横向缩减和扩展。这样可以限制意外活动高峰对 OpenSearch Service 集群性能和稳定性产生的影响。此外，可观测性连接器的缓冲和采样功能可以帮助您进一步减小潜在的摄取后端压力。为了保持高可用性并提高可靠性，您可以允许在 OpenSearch Service 集群上执行多可用区（AZ）部署，此集群随后将跨可用区分配 Ingestion OpenSearch 计算单位（Ingestion OCU）。

使用 OpenSearch Service，您可以为 OpenSearch Ingestion 管道指定最小和最大 Ingestion OCU，它将根据管道的处理要求和客户端应用程序生成的负载自动进行纵向扩展和缩减。可观测性连接器与原生 Apache Spark 低级别插件接口集成在一起，以收集数据，同时限制 Apache Spark 作业的性能开销。此外，内置的自定义 Apache Spark 指标和日志收集器实施 API 消耗最佳实践，例如缓冲和指数回退，以便最大限度地减少对 Apache Spark 应用程序产生的影响。

OpenSearch Service 可观测性连接器会预先聚合某些指标，以减少后期处理和摄取的数量，从而优化所生成的指标和日志数量。这样就降低了过度消耗 Ingestion OCU 的风险。随后，OpenSearch Ingestion 管道利用动态扩展确保您不会由于处于不活动状态而产生费用；相反，您只需为管道的有效使用付费。您也可以根据需要启动和停止管道。OpenSearch 域也可以使用 UltraWarm 节点降低不经常访问的索引的成本。此外，本指引还减少了对于定制组件的需求，这样有助于进一步优化总拥有成本。

OpenSearch Ingestion 管道是原生无服务器管道，可以为数据摄取和转换提供弹性，从而最大限度地减少后端服务对环境产生的影响。本指南还支持预置集群和无服务器集合，您可以使用 OpenSearch 无服务器集合来进一步优化可持续性。此外，您还可以使用 OpenSearch 控制面板提供的洞察优化您的 Apache Spark 工作负载，并减少整体环境影响。