网络性能管理公司 NETSCOUT 如何利用 Amazon OpenSearch Service 实现全球 DDoS 感知

本文与 NETSCOUT 的威胁与防范产品助理副总裁 Hardik Modi 共同撰写。

NETSCOUT Omnis Threat Horizon 是一个全球网络安全意识平台，它为用户提供高度情境化的监控能力，了解全球 DDoS（Distributed Denial of Service，分布式拒绝服务）领域的“超视界”威胁活动，这些威胁可能会影响他们的行业、客户或供应商。该平台允许访问者创建自定义配置文件，并通过 NETSCOUT 的 ATLAS 监控平台，近实时地了解观察到 DDoS 活动。用户可以创建免费账户来创建自定义配置文件，从而实现基于地图的可视化（如以下屏幕截图所示）以及量身定制的总结报告。DDoS 攻击会对通过互联网提供的服务产生影响。对于想了解威胁形势的具体情况的任何人，对这种性质的洞察能力都非常关键。自 2019 年 8 月以来，Omnis Threat Horizon 已正式发布。

为了以较低的每用户成本（以实现免费服务）提供持续的监控能力，NETSCOUT 开发团队选择了一系列 AWS 技术来支持收集、存储、分析、数据仓库存储、用户身份验证和应用程序交付。具体而言，他们选择了 Amazon OpenSearch Service 作为核心分析引擎。他们将所有处理过的攻击记录存储在 OpenSearch Service 中。

这篇文章讨论了 NETSCOUT 在发展中面临的挑战以及设计模式，使其能够近实时地呈现每年大约 1000 万次 DDoS 攻击的细节。

背景

NETSCOUT 通过其 Arbor 产品线，长期为服务提供商和企业提供网络监控能力以及 DDoS 防范解决方案。自 2007 年以来，NETSCOUT 运作了一个名为 ATLAS 的计划，客户可以通过该计划，选择分享在自身网络上观察到的 DDoS 攻击的匿名数据。随着该计划的发展成熟，NETSCOUT 可以全面了解 DDoS 攻击形势，包括攻击的数量和性质。这种监控能力为他们提供信息和改进产品，使他们能够以论文、博客文章和半年期威胁报告的形式分享分析结果。自从 NETSCOUT 于 2012 年 9 月开始以当前形式收集和分析数据以来，他们观察到了 9600 万次攻击，这使他们能够跨地区和垂直领域进行大规模的趋势分析，以及了解所使用的媒介和攻击规模。

Omnis Threat Horizon 是一种向更广泛受众展示这些信息的解决方案，这可以是对威胁形势感兴趣的任何人，尤其是任意特定时间内的 DDoS 攻击趋势。除了提供实时地图外，该解决方案还允许用户回顾过去，直观地观察给定时间出现的情况。

他们希望确保，在展示实时数据和显示历史信息方面，其可视化元素和应用程序能够提供全球响应能力。此外，他们希望尽可能降低每位用户的增量成本，以便在全球范围内免费提供这项服务。

解决方案概览

下图展示了该解决方案的架构。

所选解决方案背后的目标之一是，尽可能在所有实例中使用原生 AWS 服务。此外，他们选择将组件功能拆分为自己的微服务，并在解决方案持续使用这些服务。

单个监控传感器每个小时向 Amazon Simple Storage Service（Amazon S3）传输数据。收到新条目后，将发送 Amazon Simple Notification Service（Amazon SNS）通知，从而处理数据。后续的微服务负责：

• 解析
• 运行算法来识别和分离虚假条目
• 重复数据删除
• 评分
• 置信度

此处理完毕后，每次攻击都会在 OpenSearch Service 域中以单独的文档呈现。截止撰写本文时，NETSCOUT 的集群中有大约 9600 万次攻击，所有这些攻击都以某种形式出现在 Omnis Threat Horizon 的地图和报告中。

数据以每小时的二进制文件形式组织，并通过 Amazon CloudFront 提供给应用程序。

与 Elasticsearch 相关的经验教训

在以前的项目中，NETSCOUT 尝试了流行的 NoSQL 开源数据库 Apache Cassandra，并认为它不足以完成聚合查询。在开发 Horizon 时，他们选择 Elasticsearch 是为了在显著减少开发人员用时的情况下，获得更强大的聚合查询功能。

他们最初使用自行管理的实例，但遇到了以下问题：

• 仅仅管理基础设施就要花费大量的人力物力
• 每次版本升级都是一个复杂的过程，需要大量的规划，并且一直会带来技术挑战
• 没有自动扩展和大型聚合查询功能可能会破坏 Elasticsearch

在经历了几轮努力之后，他们转而采用 OpenSearch Service 来克服这些挑战。

成果

NETSCOUT 通过此架构获得了下列好处：

• 快速处理攻击数据 – 在收到攻击数据后，只需几秒钟此信息便在数据存储中提供，这使他们能够在解决方案中提供近实时监控能力。
• 减少管理开销 – 数据存储持续增长，使用托管服务，团队无需执行与集群管理相关的任务。在以前采用的涉及相同技术的解决方案中，这是一个很大的痛点。
• 可扩展架构 – 可在出现需求时向管道中添加新功能，无需重新架构其他组件。

小结

借助 OpenSearch Service，NETSCOUT 得以为他们捕获的攻击数据建立弹性数据存储。得益于所选择的架构以及底层 AWS 服务，他们能够以较小的递增成本公开其数据，从而使他们能够免费为全球最终用户提供监控平台。

AWS 不仅具备最丰富的经验，还拥有最可靠、最具可扩展性和最安全的云，以及最全面的服务和解决方案，是发掘数据价值并将其转化为洞察的最佳场所。

关于作者

Hardik Modi 是 NETSCOUT 的威胁与防范产品助理副总裁。在此职位上，他带领负责防范产品以及为 NETSCOUT 产品创建安全内容的团队，为用户提供一流的保护，并在 DDoS 和入侵领域持续提供和发布有影响力的研究。

Sujatha Kuppuraju 是 Amazon Web Services（AWS）的首席解决方案架构师。她与客户合作打造创新解决方案，解决客户的业务问题并推动 AWS 服务的采用。

Mike Arruda 是新英格兰地区分公司的高级技术客户经理。他与 AWS 企业客户合作，支持他们成功采用最佳实践，并帮助他们通过 AWS 实现预期的业务成果。