跳至主要内容
2025 年

通过在 Amazon EKS 上处理一万多个 Spark 作业,Securonix 节省了 30% 的成本

了解网络安全提供商 Securonix 如何在 Amazon EKS 上进行现代化改造,以便增强他们的数据处理基础设施。

优势

50%
将作业失败后的恢复时间缩短了
30%
通过现代化改造,将成本降低了
16 倍
将代码部署速度提高到
99.99% 的可用性
实现了

概述

Securonix 曾经五次当选 Gartner 安全信息和事件管理(SIEM)魔力象限的领导者,致力于为《财富》500 强公司和全球领先的企业提供近乎实时的网络安全威胁检测和响应解决方案。作为 Amazon Web Services(AWS)的一个长期客户,Securonix 的基础设施实现了有机增长。该公司志在实现卓越运营,在这一承诺的激励下,他们的团队探索了一些新的方法来建立数据处理骨干网络。Securonix 与 AWS 团队密切合作,使用 Amazon Elastic Kubernetes Service(Amazon EKS)并采用了一种多租户方法,成功完成了架构转换。使用 Amazon EKS 这项完全托管式 Kubernetes 服务,用户可以在 AWS 上和本地数据中心中无缝运行 Kubernetes。使用基于 KarpenterAWS GravitonAmazon Elastic Compute Cloud(Amazon EC2)实例,该公司进一步降低了成本并加快了部署速度。这些实例由 AWS 量身定制的 AWS Graviton 服务器处理器提供支持。此外,该公司不仅完成了所有这些工作,还保持了客户依赖的高可用性。

关于 Securonix

Securonix 提供了一个管理平台,可以为现代的大数据和高级网络威胁提供下一代的安全分析和运营。

机会 | Securonix 使用 Amazon EKS 改进数据处理

Securonix 提供了一款基于云的 SIEM 解决方案,可持续处理数 TB 的数据,以便帮助各个组织检测内部威胁和安全问题。随着 Securonix 客户群和数据量的增大,该公司发现了一个机会,可以对自己的 Apache Spark 工作负载基础设施进行现代化改造,以便满足客户的需求,同时优化运营效率、可扩展性和成本。

该公司的 DevOps 团队探索了多种选项,最终确定 Amazon EKS 解决方案可以为他们的容器化工作负载提供必要的灵活性。Amazon EKS 会自动管理集群基础设施,并处理从容器调度到动态扩展和计算优化的各种事宜。这项服务使用 AWS 企业级基础设施,并与 AWS 网络服务、安全服务和存储服务进行原生集成。

“我们的软件必须满足一个关键要求,那就是高可用性,此外,随着工作负载的增加,它还必须能够进行扩展,”Securonix 工程生产力高级总监 Tanuj Jain 表示。“除了优化成本以外,这些要求也是我们的前进动力。通过使用 Amazon EKS、AWS Graviton 和 Karpenter 进行现代化改造,我们可以更轻松地实现这些目标。”

解决方案 | 节省 30% 的成本,同时缩短部署时间

Securonix 让该团队参与了 Data on EKS(DoEKS),这是一个开源项目,为在 Amazon EKS 上部署可扩展的数据处理工作负载提供了最佳实践、指导和 Terraform 示例。作为一家任务关键型网络安全提供商,Securonix 需要 99.99% 的可用性,并且无法承受任何数据点丢失。该公司堪称客户安全团队的指挥中心,通过数据发布器从客户环境中收集日志、使用 Apache Kafka 来处理这些日志,并使用 Spark 来分析这些日志以便检测安全威胁。

为了维护这项关键服务,同时对基础设施进行现代化改造,Securonix 的技术客户经理与 AWS Enterprise Support 密切合作,后者可以为各个企业提供经过优化的云服务。现代化改造工作跨越多个技术领域和业务领域,并且需要采取一种广泛的方法来提供成本优化、安全措施、性能和编排。“我们的技术客户经理和 AWS 专家们贡献了他们的专业知识,在帮助我们通过设计来实现弹性时发挥了至关重要的作用,同时还克服了一些技术挑战,例如在我们的多租户环境中实施成本分配,”Securonix 的 DevOps 工程师 Sagar Nadgeri 说道。

经过现代化改造的架构跨越 40 个运行 Kubernetes 最新版本的 Amazon EKS 集群,并跨越 5000 到 6000 个实例,整个架构可处理一万多个并发 Spark 作业。此架构使用 Kubernetes 为每个租户各创建一个隔离的环境,并为客户保持数据分离和安全性。数据流以 Securonix 的自定义数据发布器为起点,这些发布器在客户站点上运行并收集安全日志,然后将日志转发给 Kafka 以供摄取。从那里,数据转移到 Amazon EKS 上的 Spark 处理层以供分析。

此架构还依赖 Karpenter(一个面向 Kubernetes 的开源节点预置项目)来扩展 Amazon EKS 集群。Karpenter 会自动预置新的节点以便响应待处理的容器组(pod),并在不到 1 分钟的时间内启动实例。这样一来,完全可以在需要时提供资源。

Securonix 在自己的环境中实施了多种实例类型的战略组合,并在整个基础设施中使用基于 AWS Graviton 的实例。此外,该解决方案还采用 Amazon EC2 按需型实例,这样,各个公司就可以按小时或秒(至少 60 秒)支付计算容量费用,无需签订长期合约。该解决方案还使用 Amazon EC2 竞价型实例,这些实例可以运行容错工作负载,与按需型实例的价格相比,可享受高达 90% 的折扣。Securonix 将竞价型实例分配给低服务水平协议(SLA)工作负载,在这些工作负载中可以容忍偶尔的中断,并将按需型实例分配给需要更高可用性的高 SLA 工作负载。

依托如此强大的基础设施,Securonix 保持了 99.99% 的可用性、提高了弹性,并将作业失败后的恢复时间缩短了 50%。此外,新的架构还最大限度地减少了维护开销,这样一来,以前专门负责管理 Spark 应用程序的团队现在就可以在 Amazon EKS 上进行标准化,从而专注于战略计划。Securonix 还将成本削减了大约 30%,并加快了部署速度。“使用 Amazon EKS 架构,我们现在可以在 15 分钟而不是 3 到 4 个小时内,将代码变更部署到集群中,因此提高了敏捷性,”Jain 表示。

成果 | 使用经过现代化改造的架构,增强任务关键型安全运营

Securonix 的 Amazon EKS 架构提供了该公司所需的灵活性、可扩展性和运营效率,可以帮助他们持续增长,同时保持客户期望的高性能。在这项计划取得成功之后,Securonix 会再接再厉,继续使用 Amazon EKS 来支持新的工作负载。现在,该公司正在将其他的产品组件迁移到 Amazon EKS,并考虑哪些选项能够将生成式人工智能工作负载部署到新的架构上。

“使用 Amazon EKS,我们的整个部署实践变得更简单了,”Jain 说道。“现在,我们正在探索其他的途径,以便改进我们的方法并提高我们的各项能力。”

Missing alt text value
Securonix
使用 Amazon EKS,我们的整个部署实践变得更简单了。现在,我们正在探索其他的途径,以便改进我们的方法并提高我们的各项能力。
Missing alt text value

Tanuj Jain

Securonix 工程生产力总监