idealo 在 AWS 上使用 MongoDB Atlas 将黑色星期五的流量增加了 6 倍

总部位于德国的 idealo 于 2000 年创立，致力于为消费者提供价格比较服务。通过将网站抓取与商家提供的数据相结合，该公司实现了大幅增长，每月向其 7200 万访客提供 22 亿份优惠。这些优惠精选了 50,000 多家商户的商品和服务，包括家居用品、电子产品、机票和酒店住宿等。处理这些流量变得越来越具有挑战性。该公司在本地运行系统，使用 MongoDB 来协助处理每天数百万次访问。但很显然，它的本地系统扩展速度无法跟上需求的增长，因为系统每秒需要处理 16 万个请求。

为支持 idealo 的持续增长，有三个重要组件需要优化。首先是计算资源，其次是在其数据系统内移动信息的能力，第三是数据的存储。该公司运营了一个在 MongoDB 上运行的本地数据中心，因为 idealo 对数据库的主要要求之一是规模。关系数据库无法为其提供业务所需的规模和灵活性。另一方面，作为基于文档的 NoSQL 数据库，MongoDB 更为合适，尤其是其分片功能为 idealo 提供了弹性和容量。idealo 技术主管 Robin Kaluzny 表示：“分片可以看作是一种水平扩缩，其中创建了多个节点来存储和分发数据，从而提供冗余并缓解拥塞。”“它很强大，我们用起来得心应手。”

在过去的 4 年中，idealo 的流量增长了 6 倍，预计每年还会持续增长 20％。因此，它考虑必须更新和扩展本地数据中心。由于 idealo 可以帮助消费者找到最佳购物优惠，因此它的需求激增，例如在重大节日，尤其是黑色星期五。扩展其自托管的 MongoDB 环境以满足该需求，需要耗时 2-3 个月。该公司希望降低购置和运行硬件的成本，以及员工的维护负担。该公司还面临无法招聘和保留足够的合格员工，以及员工需要投入精力运行数据中心和服务器，而非专注于核心业务的挑战。所有这些理由都支持向 AWS 的迁移。

idealo 将迁移到 AWS 视为聚焦核心业务的机会，即为消费者提供超值优惠和增加企业的销售额。除了迁移到云外，它还希望将其数据库管理团队重新分配到其他活动中。因此，当它迁移到 AWS 时，它还迁移到了 MongoDB Atlas（一套以云数据库为中心的集成式数据服务套件，旨在加速和简化组织使用数据实施构建的方式），并且选择了 AWS 合作伙伴 MongoDB 对其进行管理。Kaluzny 表示：“由于我们无法投入资源进行编码和运营数据所需的庞大集群，我们一直在寻找合作伙伴。”“显然，MongoDB Atlas 是该领域的最佳选择。他们拥有我们需要的产品和为我们管理产品的专业技术。”

该公司与 MongoDB 合作创建了 MongoDB Atlas 解决方案，该解决方案提供了满足当前业务需求所需的计算、通信和存储资源，并能够根据需要进行扩展。MongoDB 中欧地区副总裁 Oliver Wedell 表示：“了解 idealo 的企业需求非常重要，这样迁移才能带来好处。”“我们与他们合作迁移到 AWS 上的 MongoDB Atlas，而且 AWS 也参与其中，为其服务的使用提供支持。每一方都为迁移的成功做出了贡献。” 通过 AWS ISV 工作负载迁移计划，MongoDB 和 AWS 简化了迁移流程，并降低了将本地工作负载迁移到云的成本。

虽然MongoDB Atlas是idealo业务的核心，但它也使用AWS服务，包括亚马逊弹性Kubernetes服务（亚马逊EK S）（一种在AWS云和本地数据中心运行Kubernetes的托管Kubernetes服务），通过高效的计算资源配置和自动扩展Kubernetes应用程序来降低成本。它还使用 AWS 云开发套件 (AWS CDK)，该套件使用常用编程语言为其应用程序建模来加速云开发。Kaluzny 表示：“MongoDB 的职业精神非常出色。”“从数据中心迁移到具有多个集群的云并与 AWS 集成，整个过程中我们都能高枕无忧。MongoDB 正是我们需要的技术合作伙伴。”

迁移到 MongoDB Atlas 显著减少了 idealo 运行服务所需的资源。它能够将所需的分片数量从 25 个减少到 12 个，并将每个节点的大小减少约 66％。“我们将运行服务所需的资源削减了约 84％。MongoDB 为我们提供了超乎寻常的莫大帮助，” Kaluzny 讲道。

除了减少所需的分片数量和节点大小外，该系统还通过对文档实施批量操作而不是单一文档处理提高了效率。idealo 工程师也优化了架构和索引，以进一步提高性能。在峰值负载下，该系统每秒可支持多达 20 万次查询和 6 万次更新。据测定，它曾在每秒 15 万次查询的负载下连续工作 14 个小时。该系统在迁移后处理的优惠数量与过去相同，但通过重构并借助 MongoDB 支持部门及 MongoDB 专业服务团队，不仅优化了性能而且降低了成本。

idealo 提高了可扩展性，可以根据需求扩展和缩减资源，而不必过度预置数据中心以应对峰值需求。idealo 已经停用了本地数据中心，全面转向在 AWS 上开展运营。Kaluzny 表示：“本地数据中心已经失去意义。”“部分原因是购置和维护成本，但对我们来说，真正的决定因素是本地环境阻碍了我们的增长战略。借助 AWS 上的 MongoDB Atlas，我们只在需要时为需要的资源付费，可以更好地洞悉工作负载，而且消除了任何性能瓶颈。”

向 MongoDB Atlas 的迁移使 idealo 能够扩大规模，以满足预计的 20％ 的年增长率。它还简化了员工的培训，这些员工受益于重复任务的自动化，得以专注于更高价值的活动。该公司还受益于 MongoDB Atlas 强大的安全性和合规性支持，可确保其满足运营所在国家/地区的所有要求。Kaluzny 表示：“找到适合我们业务需求的产品很重要，但是 MongoDB 管理产品的专业技术和职业精神又将产品提升到了更高的水平。”“我们可以专注于经营业务，而不是管理基础设施。这很有价值。”