我们可以更灵活地使用多种类型的 Amazon EBS 卷管理我们的日志记录解决方案,这样就帮助我们节省了运行该解决方案时产生的总成本的 60% 以上。
David Bernstein Director, Operations Services Management

Zendesk 可以构建有助于建立更好客户关系的软件。它使组织能够提高客户参与度并更好地了解他们的客户。超过 150 个国家/地区的 94000 多个付费客户账户都在使用 Zendesk 产品。Zendesk 总部位于旧金山,业务遍及美国、欧洲、亚洲、澳大利亚和南美洲。

几年前,Zendesk 将他们的 SaaS 平台迁移到 Amazon Web Services(AWS)云端。“云是我们的最佳选择,因为它与我们越来越多的敏捷流程相得益彰,”Zendesk 的运营服务管理总监 David Bernstein 表示。该公司最初使用本地实例存储,在数十个 Amazon Elastic Compute Cloud(Amazon EC2)I2 实例上部署了他们的 Elasticsearch、Logstash 和 Kibana(ELK)大数据堆栈,以满足有关内存和磁盘性能的系统要求。Zendesk 使用 ELK 堆栈记录他们的 DevOps 开发模型日志。

尽管他们的 AWS 架构已经有效地了运转了好几年,但 Zendesk 最终需要一种更好的方法扩展他们的 ELK 集群。“作为一家公司,我们迅速发展壮大,因此我们需要扩展集群,但我们在使用内置的实例存储,如果需要更多的存储,我们往往必须添加更多的实例,”Zendesk 的高级软件工程师 Kyle House 说道。“这意味着我们的成本在攀升,而且我们无法通过一种简单的方法控制我们的存储。”

Zendesk 还需要改进他们的数据加密功能。“我们必须编写和维护大量的代码,以确保磁盘上的所有数据都经过正确加密,”House 表示。“维护加密逻辑是一个浩大的工程,而且很容易出错。” 最后,Zendesk 试图扩大他们的数据保留窗口。“我们需要保留 90 天的数据,但我们的成本只能保留最多 30 天的数据,”Bernstein 说道。

当开始探索是否重新设计他们的 ELK 集群时,Zendesk 注意到用户只能访问几天前的日志数据。“超过七天的数据只用于报告,不需要高性能,”House 表示。在此期间,Amazon Elastic Block Store(Amazon EBS)推出了新的吞吐量优化型硬盘驱动器(HDD)st1 卷和由 Cold HDD(sc1)硬盘提供支持的卷,这些卷将硬盘与 Amazon EC2 实例结合使用,以提供持久的区块级存储卷。“随着由 Amazon EBS HDD 提供支持的卷的公布,我们发现我们可以拥有更多的选择,而不是为 SSD 成本模式付费。我们知道,这样可以更有效地卸载热数据,”House 说道。

该组织决定使用 Amazon EBS 通用 SSD(gp2)卷、Amazon EBS(st1)卷和 Amazon EBS(sc1)卷,为他们的 ELK 集群采用分层存储模式,以存储很少被访问的数据。通过在单个实例上使用多种类型的卷,Zendesk 将热 I/O 推送到 gp2 和 st1 卷,并在很少被访问的数据的存储时间超过七天时将这些数据发送到更便宜的 sc1 存储上,从而获得更高的性能。

在最初成功部署 ELK 之后,Zendesk 安全运营(SecOps)组织随后将 Amazon EC2 和 EBS 分层存储重新架构的范围扩大到他们基于 Splunk 的安全信息和事件管理(SIEM)日志记录平台。

Zendesk 现在可以轻松扩展他们的 ELK 集群,以满足增长需求。“使用 Amazon EBS 可以快速、轻松地扩展我们的日志记录解决方案,尤其是因为我们已经将实例类型与存储分离,”House 表示。“最重要的是,随着规模的扩大,我们的定价模式变得极具可预测性。” 通过放弃专用 Amazon EC2 实例和实例存储,并利用他们的 Amazon EBS 卷的分层模式,Zendesk 能够显著降低成本。“我们可以更灵活地使用多种类型的 Amazon EBS 卷管理我们的日志记录解决方案,这样就帮助我们节省了运行该解决方案时产生的总成本的 60% 以上,”Bernstein 说道。此外,Zendesk 每月还在 DevOps 方面节省了 50% 的成本。

Zendesk SecOps 团队也实现了非常可观的节省。“我们本来打算根据 Splunk 蓝图围绕专用实例和短暂存储来部署 Splunk,但最终,我们决定使用我们用于 ELK 堆栈的通用实例和分层 EBS 卷,”Bernstein 表示。“结果,我们发现成本降低了 86%。”

该公司还依靠 Amazon EBS 极大地改善了加密管理。“数据加密现在由 Amazon EBS 管理,因此显著降低了与加密相关的操作复杂性,”Bernstein 说道。“我们再也不必管理和维护用于加密的自定义代码了。”

此外,通过将存储分配与 Amazon EC2 实例类型分离,Zendesk 得以延长他们的数据保留期。“使用 Amazon EBS,我们降低了成本,同时将保留期延长到三倍,”Bernstein 表示。“通过使用成本更低的 EBS 卷来处理较旧的数据,我们将保留期延长了 200%。”

该组织还利用多个 AWS 可用区,因此提高了他们的 ELK 集群的可用性和稳定性。“通过使用多个 AWS 可用区,我们的日志记录系统和其他应用程序变得更具弹性和可用性,”Bernstein 说道。“随着我们公司的不断发展壮大,我们对解决方案的可扩展性和可靠性充满了信心,这要归功于 AWS 云。”

了解有关 AWS 大数据解决方案的更多信息。