HERE Technologies 使用 Amazon EFS 扩展二进制构件存储库

2017 年

如今,消费者和企业等都将数字地图和导航服务视为理所当然。1985 年 HERE Technologies 成立时并非如此。该公司后来成为定位服务的全球领导者。它为北美和欧洲五分之四的车载导航系统提供技术支持,提供企业级车队管理解决方案,以及全球运输机构使用的实时交通信息。该公司现在正在建立 HERE 现实索引和 HERE 开放定位平台,这将使所有行业能够访问并加入物理世界的数字定位索引。

“我们将远远超越传统的定位数据和映射,以支持新兴的使用案例,如物联网、移动支付和自动驾驶汽车”,HERE 首席系统工程师 Suresh Prem 说,“我们的 IT 团队必须具备敏捷性和适应性,以跟上创新步伐。” 在公司不断寻求改进的开发运营自助式服务和自动化方面,它已越来越多地转向 Amazon Web Services (AWS)。

这是 HERE Technologies 更广泛的云优先战略的一部分。“自从迁移到云以来,我们的产品上市时间大大缩短了”,Prem 说,“当我们主要使用本地数据中心时,至少需要三个月的时间才能建立开发基础设施。借助 AWS,团队可以在一周内建立他们需要的环境,而无需让存储和网络团队参与。”

开始 python 教程
kr_quotemark

在使用 Amazon EFS 之前,我们经常会遇到超过 100MB 上传量的 5-10% 的超时。现在,我们没有超时,这是一个巨大的胜利。”

Suresh Prem
HERE 首席系统工程师

保持构件管理受到控制

管理数百个开发项目的软件构件是一项艰巨的任务。“最初,HERE 的开发团队使用了一系列第三方和自行开发的二进制存储库工具”,HERE 首席系统工程师 Murty Chitti 说,“这影响了我们有效管理构建构件,以及快速将产品投入市场的能力。为了解决此问题,我们选择了 JFrog Artifactory 来集中存储二进制构件,从在我们自己的数据中心运行的本地版本着手。”

不久之后,该公司开始考虑迁移到 AWS。“我们发现 Artifactory 很难在本地运行”,HERE 高级系统工程师 Rajesh Sivaraman 说,“我们需要不断部署新硬件以满足需求,因此我们决定将 Artifactory 部署迁移到 AWS。”

存储创新推动效率提升

Artifactory 在 Amazon Elastic Compute Cloud (Amazon EC2) 实例上运行。对于存储,该公司最初保留了在本地使用的网络文件系统 (NFS) 存储模型,使用 Amazon Elastic Block Store (Amazon EBS) 存储数据。“我们发现我们每周都要增加数据量”,Chitti 说,“我们希望消除这种管理负担。”

该团队还希望改进解决方案的性能、可用性和灾难恢复功能。“我们的解决方案的架构方式 NFS 是单点故障”,Prem 说,“此外,团队在上传大型二进制文件时经常遇到超时问题。”

Amazon 发布 Amazon Elastic File System (Amazon EFS) 后,HERE 看到了一次性解决这些问题的机会。Amazon EFS 提供简单、可扩展且完全托管的文件存储,可与 Amazon EC2 配合使用。“因为 Amazon EFS 使用标准 NFS 协议,因此可与我们的 Artifactory 解决方案实现无缝集成”,Chitti 说。借助 Amazon Virtual Private Cloud (Amazon VPC),每个团队都可以设置其自己的账户并轻松连接到在其自己的 Amazon VPC 中运行的 Artifactory。

该解决方案还使用 Amazon Relational Database Service (Amazon RDS) 实现数据库功能、使用 Amazon CloudWatch 进行监控,以及使用 Amazon Simple Storage Service (Amazon S3) 长期保留数据。

多个 Amazon EC2 实例可以同时访问一个 Amazon EFS 文件系统。“由于 Amazon EFS 为所有实例提供了统一的命名空间,因此我们无需为每个存储卷管理各自的 DNS 名称,这极大地简化了管理”,Chitti 说,“此外,即使某个服务器终止,Amazon EFS 也会保留数据以供其他服务器使用。”

消除超时,降低 TCO

采用 Amazon EFS 消除了超时问题。“在使用 Amazon EFS 之前,我们经常会遇到超过 100MB 上传量的 5-10% 的超时”,Prem 说,“现在,我们没有超时,这是一个巨大的胜利。生产部署依赖于 Artifactory 中存储的数据,因此每次都需要按预期方式工作。”

事实上,根据 HERE 自己的基准,该解决方案比以往任何时候都更快。自采用 Amazon EFS 以来,将 1GB 文件从基于云的构建服务器传输到 Artifactory 的速度提高了 38%。对于来自本地工具的类似上传,速度提高了 33%。AWS Direct Connect 和 Amazon VPC 对等连接等功能可优化连接,进而提高性能。

借助 AWS 云中的集中式二进制构件存储库,HERE 开发人员可以有效协作并更快地将新创新产品投入市场。“Artifactory 和 Amazon EFS 使我们能够在全球范围内支持广泛使用案例”,Chitti 说,“无论我们是在欧洲构建并在美国进行测试,还是构建我们使用的工具或格式都无关紧要,因为从基础设施即代码组件到 Docker 镜像,我们的所有构建构件都集中在一个地方。”

借助 Amazon EFS 的弹性,相对于管理自己的 NFS 服务器和存储而言,HERE 降低了总拥有成本。“使用 Amazon EFS,我们不必再花费时间或金钱来过度预置,以满足不断增长的需求”,Prem 说,“我们可以完全按需使用,而且只需按实际用量付费。”

该公司还通过在另一个 AWS 地区复制其环境来实施灾难恢复。在发生地区性灾难的情况下,该公司可以简单地更改 DNS 并重新启动并运行。

HERE 使用 Amazon EFS 在 300 多个存储库中存储了 120 万个构件,总计超过 20TB。系统每天可处理来自 1000 多名用户和持续集成系统的 750000 次下载操作和 50000 次上传操作。“鉴于我们迄今为止借助 AWS 取得的成功,我们计划将所有可行的开发运营工具转向 AWS”,Sivaraman 说。在这个快速发展的数字化定位数据的世界,AWS 正在帮助 HERE 以前所未有的速度实现其战略目标。


关于 HERE

HERE Technologies 使客户能够充分发挥定位优势以获取更好的结果。其服务可帮助城市管理基础设施、帮助企业优化其资产,以及安全地引导司机到达目的地。该公司在全球 54 个国家/地区和 200 个办事处拥有 8000 名员工。

AWS 的优势

  • 提升了大文件的上传可靠性,同时速度提高了 38%
  • 实现了全球开发团队对二进制构件存储库的集中化管理
  • 轻松实施了灾难恢复配置
  • 可在云中存储超过 20TB 的数据
  • 将设置基础设施的时间从 12 周缩短到了 1 周

使用的 AWS 服务

Amazon EC2

Amazon Elastic Compute Cloud (Amazon EC2) 是一种 Web 服务,可以在云中提供安全并且可调整大小的计算容量。该服务旨在让开发人员能够更轻松地进行 Web 规模的云计算。

了解更多 »

Amazon Elastic Block Store

Amazon Elastic Block Store (EBS) 是一种易于使用的高性能数据块存储服务,旨在与 Amazon Elastic Compute Cloud (EC2) 一起使用,适用于任何规模的吞吐量和事务密集型工作负载。

了解更多 »

Amazon EFS

Amazon Elastic File System (Amazon EFS) 可提供简单、可扩展、完全托管的弹性 NFS 文件系统,可与 AWS 云服务和本地资源配合使用。

了解更多 »

Amazon VPC

借助 Amazon Virtual Private Cloud (Amazon VPC),您可以在 AWS 云中预置一个逻辑隔离的部分,从而在自己定义的虚拟网络中启动 AWS 资源。

了解更多 »

Amazon RDS

Amazon Relational Database Service (Amazon RDS) 让您能够在云中轻松设置、操作和扩展关系数据库。

了解更多 »

Amazon CloudWatch

Amazon CloudWatch 是一种面向开发运营工程师、开发人员、站点可靠性工程师 (SRE) 和 IT 经理的监控和可观测性服务。

了解更多 »

Amazon S3

Amazon Simple Storage Service (Amazon S3) 是一种对象存储服务,提供行业领先的可扩展性、数据可用性、安全性和性能。

了解更多 »

AWS Direct Connect

AWS Direct Connect 是一种云服务解决方案,让您可以轻松建立从本地通往 AWS 的专用网络连接。

了解更多 »


开始使用

各行各业中所有规模的公司都在使用 AWS 对其日常业务进行转型。联系我们的专家,立即踏上您的 AWS 云之旅。