在使用 Amazon EFS 之前,我们经常会遇到超过 100MB 上传量的 5-10% 的超时。现在,我们没有超时,这是一个巨大的胜利。
Suresh Prem 首席系统工程师
  • 关于 HERE Technologies

    HERE Technologies 使客户能够充分发挥定位优势以获取更好的结果。其服务可帮助城市管理基础设施、帮助企业优化其资产,以及安全地引导司机到达目的地。该公司在全球 54 个国家/地区和 200 个办事处拥有 8000 名员工。

  • AWS 的优势

    • 提升了大文件的上传可靠性,同时速度提高了 38%
    • 实现了全球开发团队对二进制构件存储库的集中化管理
    • 轻松实施了灾难恢复配置
    • 可在云中存储超过 20TB 的数据
    • 将设置基础设施的时间从 12 周缩短到了 1 周
  • 使用的服务

如今,消费者和企业等都将数字地图和导航服务视为理所当然。1985 年 HERE Technologies 成立时并非如此。该公司后来成为定位服务的全球领导者。它为北美和欧洲五分之四的车载导航系统提供技术支持,提供企业级车队管理解决方案,以及全球运输机构使用的实时交通信息。该公司现在正在建立 HERE 现实索引和 HERE 开放定位平台,这将使所有行业能够访问并加入物理世界的数字定位索引。

“我们将远远超越传统的定位数据和映射,以支持新兴的使用案例,如物联网、移动支付和自动驾驶汽车”,HERE 首席系统工程师 Suresh Prem 说,“我们的 IT 团队必须具备敏捷性和适应性,以跟上创新步伐。” 在公司不断寻求改进的开发运营自助式服务和自动化方面,它已越来越多地转向 Amazon Web Services (AWS)。

这是 HERE Technologies 更广泛的云优先战略的一部分。“自从迁移到云以来,我们的产品上市时间大大缩短了”,Prem 说,“当我们主要使用本地数据中心时,至少需要三个月的时间才能建立开发基础设施。借助 AWS,团队可以在一周内建立他们需要的环境,而无需让存储和网络团队参与。”

管理数百个开发项目的软件构件是一项艰巨的任务。“最初,HERE 的开发团队使用了一系列第三方和自行开发的二进制存储库工具”,HERE 首席系统工程师 Murty Chitti 说,“这影响了我们有效管理构建构件,以及快速将产品投入市场的能力。为了解决此问题,我们选择了 JFrog Artifactory 来集中存储二进制构件,从在我们自己的数据中心运行的本地版本着手。”

不久之后,该公司开始考虑迁移到 AWS。“我们发现 Artifactory 很难在本地运行”,HERE 高级系统工程师 Rajesh Sivaraman 说,“我们需要不断部署新硬件以满足需求,因此我们决定将 Artifactory 部署迁移到 AWS。”

Artifactory 在 Amazon Elastic Compute Cloud (Amazon EC2) 实例上运行。对于存储,该公司最初保留了在本地使用的网络文件系统 (NFS) 存储模型,使用 Amazon Elastic Block Store (Amazon EBS) 存储数据。“我们发现我们每周都要增加数据量”,Chitti 说,“我们希望消除这种管理负担。”

该团队还希望改进解决方案的性能、可用性和灾难恢复功能。“我们的解决方案的架构方式 NFS 是单点故障”,Prem 说,“此外,团队在上传大型二进制文件时经常遇到超时问题。”

亚马逊发布 Amazon Elastic File System (Amazon EFS) 后,HERE 看到了一次性解决这些问题的机会。Amazon EFS 提供简单、可扩展且完全托管的文件存储,可与 Amazon EC2 配合使用。“因为 Amazon EFS 使用标准 NFS 协议,因此可与我们的 Artifactory 解决方案实现无缝集成”,Chitti 说。借助 Amazon Virtual Private Cloud (Amazon VPC),每个团队都可以设置其自己的账户并轻松连接到在其自己的 Amazon VPC 中运行的 Artifactory。

该解决方案还使用 Amazon Relational Database Service (Amazon RDS) 实现数据库功能、使用 Amazon CloudWatch 进行监控,以及使用 Amazon Simple Storage Service (Amazon S3) 长期保留数据。

多个 Amazon EC2 实例可以同时访问一个 Amazon EFS 文件系统。“由于 Amazon EFS 为所有实例提供了统一的命名空间,因此我们无需为每个存储卷管理各自的 DNS 名称,这极大地简化了管理”,Chitti 说,“此外,即使某个服务器终止,Amazon EFS 也会保留数据以供其他服务器使用。”

采用 Amazon EFS 消除了超时问题。“在使用 Amazon EFS 之前,我们经常会遇到超过 100MB 上传量的 5-10% 的超时”,Prem 说,“现在,我们没有超时,这是一个巨大的胜利。生产部署依赖于 Artifactory 中存储的数据,因此每次都需要按预期方式工作。”

事实上,根据 HERE 自己的基准,该解决方案比以往任何时候都更快。自采用 Amazon EFS 以来,将 1GB 文件从基于云的构建服务器传输到 Artifactory 的速度提高了 38%。对于来自本地工具的类似上传,速度提高了 33%。AWS Direct Connect 和 Amazon VPC 对等连接等功能可优化连接,进而提高性能。

借助 AWS 云中的集中式二进制构件存储库,HERE 开发人员可以有效协作并更快地将新创新产品投入市场。“Artifactory 和 Amazon EFS 使我们能够在全球范围内支持广泛使用案例”,Chitti 说,“无论我们是在欧洲构建并在美国进行测试,还是构建我们使用的工具或格式都无关紧要,因为从基础设施即代码组件到 Docker 镜像,我们的所有构建构件都集中在一个地方。”

借助 Amazon EFS 的弹性,相对于管理自己的 NFS 服务器和存储而言,HERE 降低了总拥有成本。“使用 Amazon EFS,我们不必再花费时间或金钱来过度预置,以满足不断增长的需求”,Prem 说,“我们可以完全按需使用,而且只需按实际用量付费。”

该公司还通过在另一个 AWS 地区复制其环境来实施灾难恢复。在发生地区性灾难的情况下,该公司可以简单地更改 DNS 并重新启动并运行。

HERE 使用 Amazon EFS 在 300 多个存储库中存储了 120 万个构件,总计超过 20TB。系统每天可处理来自 1000 多名用户和持续集成系统的 750000 次下载操作和 50000 次上传操作。“鉴于我们迄今为止借助 AWS 取得的成功,我们计划将所有可行的开发运营工具转向 AWS”,Sivaraman 说。在这个快速发展的数字化定位数据的世界,AWS 正在帮助 HERE 以前所未有的速度实现其战略目标。

详细了解如何使用 Amazon Elastic File System 实现简单、可扩展且可靠的文件存储。