使用 252 个 AWS Snowball Edge,在 2 年时间内完成了 25 PB 的海量数据迁移

2022 年

KDDI CORPORATION 以综合电信运营商的身份提供网络解决方案。该公司将他们的后端系统从本地环境迁移到 Amazon Web Services(AWS),以服务于他们的移动通信服务 au 用户。他们将 AWS Snowball Edge 与物理设备结合使用,在大约 2 年的时间内完成了 25 PB 的数据迁移。通过执行迁移以及激活存储层优化功能,他们节省了 50% 的运营成本。

AWS 案例研究 | KDDI CORPORATION
kr_quotemark
之所以采用 AWS,决定性因素是我们在迁移援助计划的 AWS 迁移加速计划(MAP)的规划阶段见证了技术价值和成本效益。利用 AWS Snowball Edge 执行的 PoC(概念验证)让我们相信,我们成功实现了 25 PB 的数据迁移,而我们最初认为这是不可能的。

Kensuke Tsukishima
KDDI CORPORATION 
Engineering Division Vice President
Technology Strategy & Planning Division Vice President

迁移到 AWS 以便灵活地扩展存储服务资源

KDDI 秉承“为建设富裕的通信社会做贡献”这一理念,专注于为日本提供移动服务和互联网服务。 除了作为云服务用户与 AWS 建立关系以外,我们还与 AWS 在业务方面进行合作,例如提供 AWS Wavelength 以支持在 au 的 5G 网络中构建超低延迟应用程序。

KDDI 这次迁移到 AWS 是为了向 au 用户提供他们的“数据存储服务”平台。数据存储服务是一项面向智能手机上的照片、视频、地址簿、日历等内容的存储服务。au Smart Pass/au Smart Pass 高级会员最多可以使用 50 GB,非会员最多可以使用 1 GB。

随着用户数量不断增加,自 2012 年发布以来一直在本地环境中运行的数据存储服务需要优化服务器和存储资源。Engineering Division 的 Takamitsu Katayama 表示,
“由于相机越来越复杂,照片和视频中的数据量急剧增加。在本地环境中,服务器和存储每年大约扩展两次,但是很难计算出所需的容量,运营负载也在增加。因此,我们决定迁移到云服务,以便灵活地扩展资源、优化存储成本,并通过增强性能来改善客户体验。”

对于云服务,在全面评估可提供高资源效率的无服务器和容器服务、能够根本上降低成本的托管式服务以及通过自动扩缩功能平衡性能和成本的能力之后,我们选择了 AWS。

Engineering Division Vice President 兼 Technology Strategy & Planning Division Vice President Kensuke Tsukishima 先生说道:“之所以采用 AWS,决定性因素是我们在迁移援助计划的 AWS 迁移加速计划(MAP)的规划阶段见证了技术价值和成本效益。利用 AWS Snowball Edge 执行的 PoC(概念验证)让我们相信,我们成功实现了 25 PB 的数据迁移,而我们最初认为这是不可能的。”

使用 252 个 AWS Snowball Edge 设备,创新周期缩短至 40 天

向 AWS 迁移的项目于 2018 年 10 月启动。使用 AWS Snowball Edge 进行 25 PB 数据迁移的试验于 2019 年 5 月至 7 月进行,数据迁移的试用期为 2019 年 8 月至 2021 年 7 月。

AWS Snowball Edge 是一项服务,用于将数据存储在专用的物理设备中并将传输到 AWS。在本例中,该公司每个周期使用 18 个 AWS Snowball Edge 设备进行迁移,并重复了 14 个周期(一共使用了 252 个设备)。

为了进行数据迁移,我们每个周期准备了 18 个设备,包括为两组 18 个设备准备两个备用设备,总计 38 个设备,并且并行运行两个周期。为了加快数据从本地环境向 AWS 的传输,我们还实施了 AWS Snowball Edge 内存处理并帮助提高了吞吐量。

“因此,我们能够将向 AWS Snowball Edge 传输数据的时间缩短到每个周期大约 40 天,并在大约两年的时间内迁移了 25 PB 的数据。在迁移期间,我们还与 AWS 企业支持团队的 Technical Account Manager(TAM)密切合作,并收到了有关潜在机箱故障、迁移进度和相关操作的适当反馈。这样,我们就能够无忧无虑地继续开展项目并缩短了构造周期,”Katayama 表示。

利用无服务器和容器实现架构现代化

新的数据存储服务平台于 2019 年 4 月和 2020 年 8 月分两个阶段发布。在第 1 阶段(系统从本地迁移),AWS Lambda 除了支持系统直接迁移以外,还支持以无服务器方式生成事件驱动型缩略图。在第 2 阶段,我们转而采用云原生架构,将数据库从 Amazon RDS 迁移到 Amazon Aurora,并将容器执行环境从 Amazon EC2 迁移到 AWS Fargate。

在第 2 阶段结束时,我们一直在努力优化成本,并于 2021 年 3 月推出了分层存储服务 Amazon S3 Intelligent-Tiering。

“通过自动将长期未使用的数据转移到更具成本效益的层等功能,我们能够在不影响客户体验的情况下遏制不断增长的 Amazon S3 成本并迁移到 AWS。因此,我们得以将存储运营成本降低大约 50%。随着存储层不断推陈出新和使用费的下降,我们希望使用这项服务提高我们的成本效益,”Katayama 说道。

通过有效地利用工程资源为用户推出新的服务

迁移到 AWS 确保了可扩展性和灵活性,因此可以处理不断增加的用户和数据。在系统运营中占据很大一部分的存储成本已经减少了大约 50%,有助于降低 TCO。“我们不再需要扩大或缩减服务器规模,也不必投入准备时间增加存储容量,这是我们最关心的问题,”Tsukishima 表示。

无服务器和托管式服务也极大地减轻了运营负担。Application Engineering Department 和 Engineering Division 部门经理 Nobutaka Suzuki 先生说道:“因此,我们能够将工程资源转移到新服务的开发上,并发布了‘数据移动服务’。 工程师们更有动力、更积极主动地应对 DevOps 之类的开发挑战。”

我们希望继续努力进行现代化改造,并将我们的系统转换为云原生系统,以优化成本、提高运营精密度以及维持并改善服务质量。“我们看到了利用 AWS 大阪地区提高服务质量的多区域架构的潜力。我们预计 AWS 会继续提供新的服务,并帮助我们降低成本,”Suzuki 表示。

负责维护和运营整个电信服务的技术管理总部工程部表示,他们还会横向部署通过此次迁移获得的专业知识,以支持任务关键型服务。

“我们的目标是通过实现混合环境、在正确的时间和正确的地点利用本地计算和云计算,以提供高质量的服务。我们希望与 AWS 建立良好的关系,同时维持合作结构,”Tsukishima 说道。

Kensuke Tsukishima
Engineering Division Vice President
Technology Strategy & Planning Division Vice President

Nobutaka Suzuki
Application Engineering Department 和 Engineering Division 部门经理

Takamitsu Katayama
Engineering Division、Application Engineering Department


客户资料:KDDI CORPORATION

  • 成立日期:1984 年 6 月 1 日
  • 资本:1418.52 亿日元
  • 员工人数:47320 人(截至 2021 年 3 月 31 日)
  • 业务活动:电信业务

采用 AWS 的好处和未来前景

  • 在大约 2 年的时间内迁移 25PB 的海量数据
  • 将存储运营成本降低大约 50%
  • 缩短了资源采购和扩展的准备时间
  • 促进了现代化和云原生系统

目前正在使用的关键服务

AWS Snowball Edge

Snowball Edge 是由 AWS Snowball 服务提供支持的一款边缘计算和数据传输设备。它具有板载存储和计算能力,可以为边缘站点的使用案例提供精选的 AWS 服务。

了解更多 »

AWS Lambda

通过 AWS Lambda,无需预置或管理服务器即可运行代码。您只需按使用的计算时间付费。

了解更多 »

Amazon ECS

Amazon Elastic Container Service(Amazon ECS)是一项完全托管式容器编排服务。Duolingo、Samsung、GE 和 Cook Pad 等客户都使用 ECS 运行他们最敏感的任务关键型应用程序,以获得安全性、可靠性和可扩展性。

了解更多 »

AWS Fargate

AWS Fargate 是一个适用于容器的无服务器计算引擎,可以运行在 Amazon Elastic Container Service(ECS)和 Amazon Elastic Kubernetes Service(EKS)上。使用 Fargate,您可以轻松地专注于构建应用程序。

了解更多 »