Netflix 和 Amazon Kinesis Data Streams 案例研究

Netflix 是世界领先的线上电视网络，在全球拥有超过 1 亿会员，他们每天观看 1.25 亿小时的电视节目和电影，包括原版影视剧、纪录片和故事片。会员几乎能够在所有联网屏幕上随时随地尽情观看。

Netflix 使用 Amazon Web Services (AWS) 来满足几乎所有计算和存储需求，包括数据库、分析、推荐引擎、视频编码等数百种功能，总共使用 AWS 上逾 10 万个服务器实例。

因此，这样的动态联网环境极其复杂，在这样的环境中，应用程序不断进行 AWS 内部和全网通信。对 Netflix 继续改善客户体验、提高效率和降低成本来说，监控和优化网络至关重要。具体而言，Netflix 需要这样一种解决方案，即能够以 Virtual Private Cloud (VPC) 流日志形式提取、优化和分析其网络每天生成的数 TB 数据。这将使 Netflix 能够发现性能改进机会，例如识别跨区域通信的应用程序并予以配置。通过快速检测和缩短应用程序停机时间，该公司还能够延长正常运行时间。

每个日志记录包含两个 IP 地址之间的通信信息。然而，在像 Netflix 这样的动态环境中，IP 地址每天甚至是每分钟都会在应用程序之间浮动，IP 地址本身没有多大意义。“我们在采取这一举措之前拥有的数据源是单方面的。”Netflix 的高级软件工程师 John Bennett 说，“我们知道应用程序连接了其它应用程序，但是我们不知道对话的双方，以及如何优化这些通信或在网络上放置应用程序。”

Netflix 着手建立了一个新的数据源，通过将 VPC 流日志与应用程序元数据相结合，更能洞悉应用程序和区域之间的通信。

Netflix 基于 Amazon Kinesis Data Streams 的解决方案，已被证实能够高度扩展，每天处理数十亿流量。通常，为了处理数据流，每次都有大约 1千个 Amazon Kinesis 分片并行操作。“Amazon Kinesis Data Streams 每天处理数 TB 的日志数据，但只需几秒钟，事件就能显示在我们的分析中。”Bennett 说，“我们能够实时发现并处理问题，确保高可用性和卓越的客户体验。”

Netflix 目前能够找到新方法来优化其应用程序，无论这意味着将应用程序从一个区域迁移到另一个区域，还是更换成更适合特定类型流量的网络协议。Bennett 说：“我们的解决方案基于 Amazon Kinesis 构建而成，这使我们得以找到多种方法，来提高效率、降低成本并改善恢复能力，从而打造最佳的客户体验。”

虽然串流数据解决方案对 IT 行业来说并不陌生，但在网络领域属于一种创新。“Netflix 在 AWS 中投入了大量资金，部分原因在于AWS 能将底层网络抽象化，所以我们不必处理交换机和路由器。”Bennett 说，“我们在更高级别的堆栈上进行监控、分析和优化，如果我们自行运行数据中心，根本考虑不到这一层的操作。”