什么是 Apache Flink？

由于 Apache Flink 具有广泛的功能，因此其可用于构建许多不同类型的流式处理和批处理应用程序。
Apache Flink 提供支持的一些常见应用程序类型包括：

• 事件驱动的应用程序，其中从一个或多个事件流中摄取事件并执行计算、状态更新或外部操作。借助有状态处理，可在单一消息转换之外实现逻辑，其中结果取决于摄取事件的历史记录。
• 数据分析应用程序，从数据中提取信息和见解。传统上通过查询有限的数据集、重新运行查询或修改结果以纳入新数据来执行此类应用程序。借助 Apache Flink，可以通过持续更新、流式传输查询或实时处理摄取的事件、持续发出和更新结果来执行分析。
• 数据管道应用程序，其中转换和丰富要从一个数据存储移动到另一个数据存储的数据。传统上，提取-转换-加载（ETL）操作是定期分批执行的。借助 Apache Flink，可以持续执行该流程，将数据以低延迟移动到其目标。

同时处理无界限（流）和有界限（批处理）数据集

Apache Flink 既可以处理无界限数据集，也可以处理有界限数据集，即流和批处理数据。无界限流具有起点，但实际上是无限的，永远不会结束。从理论上讲，处理永远不会停止。

有界限数据（如表）是有限的，可以在有限的时间内从头到尾进行处理。
Apache Flink 提供的算法和数据结构支持通过同一个编程接口进行有界限处理和无界限处理。处理无界限数据的应用程序会持续运行。处理有界限数据的应用程序将在到达输入数据集的末尾时结束其执行。

大规模运行应用程序

Apache Flink 旨在运行几乎任何规模的有状态应用程序。可以并行处理成千上万个任务，这些任务同时分布在多台计算机上。

状态还进行分区和水平分布，从而可在多台计算机上维护数 TB 的容量。状态以增量方式点查到持久性存储。

内存中的性能

流经应用程序和状态的数据在多台计算机上进行分区。因此，可以通过访问本地数据（通常是内存中的数据）来完成计算。

严格一次的状态一致性

单个消息转换之外的应用程序是有状态的。业务逻辑需要记住事件或中间结果。Apache Flink 可以保证内部状态的一致性，即使在出现故障以及应用程序停止和重启时也是如此。每条消息对内部状态的影响总是严格应用一次，无论应用程序在恢复或重启时是否可能收到数据来源的副本。

广泛的连接器

Apache Flink 具备许多经过经验的连接器，可以连接到流行的消息传递和流式传输系统、数据存储、搜索引擎和文件系统。一些示例包括 Apache Kafka、Amazon Kinesis Data Streams、Amazon SQS、Active MQ、Rabbit MQ、NiFi、OpenSearch 和 ElasticSearch、DynamoDB、HBase 以及任何提供 JDBC 客户端的数据库。

多级别的抽象

Apache Flink 为编程接口提供多级别的抽象。在较高级别的流式传输 SQL 和 Table API 中，使用熟悉的抽象，例如表、联接和分组。DataStream API 提供较低级别的抽象，但同时赋予更多的控制，包括流、窗口化和映射的语义。最后，ProcessFunction API 提供对每条消息处理的精细控制和状态的直接控制。所有编程接口均可与无界限（流）和有界限（表）日期集无缝协作。可以在同一个应用程序中使用不同级别的抽象，将其作为解决每个问题的正确工具。

多种编程语言

Apache Flink 可以使用多种语言进行编程，从高级流式处理 SQL 到 Python、Scala、Java，以及其他 JVM 语言，例如 Kotlin。

NortonLifeLock

NortonLifeLock 是一家全球网络安全和互联网隐私公司，为数百万客户提供设备安全以及家庭和家人的身份和在线隐私方面的服务。

NortonLifeLock 将 VPN 作为免费增值服务提供给用户。因此，他们需要实时强制执行使用限制，以阻止免费增值用户使用超出其用量限制的服务。NortonLifeLock 面临的挑战是以可靠且具有成本效益的方式达成此目标。

NortonLifeLock 简化了采用 Apache Flink 的用户和设备级聚合的实现。

Samsung SmartThings

作为 Samsung 的独立子公司，SmartThings 是全球领先的物联网生态系统之一，它为所有人打造最轻松的智能家居方式。

Samsung SmartThings 遇到了诸如将资源保留给单个应用程序之类的问题。未能保留资源会导致应用程序在处理数据时出现延迟和性能下降。这最终使公司在维护运营中的工作负载方面产生了高昂的开销。他们必须重新设计数据平台架构。

公司从 Apache Spark 转为使用 Apache Flink。

BT Group

BT Group 是英国领先的电信和网络提供商，也是全球通信服务和解决方案的领先提供商，为 180 个国家/地区的客户提供服务。其在英国的主要活动包括提供固定语音、移动、宽带和电视（包括体育），以及通过聚合的固定和移动网络向消费者、企业和公共部门客户提供一系列产品和服务。

BT 需要一款服务监控应用程序来支持 Digital Voice 的推出，这是其全新的消费类产品，可通过其英国宽带网络进行高清语音通话。

BT 使用 Apache Flink 构建事件驱动的分析服务，用于摄取、处理和可视化服务数据。

Autodesk

Autodesk 是领先的 3D 设计和工程软件提供商，除了软件开发和软件交付，公司希望能为客户创造更多价值。该公司还希望确保其全球数百万用户在运行该软件时，获得最佳体验。

Autodesk 为创造新事物的人们制作软件。他们为两亿多位客户提供服务。公司需要消除孤岛，以便更快地发现和修复客户问题。他们希望以一致的方式与小型运营团队一起收集和衡量指标，而不会增加成本或造成数据锁定。

NHL

美国国家冰球联盟（NHL）是北美四大职业团体运动联盟中历史第二悠久的联盟。如今，NHL 由 32 个成员俱乐部组成，每个俱乐部都反映了联盟的国际构成，球队名单上有来自 20 多个国家/地区的球员。

NHL 面临着多项技术挑战，例如确定预测具有大量不确定性的事件所需的功能和建模方法，以及确定如何使用流式传输 PPT 传感器数据来识别争球发生的位置、参与的球员以及每位球员赢得争球的概率，所有这些都在数百毫秒之内完成。

利用 Apache Flink，NHL 不仅能够预测赢得争球的球员，还能够为以实时且具有成本效益的方式解决许多类似的问题奠定基础。

Poshmark

Poshmark 是领先的社交市场，为女士、男士、儿童、宠物、家居等提供全新和二手穿搭风格。公司在美国、加拿大、澳大利亚和印度拥有超过 8000 万注册用户的社区，该社区正在塑造购物的未来，使其变得简单、社交和可持续。

Poshmark 一直专注于通过个性化和增强用户体验来实现顶线增长。最初使用批处理实现个性化和安全性的方法并未达到改善客户体验的预期目标。

Poshmark 使用 Apache Flink 的实时数据丰富功能设计了实时个性化。