什么是实时数据流？

实时数据流是指数据点到达时即被即时处理——通常是在生成后几毫秒内。 

这种低延迟方法有别于传统的批处理，后者是将任务分组并在预定时间执行。相比之下，通过实时数据流，“动态数据”的即时处理意味着企业可以获取最新、即时的信息。实时数据源包括：

• 物联网 (IoT) 设备和传感器
• 金融市场数据源
• 社交媒体
• 销售点和电子商务系统
• 点击流（网站上用户行为的记录）

对这些信息的分析能够产生洞察，为及时的决策和实时应用（包括智能体式人工智能 (AI)）提供支持。实时数据流的其他好处还包括提高运营效率、改善数据保留、加强风险管理和提升客户个性化体验。

实时数据流得以实现，依赖于由数据摄取层、实时处理引擎以及存储与服务层构成的基础设施。诸如开源框架和数据流平台等解决方案，支持实时流式基础设施，并帮助企业跨数千个数据管道高效管理数百万条记录。

想象一个喷涌的水龙头。一位口渴的路人停下来想喝几口，但水流太急，他几乎什么也咽不下去。大部分水从嘴边溅出，在脚下留下一滩滩水。要解渴，他得在那儿站上一会儿——实际上，站得太久，他可能一开始就觉得不值得费这个劲。

这正是企业在试图利用快速流动的信息流（当今最有价值的商业智能来源之一）时面临的困境。

尝试用传统方法捕获和处理这些数据，就如同那位口渴的旅行者在失控的水龙头前遇到的挑战：无论是想获得可操作的洞察，还是想解渴，过程都可能会一团糟，并且耗时长得令人望而却步。

实时数据流为企业提供了一种快速利用实时数据的方法，且没有这些混乱。

通过实时数据摄取和处理，企业可以接收快速、连续的数据流，并将其输入实时分析系统——然后系统便能产出及时、可操作的洞察。这种实时洞察分析能为各行各业的实践提供竞争优势。

零售商可以根据对消费者需求的即时情报动态调整价格。银行可以实时分析交易数据并进行欺诈检测。制造商可以在重大停机发生前检测到机器故障并予以处理。

实时数据带来的敏捷性，在与智能体式 AI 结合时会得到放大。智能体式 AI 利用实时数据来支持快速、自主的现实世界决策，例如识别和响应网络安全威胁，或在交通延误时调整运输路线。

若无实时数据流，企业将无法实现这些益处。相反，它们将不得不依赖传统、较慢的数据摄取和处理方式。

作为一种现代数据处理解决方案，实时数据流——以及整个流式数据管理——与传统的数据处理方法——批处理——形成鲜明对比。 

在实时数据流中，每个传入的单个数据点在其进入目标系统时即被处理。而在批处理中，组织则按固定时间间隔批量聚合和分析数据集。

批处理可以自动化重复性工作负载，例如生成常规报告。它还允许组织通过在方便的时间段（例如夜间，系统在其他情况下未被大量使用）安排批处理作业来优化资源使用。

但是，当业务需求等不及下一次预定运行时，批处理就显得力不从心了。为了更快的周转速度，企业会转向更快的处理过程，包括实时数据流。

使用实时数据流的企业会体验到许多好处，包括：

实时数据流经常与术语“事件流”互换使用，这是有充分理由的——两者之间的差别很细微。

事件流捕获被称为“事件”的记录流——系统或环境中发生的事件或变化——这些记录来自应用程序和物联网设备等各种数据源，然后将其传输以供即时处理，之后进行分析或存储。事件流通常由实时数据组成。

然而，在事件流过程中，数据过滤发生在移动之前，这显著降低了对目标系统的需求。虽然这对某些组织来说可能是一个关键优势，但事件流也可能带来一个缺点：对于事件流而言，时间序列分析和信号处理（处理传感器数据及其他信息以释放价值）比实时数据流更具挑战性。

尽管如此，实时数据流和事件流的解决方案却是相同的。主流的数据流平台，例如 Apache Kafka、Amazon Web Services (AWS) 的 Amazon Kinesis  和 Redpanda，也被称为事件流平台。

支持实时数据流的数据架构即为流式架构，其数据工程组件旨在保持数据持续流动并避免过时。三个基本组件是：

• 摄取
• 正在处理
• 源

各种数据源持续不断地产生和发出数据点。这些传入的数据通常是无界的，这意味着它们被生成后会持续流动，没有固定的终点。这些信息通过具备流式连接器的数据摄取工具进行捕获，然后被传送至处理器。应用程序编程接口 (API) 也有助于实现来自不同数据源的实时数据传输的自动化。

在流处理（有时也称为实时数据处理）中，数据在到达时即被过滤、丰富、转换或分析。可以部署 AI 和机器学习来驱动数据分析，识别模式及其他关键洞察。

处理后的数据会被传送至目的地，供即时使用（例如在应用程序或仪表板中）或进行存储。组织通常依赖数据湖和数据湖仓一体来存储流数据，因为它们能够以相对较低的成本容纳海量数据。流数据也可以存储在数据仓库中，数据仓库使用 ETL（提取、转换、加载）流程进行数据转换、组织和可视化。 

选择合适的流式工具和处理能力对于构建实时数据流管道至关重要。这些工具包括开源流处理框架、基于云的数据流平台和工具，以及数据整合解决方案。

Apache Kafka、Apache Flink 和 Apache Spark Streaming 是用于实时数据流的关键开源框架和工具。

• Apache Kafka：一个分布式平台，使应用程序能够以高吞吐量的数据交付方式发布或订阅数据或事件流。

• Apache Flink：一个用于有状态计算（跨事件维护数据上下文）和复杂事件处理（检测事件流中的模式和关系）的分布式处理引擎。

• Apache Spark Streaming：Spark Streaming 是 Spark 数据处理引擎的一个扩展。它提供对实时数据流的可扩展、容错处理。

开源流处理解决方案可以为实时数据流提供基础。然而，企业通常依赖云提供商和专门的基于云平台来获得额外支持，以管理流数据、构建流应用程序并确保可扩展性。

常用的工具和平台包括 Amazon Kinesis、Confluent、Microsoft Azure Stream Analytics、Google Cloud 的 Dataflow 和 IBM Event Streams。

不同类型的数据处理需要不同类型的数据整合工具。流数据平台包含整合功能，但更全面的整合解决方案的出现，可以帮助企业在同一解决方案内整合实时流数据处理工作流和其他类型的处理工作流（例如批处理和ETL）。这种能力有助于减少工具泛滥。

要成功利用实时数据流，考虑并规划其实现中固有的挑战会有所帮助。

按需的数据摄取、处理和分析——尤其是对于海量、复杂的数据量，也称为大数据——是昂贵且资源密集型的任务。在决定是否将资金和资源投入实时数据流时，企业应权衡其成本与数据过时和决策迟缓所带来的成本。

容错性（即系统在组件发生故障时仍能继续运行的能力）对于成功的实时数据流至关重要。实时数据流系统中的中断和停机可能导致数据丢失，同时损害了将流处理与其他处理方法区分开来的速度优势。

为避免管道故障并确保最佳性能，必须对流数据管道进行全面监控。监控关键数据质量指标并快速识别问题（如模式变更和数据漂移），有助于企业确保数据完整性和管道可靠性。

实时数据流可能包含受数据隐私法规约束的敏感数据或个人身份信息 (PII) 的持续流动。确保管道安全的措施，包括数据加密和访问控制，可以帮助企业遵守监管制度并避免数据泄露。