什么是变更数据捕获？

By Alice Gomstyn , Alexandra Jonker

变更数据捕获，释义

变更数据捕获 (CDC) 用于检测并采集数据库内的数据变动，并将变动内容传输至下游系统。当数据库数据发生变动后，CDC 可在各系统间实现近乎实时或实时的数据同步、复制以及事件驱动处理。

变更数据捕获属于实时数据集成方式，可集成组织内分散、存在差异的数据，实现数据统一。其他数据集成方式还包括流数据集成、数据虚拟化以及应用集成。

CDC 可低延迟地为近乎实时或实时更新下游流程与系统，对实时数据分析、云迁移以及人工智能 (AI) 模型的稳定运行起到关键作用。该技术可适配各行业的多种用例，覆盖零售、金融、医疗等领域的欺诈检测、供应链管理、合规管控等场景。

变更数据捕获有多种方法，其中最常见的是基于日志的 CDC、基于时间戳的 CDC 和基于触发器的 CDC。企业可以借助数据库原生工具、开源平台和第三方解决方案实现变更数据捕获。

辅以专家洞察分析的最新科技新闻

通过 Think 时事通讯，了解有关 AI、自动化、数据等方面最重要且最有趣的行业趋势。请参阅 IBM 隐私声明。

变更数据捕获有哪些优点？

在现代数据管理中，变更数据捕获已成为一项关键数据工程机制。当今企业的数据环境日趋庞大且越发复杂。其中可能包含来自物联网 (IoT) 设备、分布式数据库、应用程序和其他不同来源的数据。在不断扩展的数据生态系统中保持数据的一致性与质量，构成了长期存在的技术难题。

与此同时，企业需要准确、及时的信息，并借此制定实时决策。变更数据捕获是帮助组织满足这一需求的多种方案之一。

变更数据捕获支持低延迟数据管道，通过比其他数据集成方法更高效、资源占用更少的方式提供新数据。例如，数据复制需要复制完整的数据集。相比之下，CDC 仅发送已变更的数据，从而减少源系统负载、网络流量以及对计算能力的需求。

它可以帮助企业快速高效地获取最新、最准确的信息，从而提供多重优势，包括：

更快地做出决策
零停机时间迁移
ETL 流程优化
提高 AI 性能

更快地做出决策

CDC 可将业务数据实时推送至数据分析平台与数据仪表板，便于企业输出精准、即时的报表，挖掘业务洞察分析并制定决策。借助这些功能，企业就能满足当今 24/7 全天候不间断、高度时效敏感的商业环境需求。

零停机时间迁移

数据源与目标系统之间的持续同步，可保障数据库、云环境及应用程序之间的数据迁移工作，最大限度减少停机时长与业务中断。例如，在云迁移期间，CDC 会将本地发生的数据变更快速传送到相关的云数据表，确保两个环境之间的一致性。

ETL 流程优化

ETL（提取、转换、加载）数据管道是数据分析和机器学习工作流不可或缺的一部分。但是，依赖批处理的 ETL 执行往往速度较慢，并且会消耗系统资源。将 CDC 集成至 ETL 可以优化资源利用率并加速数据迁移。

更优异的人工智能 (AI) 性能

实施变更数据捕获可确保模型源数据实时更新，以便大语言模型 (LLM) 提供准确、及时的输出。例如，在检索增强生成 (RAG) 用例中，AI 模型与外部知识库相连以获取更精准的响应。

AI Academy

数据管理是生成式 AI 的秘诀吗？

深入了解为什么高质量数据对于成功使用生成式 AI 至关重要。

转到视频集

变更数据捕获的运作模式？

变更数据捕获能够识别并记录源数据系统内的新增、更新及删除操作。这些数据源涵盖关系数据库，例如 Oracle Database、PostgreSQL、MySQL、Microsoft SQL Server 和 Azure SQL Database，以及非关系 (NoSQL) 数据库，例如 Apache Cassandra 和 MongoDB。

现代 CDC 系统通常采用基于日志的实现方式，相关工具会读取数据库事务日志（记录数据变动的文件），以识别数据变更内容。事务日志中的每个变更事件，都会对应一个有序日志位置，例如日志序列号 (LSN)。借助这类标识，CDC 系统能够精准判定数据变更的发生时间。

系统捕获变更数据后，会以实时或近乎实时的形式将其流式传输至各类下游系统，包括数据湖、数据仓库、流数据平台（如 Apache Kafka ）、流处理引擎（如 Apache Spark ）和 ETL/ELT 管道。

CDC 方法：“推”与“拉”

变更数据捕获可由源系统（推送式方法）发起，也可由目标系统（拉取式方法）发起。二者的核心区别，在于由哪一方系统负责捕获并传输变更数据。

推送式 CDC

在推送式 CDC 模型中，源系统检测到数据变更后，会立即将数据推送至目标系统。该方式一般依托数据库事务日志、事件流或是 Apache Kafka 这类消息代理实现。

由于数据变更会随产生即时发送，推送式 CDC 适用于对流数据传输有实时、近乎实时要求的用例，例如流分析、事件驱动架构以及 AI/ML 系统。

拉取式 CDC

在拉取式 CDC 模式下，目标系统定期轮询源系统，并在识别变更后“拉取”变更。轮询操作可按照固定周期执行，因此拉取式 CDC 十分适配批处理任务，或是无需即时更新数据的系统。

相比推送式 CDC，该模式架构更简单、部署成本更低，但会带来更高延迟，同时加重源数据库的查询负担，进而影响数据库运行性能。目前多数现代化数据平台，都会结合数据与业务需求，同时兼容这两种运行模式。

变更数据捕获的常用方法

变更数据捕获的执行方法多种多样。常见的 CDC 类型包括：

基于日志的 CDC
基于时间戳的 CDC
基于触发器的 CDC

基于日志的 CDC

数据库事务日志是数据库的标准功能，用于记录所有数据库事务。（事务日志文件可用于在发生系统故障时恢复数据库。）

在基于日志的 CDC 模式中，CDC 应用程序会处理日志内记录的数据库数据与元数据变更，并将更新内容同步至其他系统。基于日志的 CDC 凭借高效的特性得到广泛应用，该模式依托日志而非查询语句获取数据，不会给源系统造成过大压力。但是，事务日志格式的变化可能会使跨不同数据库的基于日志的 CDC 执行变得复杂。