数据管道 (Data pipeline) 方法从多种数据源采集原始数据，然后将其存储至数据存储库（如数据湖或数据仓库）进行分析。 数据在流入数据存储库之前，通常会经过一些数据处理。 这包括数据转换，例如过滤、屏蔽和汇总，可确保实现适当的数据集成和标准化。 如果形成数据集的目的是建立相关数据库，那么数据转换尤其重要。 这种类型的数据存储库具有定义的架构，需要对齐（即匹配数据列和类型），以使用新数据来更新现有数据。 

顾名思义，数据管道 (Data pipeline) 是数据科学项目或商业智能仪表板的"管道"。 我们可以从各种地方获取数据，如 API、SQL、NoSQL数据库和文件等，但遗憾的是，我们通常无法立即使用这些数据。 数据准备任务通常由数据科学家或数据工程师完成，他们负责整理数据以满足业务用例的需求。 数据管道 (Data pipeline) 所需的数据处理类型通常通过结合探索性数据分析和定义的业务需求来确定。 对数据进行适当的过滤、合并和汇总后，就可以存储和显示数据以供使用。 组织有序的数据管道 (Data pipeline) 为一系列数据项目提供了基础；可能包括探索性数据分析、数据可视化和机器学习任务。

三个核心步骤构成了数据管道的架构。

1. 数据摄取：数据收集的来源多种多样，包括软件即服务 (SaaS) 平台、物联网 (IoT) 设备和移动设备，以及各种数据结构，既有结构化数据，也有非结构化数据。在流数据中，这些原始数据源通常称为生产者、发布者或发送者。虽然企业可以选择仅在准备好处理数据时提取数据，但更好的做法是先将原始数据放在云数据仓库提供商中。这样，如果企业需要对数据处理作业进行调整，他们就可以更新任何历史数据。在此数据摄取过程中，可以执行各种验证和检查，以确保数据的一致性和准确性。

2. 数据转换：在此步骤中，会执行一系列作业，将数据处理为目标数据存储库所需的格式。这些作业嵌入了业务报告等重复性工作流的自动化和治理，确保数据得到一致的清理和转换。例如，数据流可能采用嵌套的 JSON 格式，数据转换阶段将旨在展开该 JSON 以提取要分析的关键字段。

3. 数据存储：然后将转换后的数据存储在数据存储库中，在那里可以向各种利益相关者公开。在流数据中，转换后的数据通常称为使用者、订阅者或接收者。

您可能会发现某些术语（如数据管道和 ETL 管道）在对话中可互换使用。 但您应该将 ETL 管道视为数据管道的子类别。 我们可以通过三个关键特征区分这两种管道：

• ETL 管道遵循特定的顺序。 ETL 是一个缩写，指的是提取数据，转换数据，然后在数据存储库中加载和存储数据。 所有数据管道都不需要遵循该顺序。 事实上，随着云原生工具的出现，ELT 管道越来越受欢迎。 虽然该管道仍然会首先进行数据采集，但在将数据加载到云数据仓库后，可以应用任何转换。  

• ETL 管道也倾向于使用批处理，但如上所述，数据管道的范围更广。 它们也可以包括流处理。 

• 最后，虽然不太可能，但数据管道作为一个整体并不一定需要像 ETL 管道那样进行数据转换。 很少看到不利用转换来推动数据分析的数据管道。 

随着大数据的不断发展，数据管理 (Data pipeline) 成为越来越重要的优先事项。 虽然数据管道 (Data pipeline) 的功能多样，但在业务中主要有三种形式的应用： 

• 探索性数据分析：数据科学家使用探索性数据分析 (EDA) 来分析和调查数据集并总结其主要特征，通常采用数据可视化方法。 EDA 有助于确定如何最好地操作数据源以获得所需的答案，使数据科学家更容易发现模式、发现异常、检验假设或检查假设。

• 数据可视化：数据可视化 是指通过使用常见图形（如图表、统计图、信息图甚至动画）来表示数据。 这些信息视觉显示以一种易于理解的方式展现复杂的数据关系和数据驱动洞察。

• 机器学习： 机器学习是人工智能 (AI) 和计算机科学的分支，专注于使用数据和算法来模仿人类学习的方式，逐渐提高其准确性。 通过使用统计方法，对算法进行训练，以进行分类或预测，揭示数据挖掘项目中的关键洞察。