什么是ELT（提取、加载、转换）？

By Alice Gomstyn , Amanda McGrath

ELT 定义

ELT（提取、加载、转换）是一种数据集成流程，将原始数据从源系统移动到目标系统。目标系统可以包括云数据仓库、数据湖或湖仓一体。

ELT 通常被视为 ETL（即提取、转换、加载）数据集成的对应方法。然而，与 ETL 不同的是，ELT 管道把数据转换放在数据集成流程的末端，而不是中间。这种方式可以加快数据从源到目标的移动，随后再在目标系统内进行数据转换。

各组织在处理云环境中不断扩张的数据资产时，正越来越依赖 ELT。ELT 让企业能够利用云平台的算力与弹性，按需、大规模地转换数据。这种灵活性使企业能够采集和转换来自不同来源和格式的数据，并保留对原始数据的访问能力，以备未来各类用例之需。它还能让企业以较低的前期成本构建管道。

虽然 ELT 最初是一种基于批处理的流程，但它也可以借助 Apache Kafka 等实时数据流平台来支持流数据的集成。其他关键的 ELT 工具还包括与主要数据存储库集成的数据集成和数据转换解决方案。

通过 Think 时事通讯，了解有关 AI、自动化、数据等方面最重要且最有趣的行业趋势。请参阅 IBM 隐私声明。

ELT 让企业能够快速存储海量数据，并充分利用云原生数据架构的优势。

大约从 2010 年开始，ELT 成为一种不可或缺的集成流程，原因至少有两个关键方面：

随着各组织寻求管理前所未有的庞大数据资产，它们转向了云环境。与本地服务器相比，云环境可以提供更便宜、更可扩展的存储。换句话说，它们通常被视为不断增长且多样化的数据集的理想存储场所。

同样重要的是，云平台和基于云的数据仓库让大规模数据转换成为可能。这一模式意味着不再需要像传统 ETL 管道那样，在数据管道中间对数据进行转换。相反，数据可以在目标系统中高效转换——这正是 ELT 的做法。

数据工程师通常更偏好 ELT，因为它比传统 ETL 更擅长处理海量数据，也能容纳更多样化的数据，包括半结构化和非结构化数据。保持原始数据可用也有一些优势：在执行转换之前，不同团队和数据科学家可以按需定制转换逻辑，同时保留原始数据以备未来之需，从分析到机器学习都涵盖在内。

“关键在于您的用例以及您想要实现的目标，”IBM 高级技术顾问 Jamil Spain 说，“先加载数据，然后进入沙盒环境弄清自己手头有哪些数据，这种做法是有道理的。在此基础上，您可以再着手把数据转换成您想要的格式。”

从历史上看，ELT 是一种面向批处理的流程。然而，数据工程的进步如今已可以将 ELT 与 Apache Kafka 等事件流平台配合部署，从而集成流数据并支持实时分析。

“当原始数据进来时，我们会把它放进某些 Kafka 主题里，它更像是一条不断演进的流，”Spain 解释道，“然后我可以编写程序逻辑来进行汇总或计算……我可以在数据增长的过程中对其进行分析。”

虽然 Kafka 是一种开源解决方案，但 IBM 旗下公司 Confluent 等企业级解决方案可以通过增强的数据管理能力、安全的治理、预构建的连接器和客户支持，来强化 Kafka 的实施。

ELT 由三个主要阶段组成：提取、加载和转换。以下各节将详细介绍每个阶段。

在数据提取阶段，数据会从源位置被复制或导出。这些数据可以包含多种数据类型，几乎可以来自任何结构化或非结构化数据源，包括但不限于：

提取出的数据会被移动到数据存储区域，例如数据仓库或数据湖。在此阶段可以进行少量数据处理，包括一些数据清理，例如处理缺失值。

通常情况下，加载发生在工作时间，因为数据使用者希望利用数据进行时效性要求高的分析或获取洞察，没有时间等待传统的 ETL 流程。

在此阶段，数据在目标系统中通过 SQL 和 Data Build Tool (dbt) 等工具完成转换。此阶段可能涉及：

基于原始数据执行计算、转换、数据分析或汇总。这可能包括为保持一致性而更改行列标题、转换货币或计量单位、编辑文本字符串，以及求和或求平均值——一切以满足组织特定的商业智能或分析需求为准。

对受政府或行业法规管辖的数据进行删除、加密、隐藏或以其他方式加以保护，例如欧盟的《通用数据保护条例》(GDPR) 和美国的《健康保险流通和责任法案》(HIPAA)。

人们可能会把 ELT 与另一个缩写几乎相同的相关流程混淆。然而，ELT（提取、加载、转换）与 ETL（提取、转换、加载）之间存在若干明显差异。

两者的主要区别在于操作顺序。与 ELT 不同，ETL 在加载之前执行转换。这两个流程之间最显著的差异包括：

	ELT	ETL
步骤顺序与位置	提取数据后，原始数据直接载入目标系统，并在目标系统内部完成转换。	提取数据后，在数据载入目标系统前，于传输过程中的暂存区内完成数据转换。
数据类型	旨在通过在目标端采用读时模式的方法，处理结构化、半结构化和非结构化数据。	最适合可转换为预定义模式的结构化数据。
数据量	专为大数据而设计。	更适用于较小数据集。
速度	数据能够更快送达目标系统；但非结构化数据需要在目标系统内耗费时间完成格式化，方可投入使用。	在传输过程中进行转换会拖慢数据移动速度，但数据抵达目标系统后即可直接用于分析。
成本	由于数据堆栈相对简单，前期成本较低，但不可预测的数据量可能导致后续意外成本。	与数据基础架构和工程相关的较高前期成本，对转换而言必不可少。
维护	技术栈更精简，维护工作量更低。	维护需求更高，因为管道需要重新构建，以适应数据源变化和下游数据需求。
数据隐私和安全	可通过治理方案与安全措施，降低云端原始敏感数据泄露带来的入侵风险。	敏感数据（例如个人身份信息 (PII)）可以在传输过程中进行转换处理并加以掩码，之后再加载到目标端。