什么是数据摄取？

数据来源包括财务系统、第三方数据提供商、社交媒体平台、物联网设备、SaaS 应用程序、本地部署业务应用程序，例如企业资源规划 (ERP) 和客户关系管理 (CRM)。

这些数据来源既包含结构化数据，也包含非结构化数据。数据摄取后，可以将其存储在数据湖、数据仓库、湖仓一体、数据市场、关系数据库和文档存储系统中。组织摄取数据，以便将其用于商业智能任务，也可用于机器学习、预测建模和人工智能应用。

许多数据摄取工具可自动执行这一过程，将原始数据组织成适当的格式，以便通过数据分析软件进行高效分析。数据摄取通常需要具备数据科学和如 Python 等编程语言方面的专业技能。通过使用提取、转换、加载 (ETL) 过程或提取加载转换过程 (ELT) 对数据进行清理并转换为统一格式，以有效管理数据生命周期。

通过多样且庞大的数据来源，自动化软件可以帮助根据特定的环境和应用程序定制数据摄取过程。它通常包括数据准备功能，以便通过商业智能和分析程序进行即时或后续分析。

数据摄取是处理数据并从企业目前收集的大量数据中提取价值的第一步。精心规划的数据摄取流程可确保输入分析引擎的数据的准确性和可靠性，这对于数据团队有效履行其职能至关重要。数据摄取至关重要的三个关键原因：

数据摄取是从各种来源获取原始数据并将其准备进行分析的过程。这个多步骤管道可确保数据的可访问性、准确性、一致性和可用性，以为商业智能提供支持。它对于支持基于 SQL 的分析和其他处理工作负载至关重要。

数据发现：识别整个组织可用数据的探索阶段。了解数据态势、结构、质量及其潜在用途，为成功摄取数据奠定了基础。

数据采集：一旦确定数据来源，数据采集就涉及到数据的收集。这可能包括从许多来源检索数据，即从结构化数据库和应用程序编程接口 (API) 到电子表格或纸质文档等非结构化格式。其复杂性在于处理多种数据格式、可能的大量数据，并在整个采集过程中确保数据的完整性。

数据验证：获取数据后，验证可确保其准确性和一致性。检查数据是否存在错误、不一致和缺失值。通过数据类型验证、范围验证和唯一性验证等多种检查，数据被清理并变得可靠，为后续处理做好准备。

数据转换：在这一阶段，经验证的数据被转换为适合分析的格式。这可能涉及规范化（去除冗余）、聚合（汇总数据）和标准化（统一格式处理）。其目标是使数据更易于理解和分析。

数据加载：最后一步是将转换后的数据放入指定位置，通常是数据仓库或数据湖，以便随时进行分析和报告。此加载过程可批量或实时完成，具体取决于具体需求。数据加载标志着数据摄取管道的完成，其中数据已准备好用于做出明智决策并生成有价值的商业智能。

摄取数据时，确保其质量至关重要。

• 处理缺失值：常用技术包括插补（用统计度量值替换缺失值）、删除（如缺失值只点数据集的一小部分，则删除相应记录或字段）以及预测（使用机器学习算法基于其他可用数据进行预测和补充缺失值）。
• 识别和纠正异常值：常用技术包括统计学方法，例如使用 z 分数或四分位距 (IQR) 方法来检测异常值。还可通过箱形图或散点图等可视化工具进行识别，并应用对数或平方根变换以减少异常值的影响。
• 标准化数据格式：标准化有助于确保数据集的一致性，以便于分析。这包括统一的数据类型、规范化处理和代码映射。

数据治理通过建立数据处理策略和标准，帮助在摄取过程中维护数据质量。这确保了通过明确的角色和职责分工来实现责任追踪。通过实施指标和监控系统来跟踪和解决问题，促进对 GDPR 或 HIPAA 等法规的合规性，并通过数据定义和格式的标准化来促进数据的一致性。

数据摄取打破了数据孤岛，使组织中需要它的每个人都能随时获取信息。通过自动化数据收集和使用云存储，数据摄取可保护数据安全，并保障人们获得有价值的洞察分析。

数据摄取打破了数据孤岛，使得各个部门和职能领域都可以随时获取信息。这促进了数据驱动文化，确保每个人都能利用公司数据生态系统中获得的洞察分析。

数据摄取简化了从各种来源收集和清理不同格式和结构的数据这一通常很复杂的任务。企业可以将这些数据以统一格式导入中央系统，从而简化数据管理流程。

一个高效的低延迟数据摄取管道能够以高速处理大量数据，包括实时数据摄取。

企业通过数据摄取自动执行数据收集和清理，减少了传统上手动数据聚合流程所需的时间和资源。此外，“即服务”数据摄取解决方案无需前期基础设施投资，进一步提高了成本效益。

精心设计的数据摄取流程使各种规模的企业能够处理和分析不断增长的数据量。可扩展性对于处于增长阶段的公司至关重要。能够轻松应对数据激增，确保企业即使在数据态势扩大的情况下也能继续利用有价值的洞察分析。

通过使用云存储保存原始数据，数据摄取解决方案可在需要时方便、安全地访问海量信息集。这消除物理存储限制，使企业能够随时随地使用数据。

数据摄取、提取、转换、加载 (ETL) 和提取、加载、转换 (ELT) 的目标相同，但方法不同。

• 数据摄取：数据摄取涵盖负责从各种来源收集、提取和传输数据的所有工具和流程，以便进一步处理或存储。
• ETL：提取、转换和加载将从来源系统中提取数据，并将其转换以满足目标系统要求。然后将其加载到指定的数据仓库或数据湖中。
• ELT：提取、加载和转换从来源系统中提取数据。将原始数据加载到目标系统中，然后根据需要按需进行转换，并进行特定分析。ELT 利用云平台的功能处理海量原始数据，并高效地进行数据转换

数据摄取和数据整合在数据管道中具有不同的作用。

数据摄取：作为来自各种来源的数据切入点，主要关注的是数据的成功传输，尽可能减少转换以保持数据的原始结构。

数据整合：专注于转换和统一来自多个来源的数据，然后再将其导入目标系统，通常是数据仓库或数据湖。数据整合可能涉及数据清理、标准化和扩充，以确保整个数据集的一致性和准确性。

数据摄取涵盖将来自不同来源的数据引入指定系统的各种方法。

这种摄取方法涉及在特定时间段内（如每日销售报告、每月财务报表）积累数据，然后对其进行整体处理。批处理以其简单性、可靠性以及对系统性能的影响最小而著称，因为它可以安排在非高峰时段进行。然而，它并不适用于实时应用场景。

这种方法通过在数据生成的瞬间摄取数据，提供即时洞察分析和更快的决策制定，从而实现现场分析和行动。这种方法非常适合时间敏感的应用场景，例如欺诈检测或股票交易平台，因为即时决策至关重要。

流处理与实时处理非常相似，不同之处在于它对摄取的数据进行连续的分析处理。实时处理和流处理都需要大量的计算能力和网络带宽资源。

微批处理方法在批处理和实时处理之间取得平衡。它以小规模且频繁的批次摄取数据，提供近乎实时的更新，而不受全面实时处理的资源限制。为了优化数据及时性与系统性能之间的权衡，需要进行细致的规划和管理。

这种摄取方法结合了批处理和实时处理的优势，为数据摄取提供了全面的解决方案。Lambda 架构能够在处理大量历史数据的同时，处理实时数据流。

数据摄取工具提供了多样化的解决方案，以满足各种需求和技术专业能力的要求。

开源工具：提供对软件源代码的免费访问权限，使用户能够完全控制并定制工具。

专有工具：由软件供应商开发并授权的解决方案，提供预构建的功能和多样的定价方案，但可能伴随供应商锁定和持续的授权许可费用。

基于云的工具：托管于云环境中的摄取工具，可简化部署和维护，并提供可扩展性，而无需前期基础设施投资。

本地部署工具：这些工具在本地或私有云网络上安装和管理，提供更好地数据安全控制，但需要硬件投资和持续的 IT 支持。

在平衡需求和专业技能方面，有几种方法可以构建数据摄取管道：

手工编码管道：这些定制化管道可提供最大程度的控制，但需要较高的开发专业技能。

预构建连接器和转换工具：此方法提供了易于使用的用户界面，但需要管理多个管道。

数据整合平台：该平台为数据旅程的各个阶段提供全面的解决方案，但需要开发专业技能来进行设置和维护。

DataOps：此方法旨在促进数据工程师和数据消费者之间的协作，并实现数据摄取流程各部分的自动化，从而节省宝贵的时间。

虽然数据摄取过程是数据管道的基础，但它也伴随着一定的复杂性。

数据安全：敏感数据暴露的增加会提升遭受安全漏洞的风险。遵守数据安全法规会增加复杂性和成本。

规模和多样性：随着数据量、速度和种类的不断增加，可能会出现性能瓶颈问题。

数据碎片化：数据不一致可能会阻碍数据分析工作，并使创建统一的数据视图变得复杂。当来源数据发生变化而目标系统没有进行相应更新时，就会导致架构漂移，从而扰乱工作流程。

数据质量保证：数据摄取过程的复杂性会影响数据的可靠性。

数据摄取是释放组织内部数据潜力的基础。

数据摄取解决方案使企业能够收集各种数据并将其传输到集中式云数据湖中。在这种情况下，高质量的数据摄取至关重要，因为任何错误都可能损害数据在下游分析和 AI/机器学习计划中的价值和可靠性。

迁移到云以执行高级分析和 AI 计划的组织，常常面临与旧版数据、孤立数据源以及不断增长的数据量、速度和复杂性相关的挑战。现代数据摄取解决方案通常提供无代码向导，可简化从数据库、文件、流式来源和应用程序摄取数据的流程。

数据摄取解决方案通过促进本地部署数据库、数据仓库和大型机内容向基于云的数据仓库的大规模迁移，进而推动数据仓库的现代化。使用数据摄取的变更数据捕获 (CDC) 技术，能够使云数据仓库始终保持最新的信息更新。

实时处理数据流为新的收入机会打开了大门。例如，电信公司可以利用实时客户数据来优化销售和营销策略。同样，从 IoT 传感器收集的数据可以提高运营效率，降低风险，并生成有价值的分析洞察分析。

为了解锁实时分析的潜力，数据摄取工具能够将实时流数据（如点击流数据、IoT 传感器数据、机器日志、社交媒体订阅源）无缝集成到消息中心或流处理目标中，从而在事件发生时实现实时数据处理。