数据剖析或数据考古是检查和清理数据的过程，以更好地了解数据结构并在组织中始终达到数据质量标准。
主要目的是，使用方法检查和总结数据，然后评估其状况以深入了解数据质量。这项工作通常是由数据工程师执行的，他们将使用一系列业务规则和分析算法。
数据剖析根据准确性、一致性和及时性等因素评估数据，以显示数据是否缺乏一致性或准确性或存在空值。根据数据集的不同，结果可能是像统计信息一样的简单内容，例如列形式的数字或值。数据剖析可用于涉及数据仓库或商业智能的项目，对大数据甚至更有利。数据剖析可能是数据处理和数据分析的重要前奏。
了解将数据湖仓一体策略集成到您的数据架构的强大功能，包括扩展 AI 的增强功能和成本优化机会。
立即注册，获取有关生成式 AI 的电子书
公司集成软件或应用程序，以确保正确准备数据集，并充分利用其优势以清除错误数据。具体而言，您可以确定哪些来源存在或产生数据质量问题，这些问题最终会影响您的整体业务运营和财务能否获得成功。该过程还执行必要的数据质量评估。
数据剖析的第一步是，收集数据源和关联的元数据以进行分析，这通常可能会导致发现外键关系。接下来的步骤旨在清理数据，以确保统一的结构并消除重复数据等。在清理数据后，数据剖析软件将返回统计信息以描述数据集，并且可能包括平均值、最小值/最大值和频率等内容。下面，我们将简要介绍正确的数据剖析技术。
数据剖析应该是组织处理数据的重要组成部分，公司应将其视为数据清理的关键组成部分。它不仅可以帮助您了解数据，而且还可以验证数据是否达到标准统计指标。分析师团队可以通过多种不同的方法进行数据剖析，但通常分为三大类，目标都是提高数据质量并更好地了解数据。
以下是分析师可用来剖析数据的方法：
- 结构发现：这种方法侧重于数据格式，并确保数据格式在整个数据库中是一致的。在检查数据库时，分析师可能会在这种方法中使用多种不同的过程。一个过程是模式匹配，它可以帮助您了解格式特定的信息。例如，如果您正在排列电话号码，并且一个电话号码缺少值。这就是可能在结构发现中发现的问题。
- 内容发现：这种方法是指，分析数据行是否存在错误或系统问题。该过程仔细检查数据库的各个元素，并且可以帮助您找到不正确的值。
- 关系发现：这种方法涉及找出正在使用的数据，并试图找到每个数据集之间的关联。为此，分析师从元数据分析开始以找出数据之间的关系，然后将范围缩小到特定字段之间的关联。
一般来说，对数据进行剖析时，几乎没有任何缺点或不利之处。数据量大是一回事，但数据质量很重要，这就是数据剖析的作用所在。在您具有精确格式的标准化数据时，几乎不会出现客户不满意或沟通不畅的情况。
挑战本质上大多是系统性的，因为举例来说，如果数据没有集中放置在一个地方，就很难找到这些数据。但如果安装了某些数据工具和应用程序，这就不应成为问题，而且只会对公司的决策有利。让我们仔细看看其他主要优点和挑战。
优势
数据剖析可以提供与任何其他工具不同的简要数据概览。更具体地说，您可以获得以下结果：
- 更准确的分析：完整的数据剖析将确保更高的质量和更可靠的数据。正确剖析数据有助于更好地了解不同数据集和来源之间的关系，并有助于支持数据治理过程。
- 将信息保持集中：通过使用数据剖析对数据进行检查和分析，您可以获得高得多的数据质量，并使数据更加有条理。源数据检查将消除错误，并凸显问题最多的领域。然后，它生成洞察和数据结构，以通过尽可能最佳的方式集中放置数据。
挑战
数据剖析挑战通常源于相关工作的复杂性。更具体地说，您可能遇到以下问题：
- 昂贵且耗时：在尝试实施成功的计划时，数据剖析可能会变得非常复杂，部分原因是典型组织收集的数据量巨大。如果聘请经过培训的专家分析结果，然后在没有正确工具的情况下做出决策，这可能会变得非常昂贵且耗时。
- 资源不足：为了启动数据剖析过程，公司需要将所有数据集中放置在一个地方，而实际情况往往并非如此。如果数据位于不同的部门，并且没有经过培训的数据专业人员，对整个公司进行数据剖析可能会变得非常困难。
无论采用何种方法，以下数据剖析工具和最佳实践都会优化数据剖析准确性和效率：
列剖析：此方法会扫描表格，并统计每个值在每一列中出现的次数。需要了解列内的频率分布和模式时，列剖析可能非常有用。
跨列剖析：该技术由两个过程组成：键分析和依赖项分析。键分析过程查找可能的主键以查看属性值数组。而依赖项分析过程用于确定数据集中嵌入了哪些关系或模式。
跨表剖析：该技术使用键分析识别游离数据。外键分析识别孤立记录或一般差异，以检查不同表中的列集之间的关系。
数据规则验证：此方法会根据既定的规则和标准对数据集进行评估，以验证其是否确实遵循了这些预定义规则。
键完整性：确保键始终位于数据中，并识别可能有问题的孤立键。
基数：该技术检查数据集之间的关系，例如，一对一和一对多。
模式和频率分布：该技术确保正确设置了数据字段格式。
虽然数据剖析能够在各行各业的多种环境中提高质量、准确性和可用性，但其更突出的用例包括：
数据转换：在处理数据之前，需要将其转换为可用且进行组织的数据集。这是创建预测模型和检查数据之前的重要步骤，因此，必须在执行任何这些步骤之前完成数据剖析。可以使用 IBM Db2 完成该过程，IBM Db2 是为支持数据转换而构建的云原生数据库。
此外，ELT（提取、加载、转换）和 ETL（提取、转换、加载）是数据集成过程，用于将原始数据从源系统移动到目标数据库。IBM 提供数据集成服务和解决方案以支持业务就绪数据管道，并为您的企业提供高效扩展所需的工具。
数据集成：为了正确集成多个数据集，您必须先了解每个数据集之间的关系。在尝试了解数据指标并确定如何将它们相关联时，这是至关重要的一步。
查询优化：如果要获得最准确和优化的公司信息，数据剖析是关键所在。数据剖析考虑了有关数据库特性的信息，并创建有关每个数据库的统计信息。IBM i 7.2 软件提供了数据库性能和查询优化，以专用于该目的。数据库调优目标是，充分利用系统资源以最大限度缩短查询响应时间。
IBM InfoSphere Information Analyzer 评估数据内容和结构以确保一致性和质量。InfoSphere Information Analyzer 还进行推理和识别异常，以帮助您提高数据准确性。
IBM InfoSphere® QualityStage® 旨在支持您的数据质量和信息治理计划。您可以使用该工具调查、清理和管理数据，从而帮助您保持一致的关键实体视图，包括客户、供应商、位置和产品。