什么是数据可靠性？

数据越可靠，就越值得信赖。无论是在学术研究、商业分析还是公共政策方面，对数据的信任为获得有意义的洞察分析和明智的决策提供坚实的基础。

不准确或不可靠的数据可能导致错误结论、缺陷模型和糟糕决策。这就是为什么越来越多的公司引入首席数据官。2019 年至 2021 年期间，顶级上市公司的首席数据官数量增加了一倍。¹

不良数据的风险与准确数据的竞争优势相结合，意味着数据可靠性措施应成为每个企业的优先事项。为了取得成功，重要的是要了解评估和提高可靠性所涉及的内容（这在很大程度上取决于数据可观察性），然后设定明确的责任和改进目标。

实施端到端数据可观察性，可以帮助数据工程团队在不良数据问题有机会蔓延之前识别、排查和解决问题，从而确保整个数据堆栈中的数据可靠性。

衡量数据的可靠性需要考虑三个核心因素：

数据的有效性取决于它的存储方式和格式是否正确，以及它衡量的内容是否是预期衡量对象。例如，如果您正在收集有关现实世界特定现象的新数据，那么只有准确反映该现象并且不受无关因素影响的数据才有效。

数据完整性可识别信息中是否缺少任何内容。虽然数据可能有效，但如果不存在可能改变其他人理解信息的关键字段，则数据可能仍然不完整。不完整的数据可能导致偏差分析或错误分析。

数据唯一性可检查数据集中是否存在重复数据。这种唯一性对于避免过度代表性非常重要，因为过度代表性并不准确。

为了更进一步了解，一些数据团队还考虑各种其他因素，包括：

• 是否以及何时修改了数据源
• 对数据进行了哪些更改
• 数据更新的频率
• 数据最初来自何处
• 数据的使用次数

衡量数据的可靠性对于帮助团队建立对数据集的信任并及早发现潜在问题至关重要。定期有效的数据测试可以帮助数据团队快速查明问题，确定问题根源并采取行动解决问题。

现代数据平台不仅需要技术的支持，还需要开发运维 (DevOps)、DataOps 和敏捷理念的支持。尽管开发运维和 DataOps 的目的完全不同，但它们都类似于敏捷理念，旨在缩短项目工作周期。

开发运维专注于产品开发，而 DataOps 专注于创建和维护分布式数据架构系统，从数据中提供业务价值。

敏捷是一种软件开发理念，旨在提高速度和效率，但不会消除“人工”因素。它强调将面对面对话作为最大限度增进沟通的方式，同时也强调将自动化作为最大限度减少错误的手段。

数据可靠性和数据有效性涉及数据质量的两个不同方面。

在数据管理的背景下，这两种特质在确保现有数据的完整性和实用性方面发挥着至关重要的作用。

• 数据可靠性侧重于不同观察结果或测量结果中数据的一致性和可重复性。从本质上讲，每次重复特定测量或观察操作时，可靠的数据都应该产生相同或非常相似的结果。这是为了确保数据随着时间推移和在不同的上下文中保持稳定和一致。
  
  
• 数据有效性，从数据验证的意义上来说，涉及数据的准确性、结构和完整性。它确保任何新数据的格式正确、符合必要的规则并且准确且无损坏。例如，日期列应该包含日期而不是字母数字字符。无效数据可能会导致各种问题，例如应用程序错误、数据分析结果不正确以及整体数据质量差。

尽管数据可靠性和数据有效性相关，但它们不可互换。例如，您可能拥有高度可靠的数据收集流程（提供一致且可重复的结果），但如果收集的数据未经验证（不符合所需的规则或格式），最终结果仍然是低质量数据。

相反，您可能拥有完全有效的数据（满足所有格式和完整性规则），但如果收集该数据的流程不可靠（每次测量或观察都会产生不同的结果），那么该数据的实用性和可信度就会受到质疑。

为了保持数据的可靠性，必须建立并严格遵循收集和处理所有类型数据的一致方法。为了确保数据的有效性，必须制定严格的数据验证协议。这可能包括数据类型检查、范围检查、引用完整性检查等。这些协议将有助于确保数据采用正确的格式并遵守所有必要的规则。

所有数据可靠性举措都在众多研究和数据分析领域提出了相当重要的问题和挑战，包括：

确保数据的可靠性是健全数据管理的一个基本方面。以下是维护和提高整个数据堆栈中数据可靠性的一些最佳实践：

1. 标准化数据收集：建立清晰、标准化的数据收集程序。这有助于减少变体并确保随时间推移保持一致性。
   
   
2. 培训数据收集者：收集数据的个体应接受适当的培训，以了解尽量减少人为错误的方法、工具和协议。他们应该意识到可靠数据的重要性以及不可靠数据的后果。
   
   
3. 定期审计：定期的数据审计对于发现可能影响可靠性的不一致或错误至关重要。这些审计的目的不仅是发现错误，而且需要识别错误的根本原因并实施纠正措施。
   
   
4. 使用可靠的仪器：使用经过可靠性测试的工具和仪器。例如，如果您正在使用流处理，则应测试和监控事件流，以确保不会缺失或重复数据。
   
   
5. 数据清洗：采用严格的数据清洗流程。这应该包括识别和解决异常值、缺失值和不一致问题。使用系统方法处理缺失或有问题的数据。
   
   
6. 维护数据字典：数据字典是数据信息的集中式存储库，例如数据类型、含义、与其他数据的关系、来源、用途和格式。它有助于维护数据一致性并确保每个人都以相同的方式使用和解读数据。
   
   
7. 确保数据可重复性：记录数据收集和处理的所有步骤可确保其他人重现您的结果，而这是可靠性的一个重要方面。这包括对所用方法提供清晰的解释以及维护数据和代码的版本控制。
   
   
8. 实施数据治理：良好的数据治理策略有助于提高数据的可靠性。这包括制定明确的策略和程序，规定可以访问和修改数据的人员，并清晰记录对数据集所做的所有更改。
   
   
9. 数据备份和恢复：定期备份数据，避免数据丢失。此外，请确保提供可靠的数据恢复系统，以防数据丢失。

数据可观察性是指了解系统中数据的运行状况和状态。它包括各种活动，而不仅仅是描述问题。数据可观察性可以帮助近乎实时地识别、排查和解决数据问题。

重要的是，数据可观察性对于解决不良数据问题至关重要，而不良数据问题是数据可靠性的核心。从更深入的角度来说，数据可观察性涵盖监控、警报、跟踪、比较、分析、日志记录、SLA 跟踪和数据沿袭等活动，所有这些活动协同作用，以了解端到端数据质量，包括数据可靠性。

如果实施良好，数据可观察性可以通过尽早发现问题来帮助提高数据可靠性，从而使整个数据团队可以更快地做出响应，了解影响的程度并恢复可靠性。

通过实施数据可观察性实践和工具，组织可以增强数据可靠性，确保数据在整个数据生命周期中准确、一致且值得信赖。这在数据驱动的环境中尤其重要，在这种环境中，高质量数据可以直接影响商业智能、数据驱动的决策和业务成果。