发布日期：2024 年 5 月 20 日
撰稿人：Tim Mucci
数据市场是一个在线平台，数据提供商和消费者可以在其中列出、购买和交易数据。在这些数字店面中，供应商可以有效地推广、管理和销售其数据，而消费者则可以通过自助式用户友好型界面探索、比较和购买各种数据集。
虽然数据市场主要面向外部，但也有内部市场或数据交易所，可以专注于内部和外部数据共享，为组织的数据需求提供集中式平台。高级搜索和筛选功能可帮助用户找到根据其特定需求量身定制的相关数据。这些平台通常托管在云服务上，允许数据生产者轻松上传他们的数据集。
从历史上看，请求访问外部数据涉及联系多个提供商、进行合同谈判和管理复杂的数据传输。大数据的激增使得数据市场成为现代企业寻求使数据更易于获取和用于创新的必需品。各行各业的组织都明白，他们收集和生成的数据不仅是运营的副产品，而且是可以用来获得竞争优势的宝贵资产。
公司利用数据来维持和扩大其市场地位。例如，大型零售连锁店使用数据来更有效地管理库存、预测销售趋势并优化物流。科技巨头分析用户数据，以改进产品功能，并更有效地投放针对性广告。随着机器学习 (ML) 和 人工智能 (AI) 功能的成熟，企业的内部数据不足以构建准确且相关的模型，从而推动了对外部数据访问的需求。
这些外部数据来自共享生态系统，例如开放数据政府计划、智慧城市的传感器数据、城市数据交易所以及第三方商业数据提供商。数据市场的出现使组织能够获得明智决策、增强商业智能以及应用 AI 与 ML 模型所需的数据。
物联网 (IoT)、AI、深度学习和 ML 等大数据分析技术的兴起为组织数据带来了新的价值。数据交易平台简化了数据采集过程，比以往任何时候都更容易弥合买卖双方之间的差距，类似于跳蚤市场的供应商，但买卖的是数据。
数据市场具有三大优势：
- 商业可用性：私人数据可以在线出售。
- 人人可访问：个人、政府和组织，包括数据科学家和分析师，都可以购买和出售数据，访问以前无法访问的数据。
- 可扩展的优势：市场所有者大规模增强了买卖双方的业务运营。
通过利用外部数据，可优化预测模型、解决安全薄弱环节、提高效率并最大化投资回报。“外部数据”是指源自企业外部的数据，不同于内部数据，后者是指由企业自身运营和内部事务产生的数据。于组织而言，外部数据是对内部数据的重要补充，因此是宝贵资产，可提供更广泛的背景信息，帮助企业突破内部数据限制获得更多洞察分析。
数据的持续货币化为数据即服务 (DaaS) 铺平了道路，组织可从其数据资产中创建可扩展的收入流。在数据市场中，提供商列出他们的数据产品、设定价格并提供数据传输所需的信息。消费者几乎可以立即搜索、购买和使用数据，从而降低获取数据的成本和复杂性，并促进数据驱动的决策。
访问数据集合不应损害数据隐私。参与者必须遵守有关收集个人信息的所有适用法律和道德标准。数据提供者必须遵守《通用数据保护条例》(GDPR) 和 California Consumer Privacy Act 等法规。
在全球范围内，数据市场必须应对不同的监管环境，这可能会给跨国运营带来挑战。数据市场平台必须适应性强、开放并遵守当地的数据保护法，而各个国家或地区之间的数据保护法可能存在很大差异。
通过内部数据市场，可以轻松访问并获取适用于特定领域和用例的可重复使用的业务数据。这些市场能让用户更轻松地发现高质量 AI 和数据产品，腾出更多精力专注于生成洞察而不是管理数据，从而加速内部数据资产的变现进程。
在生成和使用大量数据的大型组织和企业中，内部数据市场越来越流行。这些市场旨在增强数据共享、发现和可用性，连接数据孤岛并使访问民主化，确保所有授权用户都可以快速有效地为其项目选择合适的数据。这种方法不仅由于用例的具体性而导致高转化率，意味着数据搜索和请求带来成功的交易，而且还促进了组织内更加集成的数据处理方法。
通过简化整个组织的数据共享并促进简化的数据发现，内部市场可提高组织效率并培育透明和协作的文化。他们实施严格的治理框架并配备必要的防护措施，以确保数据安全并遵守服务级别协议 (SLA) 和法律标准。该框架支持在整个组织范围内共享源自各种环境的数据产品，从而简化了数据产品的采纳、共享、发现和使用。
内部数据市场的特点通常是使用与多个技术堆栈无缝集成的非专有解决方案，避免供应商锁定并确保数据操作的灵活性。这一战略选择支持多功能且适应性强的数据管理基础设施，这对于不断变化的业务环境来说是必不可少的。
借助数据市场，企业能够访问并利用广泛的数据集，而不仅仅是收集到的内部数据。多样化的数据可带来多样化的解决方案，因此获取海量数据有助于解锁全新观点和方法。全面的数据集至关重要，能够帮助企业推动研发工作并找到应对复杂挑战的创新解决方案。此外，如果能够使用不同类型的数据，企业将能够获得内部数据所无法带来的宝贵洞察。
数据市场有助于创造公平的竞争环境，尤其是对于原本可能无法负担或访问高质量数据的小型企业。通过推动数据民主化，这些平台可促进良性竞争并打破传统行业壁垒，从而助力各行各业提供更好的产品和服务。这种数据访问权限上的变革给初创公司和中型企业带来了重大机遇，使他们能够挑战大型企业并进行大规模创新。
由于整合了多个数据来源，数据市场可提供不断更新、不断扩展的海量优质数据。这种数据多样性不仅有助于扩宽分析范围，还能提高洞察分析的准确性和可靠性，这对于做出明智决策至关重要。更为丰富的数据生态系统意味着，企业可以获得更详尽、更精确的分析结果。
获取数据的过程往往既繁琐又低效。数据市场通过提供一个集中位置来简化这一过程，组织可以在其中快速查找和采购他们需要的数据。这种高效率不仅节省了时间，而且还减少了与传统数据采购方法相关的后勤问题。
访问更全面的数据范围使组织能够做出明智的决策。无论是分析市场趋势、了解消费者行为还是优化运营效率，数据市场都为企业提供了必要的情报来指导其策略并改善其结果。
数据市场生态系统由各种利益相关者组成，每个利益相关者都在市场的功能和有效性中发挥着关键作用。理解这些角色有助于阐明数据从创建到使用的流程，确保所有参与者都能在安全、受监管的环境中操作。
数据提供商是供应数据资产供消费的组织或个人。这些提供商既包括提供匿名患者数据供制药公司和药物研究人员使用的医疗保健机构，也包括汇编和分发有价值数据的聚合商、经纪人和研究机构。通过个人设备或应用程序生成数据的个人用户也对该生态系统做出了重大贡献，提供了可能无法通过大型机构渠道获得的独特数据集。
数据消费者是指为各种目的（包括分析、AI 项目、研究或增强商业智能）而寻求特定数据集的组织或个人。消费者依靠数据的质量和相关性来制定战略决策、推动创新并保持在各自领域的竞争优势。数据消费者的多样性反映了数据在不同领域的广泛适用性，从寻求通过预测性分析改善风险管理的金融服务，到寻求改进消费者细分和定位策略的营销公司。
平台运营商是数据市场的设计者和管理者。他们开发、维护和运营平台，提供必要的基础设施和安全措施。这些运营商确保市场平稳运行，支持数据提供商和消费者之间的交互。他们的职责包括管理支持数据交易的技术框架，确保数据完整性并维护系统安全，防止潜在违规行为。
许多数据市场都受数据治理机构或监管机构监督，这些机构负责制定关于数据交换和使用的政策、标准和合规要求。这些机构十分重要，能够保护市场内的数据、确保所有事务符合法律和道德标准，并维护用户信任。他们在执行数据隐私法规方面发挥着关键作用，如欧洲的 GDPR 和加利福尼亚的 CCPA 法规，这些法规就如何处理和保护数据做出了相应规定。
参与者之间的互动是市场运营的基础。数据提供商必须确保其数据集准确且符合隐私标准，这使平台运营商能够自信地托管和促进数据交换。然而，数据消费者依赖平台安全措施的健全性和数据治理的完整性来安全有效地使用数据。与此同时，治理机构会监控这些交互，确保遵守监管要求，并在必要时进行干预，以解决任何合规问题。
数据市场迎合了广泛的行业，每个行业都带来不同的数据类别。了解这些数据类型有助于组织和个人确定他们需要的特定数据集，以便为他们的决策提供信息、支持分析或推动商业战略。
从了解人口统计学和企业统计学到分析市场趋势和地理空间数据，市场平台可以满足广泛的需求。数据市场和交易所还提供来自互联设备的交易记录、社交媒体洞察和传感器数据，使企业能够做出明智的决策、推动分析并优化各个行业的战略。公共数据和网络抓取的数据带来了另一层的价值，可为舆论、市场研究和政策制定提供宝贵的见解。
数据市场旨在支持数据商务，依靠供需动态来高效运营。这些平台采用各种复杂的功能来简化整个数据交易流程，确保数据既可以轻松共享、访问又可以安全地管理。
将数据投放到市场上的第一步是数据产品化。此过程涉及可供购买的数据产品的开发、工作流管理和维护。它确保数据集以对潜在买家既可访问又有价值的方式打包，从而提高数据的可用性。
为了帮助用户高效地找到所需的确切数据，数据市场提供了强大的数据发现工具。这些工具包括一个可搜索库，其中包含详细的元数据显示，可以帮助用户快速轻松地识别和访问所需数据集。这种能力对于最大限度地提高市场上可用数据资产的效用至关重要。
API 在管理数据产品访问方面发挥着决定性的作用。除了访问控制集成和其他技术外，API 还确保授权用户可以安全可靠地访问数据。该技术促进了数据提供商和消费者之间的无缝交互，支持从学术研究到商业智能的各种用例。
数据货币化功能使供应商能够有效地许可和销售其数据产品。通过提供执行交易所需的工具（例如支付网关和许可协议），市场使数据供应商有可能从其数据资产中获得收入。这不仅使提供商受益，而且还通过吸引各种数据产品促进了市场的增长。
数据集成功能允许在各种来源和平台之间顺利传输和接收数据。此功能确保数据市场可以在更大的技术生态系统中运行，并与不同的数据库、云服务和分析工具集成。它支持数据操作的可扩展性，使数据买家和卖家都能高效、安全地交换信息。
为了保持其实用性和可靠性，数据市场必须遵守数据管理的最佳做法：
数据质量：确保数据的准确性、一致性、完整性和及时性是根本。
数据来源：有必要了解数据创建者、数据收集方式，以及数据是否经过匿名化或去标识化处理以保护隐私。
治理和合规性：数据必须符合法律和监管标准，因此需要采取健全的安全措施，包括安全存储和受控访问。
市场声誉：实施质量检查、提供用户评价以及促进争议解决，这些都有助于维护市场声誉。
验证和确认：在将数据整合到市场之前，应对数据的准确性和相关性进行严格测试。
与提供商的合作关系：与数据提供商的牢固关系可加强对数据局限性和用途的了解，确保数据保持最新且相关。
无供应商锁定：确保市场技术和政策支持与多个供应商和系统的轻松集成，从而防止对单一供应商的依赖，并实现供应商选择和技术更新的灵活性。
数据市场在结构和用途上不尽相同，可满足不同的用户需求并适应不同的数据敏感程度。了解这些差异有助于选出能满足特定数据需求的合适市场。
任何人都可以通过公开链接随时访问公共数据市场。它们提供来自不同提供商的广泛数据，与内部市场相比，它们受到不同程度的信任。公共市场的提供商必须确保共享数据的安全并符合相关的监管法律。用户应该预见到，可能会影响数据访问和使用的当地治理情况会使服务级别协议和限制产生变动。
私有或个人数据市场响应了消费者对其个人数据的隐私和控制的要求。这些市场允许个人通过共享在线行为或位置信息等数据获得补偿，通常以换取代金券或礼品卡。这些数据对于了解人口流动和行为非常有价值，这在灾难或流行病等事件期间至关重要。
混合数据市场融合了公共市场和私营市场的特点。它提供了一个灵活的平台，部分数据可以公开访问，而更敏感或更有价值的数据则受到限制，只能通过私人链接访问。此设置允许内部和外部数据使用者进行受控的数据产品访问。例如，一个大型数据集可能在组织内部完全可用，而外部用户只能访问其中的一个子集，这取决于控制不同级别用户访问权限的许可安排。
多层数据市场同时满足内部和外部数据消费者的需求，但根据数据的“级别”或“层”提供受监管的访问。这些层可能包括原始数据、处理后的数据或派生数据，这些数据已以某种方式汇总、转换或丰富，以便外部使用。由于需要针对每笔交易来管理增强的安全性、访问控制和基于角色的权限，因此这类市场通常需要复杂的架构。
B2B（企业对企业）数据市场旨在于组织之间交换数据，其模式通常是要求为列出的数据付费，或仅通过出售数据来获利。这些市场对于寻求独家、分析级数据和复杂数据集的组织具有吸引力，并使用可以促进集成的 API。
随着组织越来越多地利用来自越来越多的 IoT 设备的数据，IoT 数据市场正在兴起。这些市场整合了全球信息流，使组织与消费者行为、互联网趋势和技术进步保持一致。它们通常采用灵活的定价模式，例如按小时付费，使其相对容易获得。
开放数据市场提供任何人都可以访问的公开数据。其中一个例子是美国的 data.gov（ibm.com 外部链接），它汇总政府数据以增强透明度和问责制。这些市场对于促进政府数据的开放获取以及支持公民参与和创新至关重要。
要有效驾驭数据市场，就必须根据企业数据战略与合规标准采用系统化方法。下面提供的分步指南介绍了企业应如何使用数据市场来充分提高数据采集工作的成效：
了解数据需求
对于任何组织而言，第一步都是清楚地了解自己的数据需求。这涉及确定支持业务目标和增强决策流程的具体数据要求。了解这些需求有助于将搜索范围缩小到最相关的数据集，确保资源的有效利用。
谨防供应商锁定
更换数据提供商可能会变得困难且成本高昂。避免供应商锁定可提高数据采购策略的灵活性。优先考虑开放数据标准并避免专有系统有助于组织保持对其数据的控制。
选择信誉良好的数据市场
选择信誉良好的数据市场至关重要。企业应选择因出色的可靠性、安全措施和正面客户反馈而享有盛誉的数据平台。信誉良好的数据市场不仅可以提供高质量数据，还可以确保交易安全且数据处理实践符合法规。
评估数据提供商
确定合适的市场后，评估市场内数据提供商的资质和声誉。评估提供商的历史、数据生成方法和以前的客户评论可以深入了解其可靠性和所提供数据的质量。
检查数据来源和合规性
至关重要的一点是，必须了解数据来源、数据收集方式以及数据是否经过处理或修改。确保数据符合所有相关法律法规，如用于保护欧盟公民的相关数据的 GDPR，才能避免承担法律后果。
评估数据质量
数据的质量至关重要。评估数据的准确性、及时性、完整性和相关性，以确保其符合组织的标准。高质量的数据对于做出明智决策，推动业务成功至关重要。
实施数据治理
在与数据市场互动时，实施稳健的数据治理实践至关重要。数据治理可确保获取的数据在组织中的整个生命周期中都按照预定义的标准和策略进行管理。
核实和验证
在将数据完全集成到您的系统之前，请对其进行验证和确认，以确保其符合您的要求并且没有错误。这可能涉及统计分析、交叉引用现有数据或进行试点测试，以评估其对当前系统的影响。
监控和更新
数据需求和数据质量会随着时间的推移而变化，因此必须持续监控和更新数据及其来源，这一点非常重要。定期更新和检查可确保数据保持相关性和有用性。
数据管理员负责监督组织内数据的管理和保管，他们可能会有更多的考虑：
集成
确保来自市场的数据可以与现有系统无缝集成，而不会影响数据完整性或造成技术中断。
成本效益
对照分析购买的成本效益比与从数据中得出的潜在价值。这有助于做出经济上合理的决策。
生命周期管理
对于所获取的数据，应在从开始纳入直至淘汰的整个生命周期中加以严格管理，确保其在整个使用过程中保持合规和相关。
元数据管理
维护准确而全面的元数据，以有效支持数据可用性和存档实践。
道德与公平
在数据使用中恪守道德标准，确保公平且负责任地使用数据，特别是涉及个人或敏感信息的数据。
组织内培训
教育组织成员了解数据合规性、道德使用和使用获取数据的最佳实践的重要性。
与供应商建立关系
与数据提供商建立并保持良好的关系，以确保稳定提供高质量数据，并在出现差异或有特定数据需求时提供支持。
法律方面的考虑
随时了解使用所购数据的法律问题，包括许可条款和使用限制，以避免法律问题。
IBM Data Product Hub 是一种自助服务解决方案，用于共享数据产品。在 Data Product Hub 上，数据生产者可以发布精选的数据产品，以便与数据消费者共享。如此一来，数据消费者便可以轻松获取能满足其业务需求的数据产品。
IBM Knowledge Catalog 是一款数据治理软件，通过提供数据目录来自动化数据发现、数据质量管理、数据沿袭和数据保护等任务。IBM Knowledge Catalog for IBM Cloud Pak for Data 可用来提供业务就绪数据，为 AI 和分析项目提供支持。
watsonx.data 是基于开放式湖仓一体架构打造的适用数据存储方案，可用于扩展 AI 工作负载。它可以简化企业的数据环境，允许通过单一入口点随时随地访问所有数据。