IBM Match 360 with Watson 中的匹配算法

标准化人员

正如名称所表明的那样，标准化程序定义了数据标准化的方式。 标准化使匹配算法能够将不同属性的值转换为可由匹配引擎处理的标准化表示。

匹配算法使用多个标准化程序。 每个标准化程序都适用于处理在记录数据中找到的特定属性类型。

标准化程序由 JSON 对象定义。 每个标准化程序的 JSON 对象定义都包含三个元素:

• label -标识此标准化程序的标签。

• inputs - inputs 列表具有一个元素，即 JSON 对象。 该 JSON 对象具有两个元素: fields 和 attributes:

  • fields -要用于标准化的字段列表。
  • attributes -要用于标准化的属性列表。

• standardizer_recipe -JSON 对象的列表，其中每个对象表示在关联的标准化程序的标准化过程中要运行的一个步骤。 standardizer_recipe 列表中的每个对象都由四个主要元素组成:

  • label -用于标识标准化程序配方中的此步骤的标签。
  • method -使用的内部方法。 此元素仅供参考，不得编辑。
  • inputs - inputs 列表的单个元素定义了一个更高级别的元素。
  • fields -要用于此步骤的字段的列表。 这通常是 inputs 列表中定义的所有字段的子集，级别更高一层。 并非每个步骤都需要处理所有 inputs 字段。
  • set_resource -用于此步骤的 set 类型可定制资源的名称。
  • map_resource -用于此步骤的 map 类型可定制资源的名称。

  根据步骤的行为，在相应的 JSON 对象中可能需要更多配置元素。

实体类型 (buc凭单)

在单个匹配算法中，每个记录类型都可以具有多个实体类型定义 (entity_type JSON 对象)。 例如，在为人员记录类型定义的算法中，您可能需要创建多个实体类型定义，例如人员实体，家庭实体，位置实体等。

每种实体类型都可用于以不同方式匹配和链接记录。 实体类型定义在匹配过程中如何对记录进行 bucketed 和比较。

匹配算法中的每个实体类型定义 (entity_type) 都有四个 JSON 元素:

• clerical_review_threshold -比较分数低于文书复审阈值的记录被视为不匹配。

• auto_link_threshold -比较分数高于自动链接阈值的记录被认为是足够强的匹配项，可以自动进行匹配。

• bucket_generators -此部分包含为实体类型配置的存储区生成器的定义。 有两种类型的存储区生成器: 存储区和存储区组。

  • 存储区 仅涉及一个属性的存储区。 每个 bucket 定义都包含四个元素:

    • label -用于标识存储区生成器的标签。
    • maximum_bucket_size -用于定义大型存储区大小的值。 在匹配期间，不会考虑存储区大小大于此值的任何存储区散列用于候选项选择。
    • inputs -对于存储区， inputs 列表只有一个元素，即 JSON 对象。 该 JSON 对象具有两个元素: fields 和 attributes:
      • fields -要用于窃用的字段的列表。
      • attributes -要用于分包的属性的列表。
    • bucket_recipe -存储区配方列表定义存储区生成器在分包过程中要完成的步骤。 每个 bucket_recipe 列表都有多个子元素:
      • label -用于标识存储区配方元素的标签。
      • method -使用的内部方法。 此元素仅供参考，不得编辑。
      • inputs - inputs 列表的单个元素定义了一个更高级别的元素。
      • fields -要用于此存储区的字段的列表。 这通常是 inputs 列表中定义的所有字段的子集，级别更高一层。
      • min_tokens -在配方构成存储区散列时要使用的最小令牌数。
      • max_tokens -在配方构成存储区散列时要一起使用的最大令牌数。
      • count -对从存储区生成器生成的单个记录的存储区散列数的限制。 如果记录生成大量存储区散列，那么仅选取此元素设置的散列数。
      • bucket_group -生成存储区散列的存储区组的序号。 不会为中间步骤或食谱分配序号。
      • order -指定组合多个令牌以形成存储区散列时，是否按字典顺序对令牌进行排序。
      • maximum_bucket_size -用于定义大存储区大小的值。 此元素与在存储区生成器级别定义的元素相同; 在存储区配方级别具有此元素也使您能够更精细地控制大型单个存储区。

  • 存储区组 涉及对多个属性执行窃用。 每个 bucket_group 定义都包含五个元素:

    • label -用于标识存储区生成器的标签。
    • maximum_bucket_size -用于定义大型存储区大小的值。 在匹配期间，不会考虑存储区大小大于此值的任何存储区散列用于候选项选择。
    • inputs -对于存储区组， inputs 列表具有多个 JSON 对象元素。 JSON 对象各有两个元素: fields 和 attributes:
      • fields -要用于窃用的字段的列表。
      • attributes -要用于分包的属性的列表。
    • bucket_recipe -存储区配方列表定义存储区生成器在分包过程中要完成的步骤。 每个 bucket_recipe 列表都有多个子元素:
      • label -用于标识存储区配方元素的标签。
      • method -使用的内部方法。 此元素仅供参考，不得编辑。
      • inputs - inputs 列表的单个元素定义了一个更高级别的元素。
      • fields -要用于此存储区的字段的列表。 这通常是 inputs 列表中定义的所有字段的子集高一级。
      • min_tokens -在配方构成存储区散列时要使用的最小令牌数。
      • max_tokens -在配方构成存储区散列时要一起使用的最大令牌数。
      • count -对从存储区生成器生成的单个记录的存储区散列数的限制。 如果记录生成许多存储区散列，那么只会选取此元素设置的散列数。
      • bucket_group -生成存储区散列的存储区组的序号。 不会为中间步骤或食谱分配序号。
      • order -指定组合多个令牌以形成存储区散列时，是否按字典顺序对令牌进行排序。
      • maximum_bucket_size -用于定义大存储区大小的值。 此元素与在存储区生成器级别定义的元素相同。 能够在存储区配方级别对其进行定义，使您能够更精细地控制大型单个存储区。
      • set_resource -用于存储区配方的 set 类型资源的名称。
      • map_resource -用于存储区配方的 map 类型资源的名称。
      • output_fields -如果此配方在对输入字段完成分包函数后生成新字段，那么此元素将包含生成的字段的名称列表。
    • bucket_group_recipe -存储区组配方部分通常用于定义由多个属性组成的存储区。 bucket_group_recipe 列表的每个元素都是一个 JSON 对象，用于定义单个存储区组的构造。
      • bucket_group_recipe 中的 inputs 列表具有多个元素，这意味着它是指在 inputs 数组中定义的多个属性 (一个级别更高)。
      • fields 元素是列表的列表。 每个内部字段列表都与相应的 attributes 列表相关联。
      • min_tokens 和 max_tokens 列表具有多个元素，每个元素对应于各自的 attributes 列表。

    注: 在某些蜂鸣式配方定义中，有一个名为 search_only的属性。 缺省情况下，其值为 false。 如果设置为 true，那么此属性指示存储区或存储区组仅用于概率搜索方案，而不用于实体解析 (匹配) 方案。

• compare_methods -为实体类型配置的比较方法的定义。 每个 compare_methods JSON 对象都由各种 compare 方法的定义组成。 匹配算法会将每个 compare 方法定义中的分数相加，以获取最终比较分数。 每个 compare 方法的 JSON 对象都包含三个元素:

  • label -用于标识 compare 方法的标签。
  • methods -构成比较组的比较器列表。 此数组中的每个元素都表示一个比较器，用于一种类型的匹配属性。 匹配算法将 methods 列表中所有比较器中的最大分数视为此比较组中的最终分数。 每个比较器定义都包含两个元素:
    • inputs -对于比较器， inputs 列表只有一个元素，即 JSON 对象。 该 JSON 对象具有两个元素: fields 和 attributes:
      • fields -要用于比较的字段的列表。
      • attributes -要用于比较的属性的列表。
    • compare_recipe -此列表主要用于定义比较步骤。 通常，此数组中只有一个 JSON 元素，仅表示执行比较的一个步骤。 此步骤具有五个元素:
      • label -用于标识比较步骤的标签。
      • method -使用的内部方法。 此元素仅供参考，不得编辑。
      • inputs - inputs 列表的单个元素定义了一个更高级别的元素。
      • fields -要用于此比较的字段比 inputs 列表中定义的所有字段高一级。
      • comparison_resource -用于此比较步骤的可定制比较资源的名称。
  • weights -由比较器进行的每个比较会产生从 0 到 10 的数字分数。 此数字称为距离或非相似性度量。 距离 0 指示要比较的值完全相同。 距离 10 表示它们完全不同。 对应于 11 个不同的值 (0-10) ，为每个比较器定义了 11 个权重。 计算距离后，比较方法从权重列表中确定相应的权重值，得出总比较分数。 数据工程师可以根据数据质量，分布或其他因素，根据需要定制权重。

比较函数

比较函数 (有时称为 比较器) 是匹配算法的关键组件之一。 匹配引擎在匹配过程中使用比较函数来比较记录数据。 本质上，记录匹配涉及在不同记录的数据之间比较不同类型的属性。

对于人员，组织和位置域中的许多常用属性类型， IBM Match 360 匹配引擎包含预配置的比较方法。

在 IBM Match 360中，比较函数使用一种称为 特征向量的比较方法。 IBM Match 360 中有不同的可定制功能定义用于不同的比较功能。 每个比较都产生一个距离度量 (向量) ，显示两个给定属性值的不同程度。

在匹配算法中，将为每个离散距离值赋予一个权重，以确定考虑该值的程度。 重量与距离结合，产生比较分数。 匹配算法将所有比较得分相加，得出整体记录到记录比较的最终比较得分。

编辑距离

IBM Match 360 匹配引擎在比较和匹配各种属性期间计算 编辑距离 作为内部函数之一。 编辑距离是对两个字符串之间的不同程度的测量。 它通过计算将一个字符串转换为另一个字符串所需的更改数来计算。

有不同的方法通过使用不同的字符串操作集来定义编辑距离。 缺省情况下， IBM Match 360 使用在文献中公开可用的标准编辑距离函数。 作为替代方法，您可以选择使用专门的 IBM Match 360 编辑距离功能。

• 标准编辑距离函数 提供了更好的匹配引擎性能。 因此，它是除 "电话" 属性类型以外的所有属性的缺省比较配置。

• 专用编辑距离函数 是为超精度用例构建的。 此选项会考虑类型或相似字符，例如 8 和 B ， 0 和 O ， 5 和 S 或 1 和 I。 当基于相似字符的两个比较值不匹配时，分配的非相似性度量小于标准编辑距离函数分配的度量。 因此，这些类型的不匹配不会受到专门功能的强烈惩罚。

  重要信息: 专用编辑距离函数包含一些复杂计算。 因此，选择此选项会在匹配过程中影响系统性能。

注： 在 IBM Cloud Pak for Data 4.0 refresh 7 ( 4.0.7 ) 之前，专门的编辑距离函数是计算编辑距离的唯一选项。

有关定制匹配算法 (包括使用 API 来定制编辑距离) 的信息，请参阅 定制和加强匹配算法。