使用 InfoSphere Optim Data Privacy Solution 和 InfoSphere Federation Server 反识别平面文件和分隔文件

在测试场景中维持法规遵从性

在当前具有数据敏感性的环境之中,不仅需要屏蔽传统关系数据库中的数据,还需要屏蔽可能用于测试场景的平面文件中的数据。客户需要连续不断地向供应商、外部测试人员乃至内部测试人员发送文件,这些文件中的数据可能需要遵循法规要求。在本文章中,我们将学习如何利用 IBM InfoSphere™ Federation Server 为平面文件中的数据创建一个关系表(别名),随后利用 IBM Optim™ Data Privacy Solution 应用数据隐私算法,从而反识别平面文件中的隐私数据。[2012 2 月 9 日更新:本文已根据最新版本的 Optim 进行了更新。您现在还能反识别平面位置文件,也可以为列使用几种新的屏蔽函数。--编辑注]

Dan Callahan, 执行 IT 专家, IBM

Dan Callahan 是 Information Management 团队中关注 DB2 的高级认证 IT 专家,他研究所有运行 DB2 以及与 DB2 集成的产品和平台。他于 1987 年作为 MVS 系统程序员/数据库分析员加入 IBM,现在主要关注 DB2 for Linux, UNIX, and Windows 以及任何与 DB2 集成的产品。他还在中国和德国讲授关于 Information Management 软件产品组合的各种主题。



2012 年 3 月 26 日 (最初于 2009 年 7 月 02 日)

免费下载:IBM® DB2® Express-C 9.7.2 免费版 或者 DB2® 9.7 for Linux®, UNIX®, and Windows® 试用版
下载更多的 IBM 软件试用版,并加入 IBM 软件下载与技术交流群组,参与在线交流。

简介

IBM InfoSphere Optim 为流线化测试数据管理提供了一种解决方案,支持更轻松、更快捷地创建能准确反映端到端业务流程的恰当大小的测试数据库。这种解决方案可以利用 Data Privacy Solution 加以扩展,Data Privacy Solution 提供了强大的数据转换功能,能够屏蔽机密的企业数据,从而使您能够在应用程序测试中安全地使用这些数据。这些转换包括多种类型,从而简单的数据屏蔽到针对复杂数据元素(例如信用卡号码、电子邮件地址和国家标识符)的预打包转换算法。

在具有数据敏感性的环境之中,不仅需要屏蔽传统关系数据库中的数据,还需要屏蔽可能用于测试场景的平面位置文件和屏幕分隔文件中的数据。平面位置文件与平面分隔文件基本相同,惟一的差异是换行符是非显式的,此外列之间无分隔符。

如果您要向供应商、外部测试人员乃至内部测试人员发送文件,这些文件中的数据可能需要遵循法规要求。本文向您展示如何利用 InfoSphere Optim Test Data Management 及其 Data Privacy Option 和 InfoSphere Federation Server 合理屏蔽数据。您将学习使用 using Optim Connect Studio 将平面文件数据映射到表,随后将这些表定义为 ODBC 数据源,并使 InfoSphere Federation Server 可以利用 ODBC 包装器访问这些表,如 图 1 所示。

图 1. 使用 InfoSphere Federation Server 和 Optim Connect 访问平面文件
展示使用 InfoSphere Federation Server 中间件访问平面文件的图片

(查看 图 1 的 大图。)

这篇文章中介绍的简要步骤包括:

  1. 确认您已满足先决条件。您需要具备 InfoSphere Optim Test Data Management 及 Data Privacy Option,支持的版本最低为 7.3.1 版本。Optim Connect 软件的版本为 5.3.2 或更高版本,InfoSphere Federation Server 的版本为 9.5 或更高版本。您还需要具有 Optim 一般许可,此许可已包含在产品之中。
  2. 定义需要屏蔽的平面分隔文件 (delim1.txt) 和后续输出文件 (delim2.txt),使 Optim 能够利用 Optim Connect 访问它们。此外还要定义需要屏蔽的平面位置文件 (posit1.txt) 和后续输出文件 (posit2.txt),以便利用 Optim Connect 访问这些文件。用于定义这些文件的工具是 Optim Connect Studio。
  3. 将文件定义为 ODBC 数据源,使 InfoSphere Federation Server 能够访问这些文件。
  4. 为 InfoSphere Federation Server 中的数据源 创建恰当的定义(ODBC 包装器、别名和用户映射)。
  5. 提取数据、定义屏蔽算法,并将屏蔽插入新的输出文件(即 delim2.txt 和 posit2.txt)。本例中的屏蔽使用 Optim 内部的一个较为简单的函数(子字符串) ,但只有在上述文件包含关系表时,才能使用完整的屏蔽功能集。

本文中的说明假设已经在 Windows® 平台上成功安装了 Optim 7.3.1、Optim Connect 5.3.2 和 InfoSphere Federated Server 9.5 或更新版本。


确认先决条件

Optim Test Data Management and Privacy 的版本应为 7.3.1,Optim Connect 的版本需要为 5.3.1,只有这个版本级别的 Optim Connect 才能屏蔽平面位置文件。InfoSphere Federation Server 需要为 9.5 或更新版本。完成下面的步骤,确认您的软件版本级别。

  1. 启动 Optim,单击 Help > About Optim,如 图 2 所示。
    图 2. Optim 版本级别验证
    显示如何检查 Optim 版本级别的屏幕快照

    此时将显示版本和级别,如 图 3 所示。

    图 3. Optim 版本级别
    显示 Optim 版本级别的屏幕快照
  2. 启动 Optim Connect Studio,单击 Help > About Optim Connect Studio,如 图 4 所示。
    图 4. 验证 Optim Connect 的版本级别
    显示如何验证 Optim Connect 版本级别的屏幕快照

    此时将显示版本和级别,如 图 5 所示。

    图 5. Optim Connect 版本级别
    显示 Optim Connect 版本级别的屏幕快照

    必须使用这个级别或更高级别的 Optim Connect,才能处理平面位置文件。

  3. 为了检查 InfoSphere Federation server 的级别,请在 DOS 提示符中输入 db2licm –l 命令,这将返回如 清单 1 所示的结果。
    清单 1. 服务器级别检查的结果
     Product name: "InfoSphere Federation Server"
    License type: "CPU"
    Expiry date: "Permanent"
    Product identifier: "wsfs"
    Version information: "9.5"

使用 Optim Connect Studio 文件-表映射,将平面分隔文件和平面位置文件指定到 Optim

在很多情况下,您可能需要屏蔽屏幕文件数据。为了利用 Optim Data Privacy Solution 中提供的丰富算法,就必须按照访问带有列的关系表的方式来访问文件。随后,您就可以在 Optim 工具中选择要屏蔽的列,并且利用 Optim 内的函数和算法。如需屏蔽平面文件,您需要具备两个文件:一个用于向 Optim 输入,另一个用于接收 Optim 提供的屏蔽数据输出。

请按照下面这些步骤来使用 Optim Connect Studio 定义需要屏蔽的平面文件 (DELIM1.txt) 和输出文件 (DELIM2.txt)。

  1. 为本例创建一个平面文件,其中应包含两行,如 清单 2 所示。
    清单 2. 示例平面文件
     DAN,222,PRINCETON TIM,333,OPTIM
  2. 使用 Optim Connect Studio 定义一个需要屏蔽的位置平面文件 POSIT1.txt 和一个输出文件 POSIT2.txt。平面位置文件如 清单 3 所示。
    清单 3. 示例平面位置文件
     AAAAAAA222BBBBBBBBBB        CCCCCCC333DDDDDDDDDD
  3. 打开 Optim Connect Studio,开始确定平面文件定义和位置平面文件定义的过程。默认视图是 Configuration 视图,但如果此视图未出现,可单击 Window > Show view > Configuration 菜单选项,如 图 6 所示。
    图 6. Optim Connect 配置屏幕
    显示 Optim Connect 配置屏幕的屏幕快照
  4. 展开 localhost,再依次展开 BindingsNAV
  5. 右键单击 Data Sources,再单击 New Data Source,如 图 7 所示。
    图 7. 开始创建新数据源
    显示如何创建新数据源的屏幕快照
  6. 要将分隔类型的文件添加到数据源,请在名称字段中输入 DELIM,突出显示 Delimited Text Files,并单击 Next,如 图 8 所示。
    图 8. 创建新数据源
    显示如何创建新数据源的屏幕快照
  7. 输入文件所在的文件系统,并单击 Finish,如 图 9 所示。
    图 9. 填写文件位置
    显示数据位置的屏幕快照
  8. 展开 DELIM 数据源,右键单击 Show Metadata View,并展开 DELIM,如 图 10 所示。
    图 10. 创建表
    显示如何创建表的屏幕快照

创建新表

按照以下步骤创建新表。

  1. 邮件单击表,再单击 New table,如 图 11 所示。
    图 11. 新建表向导
    显示新建表向导的屏幕快照
  2. 输入表名称 (LIM1),单击 Finish
  3. 在右侧的窗格中,输入数据文件位置(不要使用 “浏览” 按钮),将组织方式更改为 sequential,按下 CTRL+S 保存,如 图 12 所示。通过检查确保您的更改已经保存。
    图 12. 表参数向导
    显示表参数向导的屏幕快照
  4. 单击底部的 Columns 选项卡。
  5. 单击右上角的 Insert。此时将显示 Insert Column 向导,如 图 13 所示。
    图 13. 表列向导
    显示表列向导的屏幕快照
  6. 填写您希望为表使用的第一列的列名 (NAME),单击 OK
  7. 展开数据类型并向下滚动,直至找到所需的第一列数据类型 (varstring),其中包含 DAN,如 图 14 所示。
    图 14. 表属性向导
    显示表属性向导的屏幕快照
  8. 在下一列中输入大小 10。对文件中的所有列重复上述步骤,单击 Insert 按钮,将 Insert after 作为每个新列的位置。最终得到的表和属性如 图 15 所示。
    图 15. 表属性向导的结果
    显示表属性向导的屏幕快照
  9. 按下 CTRL+S 或者单击 *LIM1 旁边的 X,关闭屏幕并保存定义。如需显示 XML,请右键单击表名,再单击 Open as XML。XML 表示如 清单 4 所示。
    清单 4. 表属性的 XML 表示
    <table datasource="DELIM" description="TEST" delimited=","
      fileName="C:\Flatfiles\delim1.txt"
    name="LIM1" organization="sequential" quoteChar="0">
         <fields>
           <field datatype="varstring" name="NAME" size="10"/>
           <field datatype="varstring" name="IDNUM" offset="12" size="10"/>
           <field datatype="varstring" name="WORK" size="10"/>
         </fields>
         <keys/>
        </table>
  10. 确保 XML 中出现了 delimited=”,”。如果未出现该内容,请添加之后这些内容后保存文件。
  11. 对第二个称为 LIM2 的表重复 创建新表 的步骤。检查确保位置和顺序属性已保存。

验证新表

按照以下步骤验证新表。

  1. 验证您已经正确地在平面文件中定义了表,方法是右键单击 LIM1,选择 Test,再单击 Next and Finish。如果表已正确定义了表,您会看到表数据的取样,如 图 16 所示。您还可以使用查询工具,就像处理关系表那样在文件中选择数据。
    图 16. 表验证向导
    显示表验证向导的屏幕快照
  2. 对 LIM2 重复验证。
  3. 关闭所有分隔文件定义。

为位置平面文件创建定义

按照以下步骤操作,为位置平面文件创建定义。

  1. 单击左侧的 Configuration 选项卡,再右键单击 Data Sources
  2. 单击 New Data Source,填写一个名称 (POSIT1)。
  3. 突出显示 Flat files,随后单击 Next,如 图 17 所示。
    图 17. 数据源向导
    显示表副本向导的屏幕快照
  4. 输入位置,随后单击 Finish,如 图 18 所示。
    图 18. 新位置平面文件
    定义位置平面文件的屏幕快照
  5. 对名为 POSIT2 的第二个数据源重复上述 为位置平面文件创建定义 的步骤。

完成数据表

按照以下步骤完成数据表。

  1. 右键单击 POSIT1,并单击 Show Metadata View,如 图 19 所示。
    图 19. Optim Connect Studio
    屏幕快照:数据源配置
  2. 单击展开 POSIT1,随后右键单击 Table
  3. 单击 New Table,输入 POSIT1 作为表名,再单击 Finish
  4. 输入完整的数据文件位置和名称(不要浏览选择,请直接输入位置)。
  5. 将组织方式更改为 sequential,按 CTRL+S,如 图 20 所示。
    图 20. 表定义
    显示表定义的屏幕快照
  6. 单击窗格底部的 Columns 选项卡。
  7. 添加列名和特征 NAME string 7、IDNUM string 3、WORK string 10CRLF string 2,如 图 21 所示。不要更改其他任何特征。
    图 21. 添加列
    显示如何添加列的屏幕快照
  8. 单击 POSIT1 旁边的 X 进行保存。
  9. 为了确保文件和位置已经正确保存,请右键单击 POSIT1,再单击 Open as XML,检查其中是否已有完整的文件名和位置,如 清单 5 所示。如果没有,请编辑 XML 做出相应更改。
    清单 5. POSIT1 数据源的 XML 表示
      <table datasource="POSIT1" fileName="C:\flatfiles\posit1.txt" name="POSIT1" 
    organization="sequential">
         <fields>
           <field datatype="string" name="NAME" size="7"/>
           <field datatype="string" name="IDNUM" size="3"/>
           <field datatype="string" name="WORK" size="10"/>
           <field datatype="string" name="CRLF" size="2"/>
         </fields>
         <keys/>
        </table>
  10. 对 POSIT2 表定义重复 完成数据表 的步骤。所得到的元数据视图应如 图 22 所示。
    图 22. 最终元数据视图输出
    在左侧窗格中显示元数据的屏幕快照

使用 nav_util 测试连接

在继续之前,请使用 nav_util 测试与主数据源的连接。确保您能够从主 LIM1 和辅助表中作出选择。LIM2 是空的,但是您能够看到它确实存在。下面的步骤展示了如何使用 nav_util 工具进行测试。

  1. 转到 C:\IBM Optim\Connect\Server\bin(或者您安装此工具的任何位置)。
  2. 输入 nav_util execute DELIM。结果屏幕将如 图 23 所示。
    图 23. 列举表的输出结果
    显示 LIM1 和 LIM2 表的屏幕快照
  3. 输入 select * from LIM1;,结果屏幕如 图 24 所示。
    图 24. 选择 LIM1 的输出
    显示选择 LIM1 输出结果的屏幕快照
  4. 对位置文件重复 测试连接 的步骤。

定义 ODBC 源

按照以下步骤定义 ODBC 数据源,以使 InfoSphere Federation Server 能够访问它们。

  1. 转到 Start > Control Panel > Administrative Tools > Data Sources (ODBC)
  2. 单击 System DSN,再单击 Add,如 图 25 所示。
    图 25. ODBC Data Source Administrator
    ODBC Data Source Administrator 的屏幕快照
  3. 突出显示 Optim Connect Driver for OBDC 2.5,然后单击 Finish,如 图 26 所示。
    图 26. Optim Connect Driver
    显示如何选择 Optim Connect Driver 的屏幕快照

    此时会出现 Optim Connect Driver for ODBC 2.5 设置向导,如 图 27 所示。

    图 27. Optim Connect DSN 属性
    Optim Connect DSN 属性的屏幕快照
  4. 在第一个屏幕中输入名称 (DELIM),服务器位置留空,并单击 Next
  5. 下拉 User profile 字段,单击 NAV
  6. 在 password 字段中输入 nav(小写字母),选中 Save password (unsafe),如 图 28 所示。
    图 28. Optim Connect 2.5 设置
    Optim Connect 设置的屏幕快照
  7. 测试登录,单击 Next
  8. 请将绑定设置为 NAV。下拉 Default datasource (catalog) 字段,然后选择您的数据源 (DELIM)。
  9. 选中 Single datasource (for schema),测试数据源,再单击 Next,如 图 29 所示。
    图 29. Optim Connect 绑定属性
    显示 Optim Connect 绑定属性窗口的屏幕快照
  10. 接受有关跟踪和调试的所有默认值,单击 Next,并查看各条目,如 图 30 所示。
    图 30. 数据源 DELIM 的最终条目
    显示最终条目的屏幕快照
  11. 单击 Finish
  12. 对 POSIT1 和 POSIT2 重复 定义 ODBC 数据源 的步骤,请牢记您使用 DELIM 分组 了两个文件,并为 POSIT1 和 POSIT2 分隔 了两个文件,用以展示定义文件的替代性方法。

将数据源指定到 InfoSphere Federation Server

现在,您已经为 InfoSphere Federation Server 定义了两个分隔文件和两个位置文件。(本文假设在继续学习后续步骤之前已经安装并正常运行了 InfoSphere Federation Server。)随后,您要将这些文件与 ODBC 包装器相关联,使 InfoSphere Federation Server 能使用 ODBC 从这些文件中提取数据,或者向这些文件插入数据。在联合定义和 Optim 定义中,保证一致性和使用相同的 AUTHID 是非常重要的。这篇文章为联合中枢和所有 Optim 目录与别名使用 db2work。

按照以下步骤操作,将数据源指定到 InfoSphere Federation Server。

  1. 在 DB2 Control Center 内,展开您的数据库和联合对象,右键单击 Federated Database Objects,并单击 Create Wrapper,如 图 31 所示。
    图 31. Control Center 基本视图
    DB2 Control Center 的屏幕快照
  2. 选择 ODBC 作为包装器的数据源,为您的包装器输入名称 (DELIM),如 图 32 所示。
    图 32. 创建包装器
    展示 Create Wrapper 窗口的屏幕快照
  3. 单击 Settings 选项卡。
  4. 将 DB2_FENCED 的值更改为 Y,单击 OK 保存,如 图 33 所示。
    图 33. 包装器设置
    展示如何指定包装器设置的屏幕快照
  5. 展开 DELIM 包装器,右键单击 Server Definitions,并单击 Create,如 图 34 所示。
    图 34. 创建服务器定义
    展示如何创建服务器定义的屏幕快照
  6. 单击 Discover,如 图 35 所示。
    图 35. 创建服务器定义
    展示如何创建服务器定义的屏幕快照
  7. 取消选择当前选中的对象的所有复选框,并选择您需要的数据源的复选框 (DELIM),如 图 36 所示。
    图 36. 服务器选择
    服务器选择屏幕快照
  8. 单击 Properties 按钮,并单击 Settings 选项卡。
  9. 务必选择 PUSHDOWNDB2_MAXIMAL_PUSHDOWN 作为服务器,并将其值从 N 更改为 Y,如 图 37 所示。
    图 37. 服务器设置
    展示如何选择服务器设置的屏幕快照

将本地用户 ID 映射到 NAV 用户 ID

按照以下步骤将本地用户 ID 映射到 Optim Connect Studio 中使用的 NAV 用户 ID。

  1. 在 Object View 中,右键单击 User Mapping,再单击 Create,如 图 38 所示。
    图 38. 创建用户映射
    展示如何创建用户映射的屏幕快照
  2. 单击您希望用于本地登录的用户 (DB2WORK),单击右箭头 (>) 按钮将它移至第二个窗格,如 图 39 所示。
    图 39. 用户定义
    显示用户定义的屏幕快照
  3. 单击 Settings 选项卡,输入您将为 Optim Connect 使用的用户 ID 和密码。对于本例而言,用户 ID 和密码均为 nav,如 图 40 所示。
    图 40. 用户设置
    用户设置屏幕快照
  4. 单击 OK 完成。

创建一个别名

按照以下步骤创建别名。请注意,您也可以直接跳到 使用其他方法创建别名 一节。

  1. 右键单击 Nicknames,并选择 Create,如 图 41 所示。
    图 41. 创建别名
    展示如何创建别名的屏幕快照
  2. 单击 Add,输入远程模式 (public) 和远程表名 (DELIM1),并单击 OK,如 图 42 所示。
    图 42. 添加第一个别名
    展示如何添加第一个别名的屏幕快照
  3. 对 DELIM2 重复 创建一个别名 的步骤。结果屏幕将如 图 43 所示。
    图 43. 添加第二个别名
    显示如何添加第二个别名的屏幕快照

使用其他方法创建别名

您也可以使用发现来查找和创建别名。按照下面的步骤使用发现创建别名。

  1. 右键单击 Nicknames,并选择 Create
  2. 单击右侧的 Discover
  3. 输入用户 ID (nav) 和密码 (nav),如 图 44 所示。
    图 44. 发现别名
    显示如何发现别名的屏幕快照
  4. 单击 OK
  5. 检查您希望定义的别名,随后单击 OK,如 图 45 所示。
    图 45. 选择别名
    显示如何选择别名的屏幕快照

对 POSIT1 和 POSIT2 定义数据源

为 POSIT1 和 POSIT2 重复 为 InfoSphere Federation Server 指定数据源 的步骤。


提取和反识别数据

这一节介绍了如何利用 IBM Optim 定义一个提取文件(使用访问定义文件),随后使用您定义的屏蔽算法从 DELIM1 中提取数据,并将提取文件中的数据插入 DELIM2。您也要对 POSIT1 和 POSIT2(非分隔平面文件)进行同样的处理。

  1. 启动 Optim。
  2. 选择 Options > Product,如 图 46 所示。
    图 46. 启动 Optim
    显示如何启动 Optim 的屏幕快照
  3. 输入您的 Optim 密码 (optim),随后选择 OK,如 图 47 所示。
    图 47. Optim 密码
    显示如何输入 Optim 密码的屏幕快照
  4. 单击 Database
  5. 选择 Allow OPTIM PK/Rels on DB Views 复选框(Allow Primary Keys and Relationships on Database Views),使 Optim 能够访问数据库中的视图,随后单击 OK,如 图 48 所示。
    图 48. Optim 数据库选项
    Optim 数据库选项的屏幕快照

完成提取过程

按照以下步骤完成提取过程。

  1. 要开始提取过程,请选择 File > New > Extract,如 图 49 所示。
    图 49. 开始提取
    显示如何开始提取的屏幕快照
  2. 输入说明,如果您需要再次使用提取,那么这对于记忆其用途是非常有用的。
  3. 为新的提取文件输入一个名称 (DELIM1.XF),为访问定义选择 Named 单选按钮。
  4. 输入一个访问定义名称 (DELIM1.AD),再单击访问定义编辑器的图标,也就是位于跑步者右侧的第二个图标,如 图 50 所示。
    图 50. Extract Request Editor
    Extract Request Editor 的屏幕快照
  5. 单击 Start Table 浏览按钮,如 图 51 的中间部分所示。
    图 51. 浏览 start table
    显示如何浏览查找 start table 的屏幕快照
  6. 突出显示您的主分隔文件表 (LIM1),单击 Select,关闭访问定义并保存文件,如 图 52 所示。
    图 52. 选择 start table
    显示如何选择 start table 的屏幕快照
  7. 单击跑步者图标,提取数据。
  8. 如果出现了 NO RUNSTATS 消息屏幕,请单击 Proceed。您应该看到类似于 图 53 的屏幕,其中包含来自表的统计数据。
    图 53. 统计数据报告
    显示统计数据报告的屏幕快照
  9. 关闭提取窗口,并将提取名称保存为 DELIM1

完成有屏蔽的插入

请按照以下步骤执行有屏蔽的插入。

  1. 选择 File > New > Insert,并输入以下有关插入的字段,如 图 54 所示。
    • Description:Insert DELIM2
    • Source File:DELIM1.XF(源文件即您刚刚提取的文件)
    • Control File:DELIM1.cf
    • Table Map Name:DB2WORK.DELIM2(表映射是新建的,接下来您要编辑表映射)
    图 54. Insert Request Editor
    Insert Request Editor 的屏幕快照
  2. 单击表映射编辑器图标(跑步者图标右侧的第二个图标)来编辑表映射,如 图 54 所示。表映射用于定义您将如何屏蔽列。您可以选择使用 Optim 的基本函数(例如 SUBSTRING),也可以使用用于更加复杂的信用卡号码屏蔽的算法。
  3. 在表映射中输入限定符 (FEDERATE.DB2WORK) 和一个新的列映射。
  4. 在 Column Map or LOCAL 下输入 Column Map ID (DELIM2) 和列映射名 (DELIM2)。
  5. 右键单击列映射,单击 Open Column Map,如 图 55 所示。确保将目标表更改为新表 (LIM2)。
    图 55. Table Map Editor
    Table Map Editor 的屏幕快照
  6. 通过在包含 WORK 的 Source Column 字段中输入 SUBSTR(WORK1,3) 来屏蔽第 3 列,如 图 56 所示。
    图 56. 屏蔽列
    显示如何屏蔽列的屏幕快照
  7. 关闭并保存列编辑器,关闭表映射编辑器。
  8. 单击跑步者图标,对第二个分隔文件执行插入,如 图 57 所示。
    图 57. 运行插入请求
    显示如何运行插入请求的屏幕快照

    此时将显示统计数据屏幕,详细显示了所插入的内容,如 图 58 所示。

    图 58. 插入统计数据
    插入统计数据的屏幕快照
  9. 选择第二个分隔文件,或者浏览找到该文件,确定是否已经实现了屏蔽。请注意,列映射中的子字符串造成了截断,如 清单 6 所示。
    清单 6. 检查屏蔽
     C:\flatfiles>type delim2.txt      DAN,222,PRI

结束语

以生产数据为基础的优质测试数据是测试战略的重要组成部分。然而,有意或无意地将隐私数据用于测试可能会导致严重的后果。Optim Test Data Management 及 Data Privacy Option 提供了一种出色的解决方案,能够生成合理的测试数据库,不但足以反映业务对象,还能利用多种算法反识别数据。

这篇文章展示了如何将这样的能力延伸到平面文件,利用 InfoSphere Federation Server 将平面文件映射到表,从而保证运用 Optim Test Data Management and Data Privacy 解决方案的强大能力提取此类平面文件中的任何隐私数据,并对其进行反识别处理。


附录

c:\ibm optim\connect\server\bin 目录下的 nav_util 程序是一种出色的诊断工具,非常适合在定义表的过程中遇到错误时使用。下面给出了几个有用的函数:

  • Nav_util check license
  • Nav_util execute delim

亲身体验这种工具之后,您将得到可用于检查定义和测试的多种不同的实用工具。

 NavSQL>
> describe <ds_name:>table_name <full> <index> to describe a table or a view
> describe <ds_name:>@procedure_name to describe a procedure
> help
> list catalogs <catalog-mask>
> list columns <table-mask> <column-mask> <case-sensitive>
> list procedure_col <procedure-mask> <column-mask> <case-sensitive>
> list procedures <procedure-mask>
> list statistics <table-mask>
> list synonyms <synonym-mask>
> list tables <table-mask>
> list views <view-mask>
> native_describe <ds_name:>table_name <full> <ndex> to get a native description 
   of a table or a view
> query_describe sql_statement to describe an sql statement
> rollback
> any select, call or update statement
> show datatype datatype_name
> show driver driver_name
> tdp-default ds_name
> explain ['<file_name>'] <sql statement>

NavSQL >

致谢

特别感谢 Tim Smith 提供的技术指导。

参考资料

学习

获得产品和技术

讨论

  • 关注 Optim LUW 论坛,与其他实现了Optim LUW 产品组合中的任何解决方案的用户交流想法和经验。
  • 参与 Optim z/OS 论坛,与其他实现了Optim z/OS 产品组合中的任何解决方案的用户交流想法和经验。
  • 深入探索 Integrated Data Management 专家博客,找到有关从数据建模和数据库应用程序开发到数据库管理、性能监视等各个方面的深入见解、建议、提示与技巧和经验教训。
  • 访问 developerWorks 博客,加入 developerWorks 中文社区,developerWorks 社区是一个面向全球 IT 专业人员,可以提供博客、书签、wiki、群组、联系、共享和协作等社区功能的专业社交网络社区。

条评论

developerWorks: 登录

标有星(*)号的字段是必填字段。


需要一个 IBM ID?
忘记 IBM ID?


忘记密码?
更改您的密码

单击提交则表示您同意developerWorks 的条款和条件。 查看条款和条件

 


在您首次登录 developerWorks 时,会为您创建一份个人概要。您的个人概要中的信息(您的姓名、国家/地区,以及公司名称)是公开显示的,而且会随着您发布的任何内容一起显示,除非您选择隐藏您的公司名称。您可以随时更新您的 IBM 帐户。

所有提交的信息确保安全。

选择您的昵称



当您初次登录到 developerWorks 时,将会为您创建一份概要信息,您需要指定一个昵称。您的昵称将和您在 developerWorks 发布的内容显示在一起。

昵称长度在 3 至 31 个字符之间。 您的昵称在 developerWorks 社区中必须是唯一的,并且出于隐私保护的原因,不能是您的电子邮件地址。

标有星(*)号的字段是必填字段。

(昵称长度在 3 至 31 个字符之间)

单击提交则表示您同意developerWorks 的条款和条件。 查看条款和条件.

 


所有提交的信息确保安全。


static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=10
Zone=Information Management
ArticleID=806834
ArticleTitle=使用 InfoSphere Optim Data Privacy Solution 和 InfoSphere Federation Server 反识别平面文件和分隔文件
publish-date=03262012