从文档散乱到可信情报：深入解读 Migrato 面向合规 AI 文档洞察的混合架构
Migrato 利用 IBM AI 和混合云功能，帮助组织对数百万份非结构化文档进行分类、清理和治理，使客户能更快地找到正确信息、降低隐私风险，并避免迁移不再需要的内容。
纸质记录的数字化解决了一个大问题，也带来了另一个问题：组织不必再管理成箱的纸张，但仍需弄清楚散落在各个存储库中的多年 Word 文件、PDF、电子邮件、扫描件、图像和电子表格里到底有什么。
总部位于荷兰的 Migrato B.V. 帮助组织理清非结构化数据，通过分析、盘点、清理和迁移那些并非整齐存放在数据库行中的内容。该公司的 MICC（Migrato Intelligent Content Classifier）平台分析所有这些数据，将非结构化内容转化为可搜索、已分类且受治理的信息，供员工实际使用。
规模一大，情况很快就会变得棘手。一个市政当局可能在网络驱动器、SharePoint、旧版文档管理系统和业务应用程序中存有数 TB 的历史内容。
在某些部署中，MICC 可能需要检查数百万份文档。在市政环境中，存储的内容常常包含完全重复项、近似重复项、过时的文件类型、超期保存的简历以及存放在错误位置的敏感员工信息。在各种用例中，受保护的内容（包括银行账号和其他个人身份信息）必须保留在本地。
本文介绍 Migrato 如何利用 watsonx.ai、IBM Cloud、IBM AI 和 NLP 库以及 IBM Build Labs 的协作，将 MICC 构建成一个混合 AI 文档智能和治理平台。由此产生的平台可帮助客户大规模地对海量内容进行分类，同时将敏感信息置于客户自己的控制之下。
乍看之下，文档迁移听起来像是一项简单的“从甲地搬到乙地”的工作。对于受监管的组织而言，这种迁移要复杂得多。在移动内容之前，团队需要了解哪些内容该移走，哪些文档应保留，哪些该删除，以及哪些该呈现出来以供重用。
这一挑战对市政当局、政府机构、保险公司、银行和大学尤为重要。这些组织中的员工经常需要回应公共信息请求、查找业务流程所需的记录，或证明自身符合隐私和保留规则。
MICC 帮助分析文档的含义和上下文，而非仅仅搜索关键词。该平台按文档意图进行分类，检测完全重复和近似重复，识别敏感信息，如姓名、国际银行账号 (IBAN) 和公民服务号（荷兰使用的政府签发的个人标识符）。
在日常工作中，其价值显而易见。例如，根据荷兰《开放政府法》（即 WOO 请求）提出的公共信息请求，可能要求员工跨多个存储库搜索相关信息。
借助 MICC，用户可以从一份已知的组织内容清单入手，而无需手动搜索每个系统。对于档案团队，该平台可以建议保留、到期或删除哪些文档，同时在移除任何内容之前，始终由人工审核员掌控。
Migrato 在设计 MICC 时力图平衡两个优先事项：将敏感的客户内容保留在靠近客户环境的地方，同时在能增加速度和智能的环节利用可扩展 AI。
该架构图展示了一个混合 MICC 部署，将客户控制的内容、数据摄取、本地处理、选定的 IBM Cloud 服务以及下游系统输出分隔开来。其设计从左向右推进：
- 企业存储库为摄取层提供数据
- 摄取层将内容引入本地 MICC 平台
- MICC 编排文档智能和治理服务
- 选定的工作负载安全连接至 IBM Cloud
- 平台返回已分类的文档、摘要、元数据、敏感数据标记、重复报告、保留建议、人工审核队列及合规输出。
第一层是 MICC 连接组织内容源的位置。此处来源的多样性值得留意，因为文档治理极少始于某个单一整洁的系统。大多数组织在决定迁移、保留或删除什么之前，需要先了解散布于旧文件共享、业务系统及协作工具中的内容。
第二层为摄取层，更新后的图示更明确地展示了这一点。MICC 可通过 API、SMB 网络共享访问、直接数据库连接和 Microsoft Graph API 导入内容。
摄取层还包含带有内置连接器的 MICC 导入功能，用于导入和传输。安全传输采用合适的源访问模式：在适用情况下，通过 TLS 使用 API、SMB 或 Graph API。这使得摄取过程遵循客户源系统的约束，而不是强制每个存储库套用同一种连接器模型。
第三层是 MICC 平台，部署于本地，用于内容智能和治理。在 MICC 内部，处理编排器负责协调各项专门服务，而非将文档分析视作一个庞大任务。工作流可从光学字符识别 (OCR) 开始，从图像或文档中提取文本。随后可调用分类服务添加文档类型标签，如发票、W7 表格或报告。
GDPR 检测服务识别敏感要素，例如社会安全号码、电子邮件地址、个人姓名及其他受监管的数据。元数据与内容充实服务添加摘要、主题、关键词以及个人身份信息 (PII) 或受保护的健康信息 (PHI)。然后，重复检测服务会识别完全重复和近似重复的内容。
本地 MICC 层还包含一个采用 MySQL 社区版的元数据存储库数据库，根据部署模式可安装在本地、Azure 或 IBM Cloud 上。MICC 的 Web 门户为用户提供搜索、审查分类、运行报告和管理工作流的场所。人工审核与工作流组件允许审核者在文档被删除或在治理流程中继续推进之前，批准或驳回发现结果及保留操作。
图中显示了 MICC 与 IBM Cloud 服务之间的安全 TLS 连接。watsonx.ai 用于分类，具体来说是添加文档分类标签。IBM OCR 从 PDF 图像或图片中提取文本。IBM AI 服务通过识别 GDPR 相关信息、PII 和 PHI 等敏感数据，支持 GDPR 和 PII 检测。这样的划分使主要的 MICC 处理环境留在本地，同时让 Migrato 能够借助 IBM Cloud 服务完成特定的 AI 和 OCR 功能。
图示底部是部署基础。MICC 可运行于虚拟机、Kubernetes 或容器之上，支持应用程序基于本地 Windows 平台构建为 Java 应用。数据库层使用 MySQL 社区版，存储使用磁盘存储，所列的硬件基线包括 64 GB 内存、1 TB SSD 和多个 CPU 核心。
安全、治理与运营贯穿整个架构。MICC 可大规模自动进行分类并提供建议，但不会移除客户对敏感内容或最终治理决策的控制权。
最大的转变是从基础搜索迈向文档理解。传统搜索系统能判断某个短语是否出现在文件中。MICC 则更进一步，判定文档是什么、包含哪些敏感信息、是否已存在相似版本，以及应适用哪项治理规则。
这一转变改变了档案团队的运营模式。团队不必在整理前手动审核并标注每份文档，而是可以利用 AI 辅助分类，在海量内容中生成建议。人工审核员仍掌控全局，负责验证结果并批准删除决策。在受监管环境中，这种分工至关重要：AI 负责减少重复性工作，但不成为影响合规、隐私或记录保留等关键决策的最终权威。
其商业价值在于减少必须迁移、存储和人工审核的内容量。例如，市政府存储的内容中，多达 70% 可能已不再需要。完全重复项可能约占全部数据的 30%，另有约 10% 是近似重复项，如同一记录的 Word 文档、PDF 和已签名副本。避免迁移过时或重复的内容，可以减缓存储增长，减轻云许可压力，并减少下游的档案清理工作。
IBM 的作用在三个方面强化了 MICC：
- IBM watsonx.ai 为 MICC 提供用于分类和摘要的企业级 AI 功能。
- IBM AI 和 NLP 库提供可嵌入的语言处理能力，用于检测和信息充实。
- IBM Cloud 为 Migrato 提供了一种可扩展的方式来处理选定工作负载，而无需将整个客户环境强制迁入纯云模式。
对于拥有数百万份文档的组织而言，靠增加人力来扩展文档治理是不可持续的。这项工作重复性强，存储库往往碎片化，且随着体量增长，忽视敏感内容的风险也随之增加。
Migrato 的 MICC 平台通过让每一层聚焦于细粒度任务来应对这一挑战。内容主要处于客户控制之下。MICC 负责管理库存、分类逻辑、保留建议和用户工作流。IBM AI 功能支持语言理解、摘要和分类，而 IBM Cloud 则处理选定的高速工作负载。人工审核员仍负责最终决策，包括内容应保留、发布还是删除。
这种方式为最终用户带来更好的体验、更快的信息访问、更少的手动分类、更强的隐私控制以及更整洁的存储库。同时，也为技术团队提供了一个可重复的部署模型，能够支持众多文档密集型客户组织，跨多个行业，而无需为每个客户重建基础。
Migrato 将 MICC 与 IBM AI、选择性的 IBM Cloud 处理以及人工审核的治理相结合，从而将文档迁移转变为一项可扩展的文档智能业务。其成果是一个稳健的平台，帮助客户和员工找到所需内容、移除不再需要的内容并治理敏感内容，而无需将对整个存储库的控制权交给 AI 层。