人工智能治理是指监控和管理组织内 AI 活动的能力。它包括追踪和记录企业内部署的数据和模型之来源的过程和程序；以及用于训练、验证和监控模型持续准确性的技术。有效的人工智能治理可为企业带来三个主要成果：
合规。帮助确保 AI 解决方案和 AI 交付的决策符合行业公认的惯例、监管标准和法律要求。
信任。通过帮助确保 AI 模型可说明且公平，实现对 AI 决策的信任。
效率。通过标准化和优化 AI 开发和部署实践，加快上市速度并降低 AI 开发成本。
不采用人工智能治理的企业可能会面临多重负面后果。机器学习过程不断迭代，并且需要协作。如果没有良好的治理和文档，数据科学家或验证人员就无法确定模型数据的来源或模型的构建方式。这会导致结果可能难以再现。如果管理员使用错误或不完整的数据训练模型，数月的工作可能会毁于一旦。
缺乏人工智能治理也会导致重大处罚。银行经营者因在确定贷款资格时使用有偏倚的模型而被处以七位数的罚款。欧盟计划在《通用数据保护条例》(GDPR) 中添加 AI 监管原则。违反 GDPR 条例目前可能“导致高达 2,000 万欧元的罚款，或公司上一个财政年度全球年收入的 4%，以较高金额为准”。
品牌声誉也受到威胁。一项实验使用 AI 软件来学习年轻人在社交媒体上的言语模式。在网络杠精“教”该工具创建种族主义、性别歧视和反犹太主义帖子后，行政官员迅速删除了该软件。
概念架构
上图显示了使用大型语言模型 (LLM) 的生成式 AI 解决方案的 AI 治理解决方案的主要组件。
模型治理是人工智能治理的中央信息交换所。它提供企业员工使用的仪表板、报告和功能，以确保、审计和报告 AI 模型满足公平性、透明度和合规要求。模型治理组件还可支持企业设置门控标准和其他政策，这些标准和政策会影响模型何时以及如何从开发阶段进入生产阶段。
模型监控可积极监控模型的输出，以确保模型可解释、公平、符合法规，并在部署时保持如此。如果模型开始漂移或在输出中呈现偏差，模型监控组件会将其标记，以便于 AI 运营人员进行调查。
概念演示
下图介绍了为实现企业人工智能治理而进行的高级组件交互。
人工智能治理解决方案演练，展示了用于模型开发和持续监控的信息流和组件之间的交互。
企业治理团队的成员使用模型治理组件来 (i) 可视化企业内跨私有基础设施、超大规模服务提供商和基于云的平台部署的 AI 模型（基础和非基础），以及 (ii) 设置最低运营标准以及有关在企业内部署和运营的模型的其他政策。标准和策略控制将传播到模型监控组件，以便进行后续监控和警示。
模型开发人员进行大型语言模型 (LLM) 提示微调，并评估模型对提示的响应。这些测试的结果以及汇总统计数据经过捕获并传播到模型监控组件，然后在那里记录，以提供模型和数据沿袭。
模型验证器审核调整和测试的结果，并在模型监控组件的帮助下，将其与企业治理团队设定的门控标准和控制措施进行比较。一旦满足标准和控制措施，模型就会获准在生产中使用。
模型开发人员使用模型监控组件来监控模型随时间推移的性能；具体来说，开发者希望确保模型响应继续满足公平性（没有偏见）、准确性（正确响应）和透明度（可说明的响应）的企业标准。
模型监控组件持续监控已部署的 AI 模型（基础/生成式模型以及“传统”机器学习模型），以捕获准确性和性能统计数据。
模型监控组件还可以捕获用户提示和模型响应，以便 (i) 进一步防止模型漂移（偏见和/或模型准确性的偏差），以及 (ii) 捕获测试数据，并帮助识别需要监控的主题领域或另外进行调整也会大有裨益的数据域。
当今 IBM 产品解决方案
IBM watsonx.governance 的当前映射，以及 IBM OpenPages 解决方案的概念模型如下图所示。watsonx.ai 平台、本地部署、基于云的基础架构或第三方 AI 平台（如 Amazon Sagemaker）上运行的基础模型均在运行时由 watsonx.governance 进行监控。watsonx.governance 还可以提供用于创建、更新和管理模型卡（在 watsonx.governance 中称为 AI Factsheets）以及捕获和报告模型性能指标的功能。IBM OpenPages 的模型风险管理模块可提供风险报告和管理功能，以及模型开发和部署策略管理能力模型治理。
生成式 AI 解决方案的治理类似于“传统式” AI 模型的治理，但其功能需要对输入和输出进行更密切的管理，以防止不适当或恶意的提示，并确保 AI 模型生成事实正确且可接受的输出。本节将说明如何将 IBM watsonx.governance 应用于两个核心用例中的基础模型：模型生命周期管理以及模型风险和监管合规。
模型生命周期管理
上图说明了如何使用 watsonx.governance 来管理从初始测试和验证到部署的模型生命周期。
模型开发人员在 watsonx.ai 本地解决方案、watsonx.ai 服务或其他本地或基于云的平台上进行提示微调，并针对该模型开发和测试提示。
提示和模型响应数据以及模型性能指标（例如 ROUGE、SARI、Chrf 和 BLEU）均记录在 watsonx.governance 的模型库存管理功能中。采集多个版本的提示和响应数据，以便进行交叉比较，选择最符合企业要求的模型和提示组合。
模型验证人员审核单个提示和模型组合的结果，并选择一个批准部署到生产的版本。
模型开发人员使用相同的能力来跟跟走模型/提示组合及其针对特定业务用例的性能。
模型风险与监管合规
watsonx.governance 中的模型风险和法规遵从性的组件演示如下所示。
企业的人工智能治理团队的成员，需要确定和设置生产中的模型必须满足的标准，具体为模型指标（例如 ROUGE）的最小值、最大值和允许偏差。这些标准在 IBM® OpenPages Model Risk Management 工具中设置，随后传播到 watsonx.governance。
模型开发人员针对在 watsonx.ai 本地部署解决方案、watsonx.ai 服务或其他本地或基于云的解决方案（如 Sagemaker）中部署的基础模型进行提示微调，并开发测试提示。
提示信息和模型响应数据以及模型性能指标会传播到 watsonx.governance，并将指标与治理团队设置的阈值进行比较。
指标比较的结果传播到 IBM OpenPages，供治理团队审核和报告。具体来说，如果提示/模型组合符合所有设定标准，则可标记为可投入生产或无风险。如果模型仅满足部分标准，则可能会被标记为可能性能不佳，并且尚不适合生产，具体取决于治理团队制定策略的严格程度。
架构决策和注意事项
确保机制能够从容地运行 AI。重点是在开发和部署过程中评估模型，以确保 LLM 的响应不是幻觉的结果，并且不包含任何仇恨亵渎词汇。确保 LLM 的回答可解释、符合道德规范、可信且无偏倚。与数据科学家能够一致选择正确的指标的传统式 AI 模型相比，LLM 的质量指标有很大不同。
部署的生成式 AI 解决方案需要保持一致，并且不能随着时间的推移而引入任何偏差或漂移。企业在各种云上使用多种 LLM 的情况并不少见，因此实现全面集中管理至关重要。在多个云上的各种部署环境中采用治理方法是关键考虑因素。
确保他们部署的生成式 AI 应用程序最新，且遵循不断发展的行业法规。在单一视图中查看所有企业部署的模型和运行状况。
确保训练数据中不使用仇恨辱骂亵渎语言。此外，还能够 赔偿企业的任何专有数据使用，同时 确保没有 PII 或 IP 数据泄露。能够审计并获取针对生成式 AI 的数据沿袭是关键。
这描述了 RAG 模型的端到端部署方式，并在整个生命周期内提供监控和治理功能。除了模型治理，数据治理也很重要。我们将展示如何利用 AI OpenScale、FactSheets 和 IBM Open Pages 等 IBM watsonx.governance 组件来确保生成式 AI 应用程序得到管理和治理。IBM Watson Knowledge Catalog 可支持适当的数据管理，包括数据编目、数据沿袭和 PII 数据管理。