2025 年 4 月 15 日
我们很高兴地宣布推出模型风险评估引擎，这是 watsonx.governance 中的一个新工具，可以通过计算 AI Risk Atlas 中风险维度的相关指标来衡量基础模型的风险。作为综合模型引入流程的一部分，它可以比较不同基础模型的风险指标，帮助您根据组织的具体风险承受能力确定最适合在组织内部署的基础模型。
随着公司继续扩展其生成式 AI 部署，他们必须更好地了解与底层基础模型相关的风险，包括提示注入、有毒输出、越狱和幻觉。
组织在使用生成式 AI 模型时，有很多选择。明智的决策对于避免生成式模型表现不佳的情况（“流氓”客户聊天机器人提供错误或有害的指导）非常重要。这些情况可能会对组织的声誉造成难以恢复的巨大影响。因此，在组织的模型引入流程中，获取客观的定量风险数据以预防此类情况应成为标准环节。
生成式 AI 模型的引入流程分为 3 个阶段：
引入风险库是识别潜在适用风险的第一步。IBM 的 AI Risk Atlas 是了解与使用生成式 AI 和机器学习相关的风险的重要资源。这些风险也直接整合到 watsonx.governance 的 Governance Console 中，并且是开箱即用的。如果需要，风险库还可根据需求补充组织的自有风险清单，并通过开箱即用的风险评估工具（包括 AI 用例评估、模型导入评估及用例 + 模型联合评估）将风险关联至 AI 用例与模型。
了解可能适用的风险是重要的第一步，但同样重要的是要有有效的方法来识别、衡量和降低这些风险。
watsonx.governance 随附 3 项风险识别评估：
这些评估用于确定风险图谱中的哪些风险适用于正在上线的模型和/或用例。在 watsonx.governance Governance 控制台中，有一个用于基础模型载入的工作流，包括上述的风险识别调查问卷评估。
在识别之后，应使用风险与控制自我评估 (RCSA) 对适用的风险进行单独检查，以识别固有风险和残余风险。这将生成模型的风险概况，可告知组织愿意批准模型的哪种用途，如 RAG、分类或汇总。
为了更好地为 RCSA 流程提供信息，可以进行一些定量评估，以便更深入地了解某个模型的风险以及与类似模型的比较。公司还有权对其开发或改进（如通过微调）的任何模型进行风险评估。
Model Risk Evaluation Engine 现已纳入 watsonx.governance，有助于对基础模型进行定量风险评估。它计算与 AI Risk Atlas 中一组定义的风险维度相关的指标。通过为多种基础模型计算这些指标，公司可以选择满足其业务目标的模型，同时符合自身风险偏好。
Model Risk Evaluation Engine 支持评估 IBM watsonx.ai 大型语言模型以及任何外部大型语言模型。评估引擎的完整结果可以保存到 watsonx.governance 的 Governance Console 中，或导出为 PDF 报告。
Model Risk Evaluation Engine 有助于完成以下任务：
一旦所有这些数据都流回治理控制台，就可用于上述基础模型载入工作流中的评估步骤。
watsonx.governance 用户可以通过运行以下命令访问 Model Risk Evaluation Engine：
我们的示例笔记本包含自行试用的说明。 Model Risk Evaluation Engine 文档页面还包含更多信息。
如果您希望贵组织能够有效地识别、衡量和缓解生成式 AI 风险， 像 watsonx.governance 这样的端到端人工智能治理解决方案至关重要。您可以自身试用一下，或立即安排时间让我们与 IBM 专家进行讨论。