AI 无法解释的输出风险
描述
模型输出决策的解释可能很困难，不精确或无法获取。
为何无法解释的输出会引起基础模型的关注?
基础模型基于复杂的深度学习架构，因此难以解释其输出。 无法获取的训练数据可能会限制模型所能提供的解释类型。 如果没有明确的模型输出说明，用户，模型验证者和审计员就很难理解和信任模型。 错误的解释可能导致过度信任。
示例
种族预测中不可解释的准确性
根据源文章，研究人员使用患者医学图像分析多个机器学习模型，能够证实模型能够从图像中高精度预测种族。 他们对究竟是什么让系统始终如一地正确猜测，都很不以为然。 研究人员发现，即使是疾病和身体构建等因素也不是强有力的种族预测因素 -- 换句话说，算法系统似乎并没有利用图像的任何特定方面来做出他们的决定。
母主题： 人工智能风险图集
我们提供了新闻报道的示例，以帮助解释许多基础模型的风险。 新闻界报道的许多事件或仍在发展中，或已得到解决，参考这些事件可以帮助读者了解潜在的风险，并努力减少风险。 突出显示这些示例仅用于说明目的。